Ошибка в клиринг

Например сделать так: В PlazaTrader'e public override void StopExport() { lock (_stopExportLock) { _...

2011-10-10T23:18:42Z

FiNick

Например сделать так:
В PlazaTrader'e

Код


public override void StopExport()
{
	lock (_stopExportLock)
	{
		_streamManager._stopStreamLock.Reset();
		if (!IsExportRunning)
			return;

		StopStream();
		base.StopExport();

		_streamManager._stopStreamLock.WaitOne();
		System.Diagnostics.Trace.WriteLine("Export stopped");
	}
}

В PlazaStreamManager'e

Код

internal readonly AutoResetEvent _stopStreamLock = new AutoResetEvent(false);

_streamsToRemove.SyncDo(c =>
{
     foreach (var stream in _streamsToRemove)
     {
          try
          {
               stream.Close();
          }
          catch (COMException e)
          {
               System.Diagnostics.Trace.WriteLine("stream.Close() - COMException " + e.ErrorCode.ToString());
               Error.SafeInvoke(new PlazaException("Ошибка закрытия потока репликации.", e));
          }
     }

     _streamsToRemove.Clear();
     _stopStreamLock.Set();
});

Спасибо. Залил это решение.
В 4.0.2 не попало.
Необходимо протестировать из исходников.

Проверил - фикс работает. Стакан обновляется, после клиринга не останавливается. Но также надо и ост...

2011-10-07T15:07:25Z

Проверил - фикс работает.
Стакан обновляется, после клиринга не останавливается. [thumbup]

Но также надо и остальные таблицы обновлять, удаляя ненужные записи. Чтоб потом не поиметь проблем.
Как минимум - если в клиринг приходит StreamDatumDeleted для стрима сделок своих - то все активные сделки с ревизиями меньшей пришедшей - снимаются.

На боевом, да. Тестовый сегодня не работает в связи с обновлением на 3.8.2. Жду 18:45 :) На боевом и...

2011-10-07T13:37:41Z

FiNick

Alexander Mukhanchikov

На боевом, да. Тестовый сегодня не работает в связи с обновлением на 3.8.2. Жду 18:45 :)

На боевом или на игровом всетаки? ведь чтобы открыть счет на боевом сервере надо робота засертифицировать

На полноценном боевом сервере.

На боевом, да. Тестовый сегодня не работает в связи с обновлением на 3.8.2. Жду 18:45 :) На боевом и...

2011-10-07T13:34:17Z

Alexander Mukhanchikov

На боевом, да. Тестовый сегодня не работает в связи с обновлением на 3.8.2. Жду 18:45 :)

На боевом или на игровом всетаки? ведь чтобы открыть счет на боевом сервере надо робота засертифицировать

Стаканы поправил, в клиринг с 14 до 14:03 проблема со стаканами прошла - пошли дальше как ни в чём н...

2011-10-07T13:28:13Z

FiNick

Alexander Mukhanchikov

Стаканы поправил, в клиринг с 14 до 14:03 проблема со стаканами прошла - пошли дальше как ни в чём не бывало. Посмотрим что будет в вечерний клиринг.

А вы на каком сервере смотрите, на игровом? Малый клиринг стаканы нормально проходят, проблема была с клирингом 14.45-15.30 Мск. В понедельник протестирую

На боевом, да. Тестовый сегодня не работает в связи с обновлением на 3.8.2. Жду 18:45 :)

Стаканы поправил, в клиринг с 14 до 14:03 проблема со стаканами прошла - пошли дальше как ни в чём н...

2011-10-07T13:27:32Z

Alexander Mukhanchikov

Стаканы поправил, в клиринг с 14 до 14:03 проблема со стаканами прошла - пошли дальше как ни в чём н...

2011-10-07T10:16:50Z

Безбазовый у нас клиент, бд не использует.

2011-10-06T22:14:52Z

Безбазовый у нас клиент, бд не использует.

Фикс с удалением, к сожалению, не помог. Чего-то не так с ревизиями всё равно. Да, действительно. Ту...

2011-10-06T13:02:57Z

Alexander Mukhanchikov

Фикс с удалением, к сожалению, не помог. Чего-то не так с ревизиями всё равно.

Да, действительно. Тут еще такая проблемка: до клиринга выставил заявку, ушел с ней на клиринг. Теперь она висит активной, не могу снять, перезапускал и робота и раутер все равно висит. Запускаю SimpleGUI, там нет этой заявки.

И еще вот что мне РТС написал:
По приложенному логу видно, что накапливается очередь сообщений в первые секунды работы.
2011-10-06 16:45:47.234;p2mq-cli;;New message added to recvList. Size: 38
Это приводит к задержкам в получении данных, поэтому предлагается побороться с очередями. Для этого предлагается разбить получение реплики на несколько соединений, работающих в отдельных thread'ах, каждое со своим циклом выборки.

Вот еще странная фраза РТС, которая может помочь=)
Используется базовый или безбазовый вариант клиента репликации?
В случае безбазового клиента, какова политика обработки ошибок в потоке данных - используется ли накопленная информация для запроса данных?

Фикс с удалением, к сожалению, не помог. Чего-то не так с ревизиями всё равно.

2011-10-06T12:00:22Z

Фикс с удалением, к сожалению, не помог. Чего-то не так с ревизиями всё равно.

По коду выше немного не понял для чего нужен _streamManager._stopStreamLock.Reset();. Чтобы быть уве...

2011-10-06T10:02:06Z

Alexander Mukhanchikov

По коду выше немного не понял для чего нужен _streamManager._stopStreamLock.Reset();.

Чтобы быть уверенным, что перед началом остановки потоков _stopStreamLock находится в закрытом состоянии, т.е. что вызов WaitOne точно остановит выполнение.

я на самом деле никогда с такими штуками не работал, могу ошибаться.

По коду выше немного не понял для чего нужен _streamManager._stopStreamLock.Reset();.

2011-10-06T09:28:21Z

По коду выше немного не понял для чего нужен _streamManager._stopStreamLock.Reset();.

Стаканы после клиринга поправил вроде. Если есть возможность - протестируйте сегодня в клиринг, у ме...

2011-10-06T09:12:19Z

Стаканы после клиринга поправил вроде.
Если есть возможность - протестируйте сегодня в клиринг, у меня не факт что удастся.

У нас безбазовый клиент. И это как раз не делается. А как дела с другими фичами, StreamLifeNumChange...

2011-10-06T08:34:49Z

FiNick

Alexander Mukhanchikov

У нас безбазовый клиент.
И это как раз не делается.

А как дела с другими фичами, StreamLifeNumChanged например?

см. private void OnStreamLifeNumChanged(CP2DataStream stream, int lifeNum) в PlazaStream.cs

У нас безбазовый клиент. И это как раз не делается. А как дела с другими фичами, StreamLifeNumChange...

2011-10-06T08:30:19Z

Alexander Mukhanchikov

У нас безбазовый клиент.
И это как раз не делается.

А как дела с другими фичами, StreamLifeNumChanged например?

Например сделать так: В PlazaTrader'e public override void StopExport() { lock (_stopExportLock) { _...

2011-10-06T08:24:21Z

Например сделать так:
В PlazaTrader'e

Код


public override void StopExport()
{
	lock (_stopExportLock)
	{
		_streamManager._stopStreamLock.Reset();
		if (!IsExportRunning)
			return;

		StopStream();
		base.StopExport();

		_streamManager._stopStreamLock.WaitOne();
		System.Diagnostics.Trace.WriteLine("Export stopped");
	}
}

В PlazaStreamManager'e

Код

internal readonly AutoResetEvent _stopStreamLock = new AutoResetEvent(false);

_streamsToRemove.SyncDo(c =>
{
     foreach (var stream in _streamsToRemove)
     {
          try
          {
               stream.Close();
          }
          catch (COMException e)
          {
               System.Diagnostics.Trace.WriteLine("stream.Close() - COMException " + e.ErrorCode.ToString());
               Error.SafeInvoke(new PlazaException("Ошибка закрытия потока репликации.", e));
          }
     }

     _streamsToRemove.Clear();
     _stopStreamLock.Set();
});

Или еще избавиться от _stopExportLock и написать так:

Код


public override void StopExport()
{
	_streamManager._stopStreamLock.WaitOne();	
	_streamManager._stopStreamLock.Reset();
	if (!IsExportRunning)
		return;

	StopStream();
	base.StopExport();

	_streamManager._stopStreamLock.WaitOne();
	System.Diagnostics.Trace.WriteLine("Export stopped");	
}

Специальное уведомление StreamDatumDeleted присылается сервером по каждой таблице в начале синхрониз...

2011-10-06T07:52:48Z

FiNick

Специальное уведомление StreamDatumDeleted присылается сервером по каждой таблице в начале синхронизации. Это уведомление означает «данных с ревиженами меньше указанного, на сервере нет».
«Безбазовый» клиент должен удалить все данные с ревиженами, меньшими указанного в уведомлении из своего хранилища.

У нас же «базовый» клиент, там вроде само все делается, или я не прав?
Плюс у нас в коде OnStreamDatumDeleted есть, там что-то делается

У нас безбазовый клиент.
И это как раз не делается.

Протрассировал дисконнект: protected override void OnDisconnect() { // Иначе при выгрузке в StopStre...

2011-10-05T18:04:26Z

Протрассировал дисконнект:

Код

protected override void OnDisconnect()
{
	// Иначе при выгрузке в StopStream будет срабатывать исключение.
	if (IsExportRunning)
		StopExport();

	_connectionPool.Disconnect();
	System.Diagnostics.Trace.WriteLine("OnDisconnect");
}

Там получается, что StopExport() никого не дожидается. _connectionPool.Disconnect() и Close всех потоков происходит параллельно, понятно, что Disconnect раньше происходит, и в лог ошибки сыплются.
Поставил после StopExport() слип на пару секунд, все норм стало, но это грубо и некрасиво. Нужно AutoResetEvent какой-нибудь прикрутить или что-то подбное

Специальное уведомление StreamDatumDeleted присылается сервером по каждой таблице в начале синхрониз...

2011-10-05T17:10:06Z

Так и делается, разве нет? protected override void OnDisconnect() { // Иначе при выгрузке в StopStr...

2011-10-05T14:46:37Z

FiNick

Alexander Mukhanchikov

Так и делается, разве нет?

Код

		protected override void OnDisconnect()
		{
			// Иначе при выгрузке в StopStream будет срабатывать исключение.
			if (IsExportRunning)
				StopExport();

			_connectionPool.Disconnect();

			System.Diagnostics.Trace.WriteLine("OnDisconnect");
		}

А StopExport() здесь останавливает выполенение и дожидается пока все потоки будут закрыты?
Я так понимаю закрытие потоков непосредственно выполняется в pollAction, может так получается, что дисконнект и закрытие потоков происходит параллельно.

На счет стаканов РТС написали:
"Как я понял, по вашему времени клиринг с 17-45 до 18-30 ? После него оба агреггированных потока приходили успешно вплоть до самого закрытия приложения."
что собственно я и видел в логах. Возможно это у нас косяк

Это точно наш косяк. Надо удалять записи с ревизиями < пришедшей по событию StreamDatumDeleted. Мы этого не делаем.