Конвертация исторических файлов QScalp в формат StockSharp

Обновил утилиту. Перевел на 17ую версию, заобно пофиксил ошибки. Бинарники так же по ссылке https://...

2020-07-15T20:11:34Z

Mikhail Sukhov

Обновил утилиту. Перевел на 17ую версию, заобно пофиксил ошибки. Бинарники так же по ссылке https://github.com/StockSharp/Qsh2Bin/releases

Важный момент при анализе записей. QSH не имеет признака временной зоны у времени. Поэтому понять в какой временной зоне записаны данные невозможно. С большей вероятностью она может быть или Московская или UTC. Точно могу сказать, что Церих и Айти в разных временных зонах пишут данные.

Как вишенка на торт - временная зона биржевой даты так же может отличаться от временной зоны локальной метки (хотя, это вполне логично, но вдруг для кого-то сюрприз).

Как решить это проблему. Конечно же, надо писать всё в UTC. Но данные и формат уже легаси, поэтому в утилите две выпадающих списка. Один для установка временной зоны локальной отметки, другой для биржевой.

После конвертации может Гидрой или через S#.Storage API просмотреть полученные данные на предмет времени. Если начало торгов что-то вроде 7 часов утра - значит временная зона была в UTC.

Пишите о своём опыте использования. Ошибки старайтесь сами исправить, исходники на Гите. Папку с рефами не заливал, чтобы не захламлять дистрибутив. Думаю, кто умеет код пистать, эту проблему порешает.

Данные по качестве средней паршивости и для пипсовых алгоритмов совершенно бесполезные из-за недостоверной отметки времени и пропуска ряда цен внутри спреда (я про стакан). Но объемы более менее совпадают по итогу. Сервис уже достоин медали, что столь долго существует, и его ещё кто-то поддерживает.

А АйТи ещё продолжает шарить записи с qscalp ?

Обновил утилиту. Перевел на 17ую версию, заобно пофиксил ошибки. Бинарники так же по ссылке https://...

2020-02-22T11:36:36Z

Я не трейдер, меня попросили сконвертировать данные в csv или txt, нашел вашу утилиту, но она выдает...

2019-12-20T00:56:21Z

Я не трейдер, меня попросили сконвертировать данные в csv или txt, нашел вашу утилиту, но она выдает ошибку при конвертации.
qsh.7z исходные файлы и то что получается SBER@FORTS.7z

Что делаю не так?

Здравствуйте, у меня Qsh2bin не видит файлы QSH

2019-11-30T09:17:02Z

Здравствуйте, у меня Qsh2bin не видит файлы QSH

Позвольте глупый вопрос... При импорте данных QSH по инструменту RIZ2019 за 20.11.19 первая строка: ...

2019-11-22T03:07:30Z

Позвольте глупый вопрос... При импорте данных QSH по инструменту RIZ2019 за 20.11.19 первая строка: 064624425;+03:00;637098399844250000;38091733454;143780;1;Buy;Done;PutInQueue;;;; 64624425 это время в миллисекундах с начала дня, получается 18 часов? Или это 06:46? Первая сделка должна проходить в 10:00 мск.

Писал подобную утилиту для TSLab и тоже заметил проблему рассинхронизации стакана и сделок. Как я по...

2019-11-15T14:25:32Z

Писал подобную утилиту для TSLab и тоже заметил проблему рассинхронизации стакана и сделок.
Как я понял эту проблему:
- Есть лаг между событием на бирже и записью в локальный фаил. Он может достигать существенное количество секунд.
- Записанный отдельно стакан в Quotes.qsh не имеет того самого реального (биржевого события), а только время локальной записи.
- Сделка же летит сразу со временем, и можно увидеть этот лаг между временем записи и времен в самой сделке.
При генерации из ордер лога всё хорошо, так как в логе есть все записи, а вот с акциями придётся наворачивать.

Как поступил я.

Если акция я просто создаю сразу 2 QshReader для Deals.qsh и Quotes.qsh. И начинаю их читать опираясь на внутреннее время записи QshReader CurrentDateTime, и стакан синхронизирую относительно времени сделки.

Код

if (readers.Count > 1)
              {
                  while (true)
                  {
                      if (readers.All(qr => qr.CurrentDateTime == DateTime.MaxValue))
                          break;

                      QshReader rd = readers.OrderBy(qr => qr.CurrentDateTime).First();
                      rd.Read(true);
                  }

                  foreach (QshReader r in readers)
                      r.Dispose();
              }
              else
              {
                  QshReader qr = readers[0];

                  while (qr.CurrentDateTime != DateTime.MaxValue)
                      qr.Read(true);

                  qr.Dispose();
              }

Есть засада, что стаканы до первой сделки придётся проигнорировать, но в моей задаче была цель узнать лучший Бид/Аск в момент сделки и я её так решил.

Надеюсь помог.

Думаю скоро погружусь в эту задачу и для StokSharp

Тип Unknown для quotes действительно надо фильтровать, в файле MainWindow.xaml.cs я добавил Where va...

2019-11-12T17:12:03Z

Тип Unknown для quotes действительно надо фильтровать, в файле MainWindow.xaml.cs я добавил Where
var quotes2 = quotes.Where(q => q.Type != QuoteType.Unknown).Select(...
что позволяет сразу выкинуть этот тип из рассмотрения.

И цена бывает иногда нулевая, тоже можно фильтровать при желании.

Для правки времени согласен с постом выше, можно использовать
ServerTime = qr.CurrentDateTime.ApplyTimeZone(TimeHelper.Moscow)
и тогда присвоение currentDate выше можно удалить, оно нигде не используется.

Опытным путем разобрался с проблемой времени! Если у вас в папке, из которой вы конвертируете, лежат...

2019-04-28T12:26:18Z

Опытным путем разобрался с проблемой времени!
Если у вас в папке, из которой вы конвертируете, лежат сразу 3 файла на день из архива http://erinrv.qscalp.ru (Deals, Quotes И AuxInfo), то конвертация будет некорректной!
Я скачивал сразу все 3 файла, и из одной папки конвертировал, поэтому была ошибка.
Если в папке лежат 2 файла на день - Deals, Quotes, то всё конвертируется нормально (если не считать ошибки по акциям, описанной мной выше)

UPD:
В общем это я поспешил, что разобрался, всё равно время некорректно ставится.
Ошибка плавающая... Я в потоках этих не разбираюсь...
Однако, если прописать вместо
ServerTime = currentDate.ApplyTimeZone(TimeHelper.Moscow),
ServerTime = qr.CurrentDateTime.ApplyTimeZone(TimeHelper.Moscow),
то вроде будет работать и время сменяться. Только в файлах начало дня при таком раскладе будет 4 часа.

Добрый день. Пробую сейчас сконвертировать данные через этот конвертер. Данные беру отсюда: http://e...

2019-04-28T09:17:33Z

Добрый день.
Пробую сейчас сконвертировать данные через этот конвертер. Данные беру отсюда: http://erinrv.qscalp.ru, за апрель
Возникли следующие ошибки:
При загрузке данных стаканов по акциям Сбербанка возникала ошибка и данные не грузились.
Проблему я решил, порывшись в исходниках. там в исходном файле в начале торгов есть строки с ценой и объемом 0 и типом Unknown. Когда тип Unknown, программа сразу выдает исключение:

Код

switch (q.Type)
{
  case QuoteType.Unknown:
  case QuoteType.Free:
  case QuoteType.Spread:
      throw new ArgumentException(q.Type.ToString());

Написал пока так для себя, не знаю, как в С# принято такое обрабатывать, когда у нас только 2 значения side:

Код

switch (q.Type)
{
  case QuoteType.Free:
  case QuoteType.Spread:
      throw new ArgumentException(q.Type.ToString());
  case QuoteType.Unknown:
      \\throw new ArgumentException(q.Type.ToString());
      side = 0;
      break;

Второй ошибкой является то, что для всех стаканов (файл quotes) время проставляется одно и то же для каждой строчки на весь файл.
Эта ошибка проявляется и для акций и для фьючерсов.
Пока не могу её побороть. сохранение в файл делается средствами StockSharp.Algo.Storages, все исходники там, как я понимаю. По отладке не могу понять, какие параметры должны быть у pair, чтобы в строке registry.GetQuoteMessageStorage(pair.Key, format: format).Save(pair.Value.Item1); запись происходила как надо. Пробовал менять LocalTime и ServerTime для каждого набора, всё равно сохраняет неправильно (со временем 35517549, например)

Коллеги, правильно ли я понимаю, что файлы сделок и стаканов на athistory.zerich.com и http://qsh.qs...

2019-03-11T09:12:36Z

Viacheslav

Коллеги, правильно ли я понимаю, что файлы сделок и стаканов на athistory.zerich.com и http://qsh.qscalp.ru/scalping.pro - это данные по Московской бирже?

Надо полагать, да

Коллеги, правильно ли я понимаю, что файлы сделок и стаканов на athistory.zerich.com и http://qsh.qs...

2019-03-08T14:20:28Z

Добрый день. Подскажите пожалуйста. Почему так получается? Может надо цену умножать на шаг (priceSte...

2019-03-06T13:49:39Z

Дмитрий Антипов

torontoxx

Дмитрий Антипов

Добрый день.

Подскажите пожалуйста.

Почему так получается?

Может надо цену умножать на шаг (priceStep) по аналогии с заявками из ордерлога?

Подскажите пожалуйста, на какой строке проекта находится данная "аналогия с заявками из ордерлога"?

Отследил чтение. Нужно в этом методе что-то менять?

Попробуйте поменять строку №380 в файле MainWindow.xaml.cs:

Старая строка: TradePrice = deal.Price,
Исправленная срока: TradePrice = deal.Price * priceStep,

Добрый день. Подскажите пожалуйста. Почему так получается? Может надо цену умножать на шаг (priceSte...

2019-03-06T13:41:16Z

torontoxx

Дмитрий Антипов

Добрый день.

Подскажите пожалуйста.

Почему так получается?

Может надо цену умножать на шаг (priceStep) по аналогии с заявками из ордерлога?

Добрый день. Подскажите пожалуйста. Почему так получается? Может надо цену умножать на шаг (priceSte...

2019-03-05T16:58:30Z

Дмитрий Антипов

Добрый день.

Подскажите пожалуйста.

Почему так получается?

Может надо цену умножать на шаг (priceStep) по аналогии с заявками из ордерлога?

Добрый день. Подскажите пожалуйста. Имею данные (c ftp://athistory.zerich.com/). GAZP.2019-01-30.Dea...

2019-03-04T20:35:53Z

Добрый день.

Подскажите пожалуйста.

Имею данные (c ftp://athistory.zerich.com/).
GAZP.2019-01-30.Deals.qsh
GAZP.2019-01-30.Quotes.qsh
LKOH.2019-01-30.Deals.qsh
LKOH.2019-01-30.Quotes.qsh

Пробовал ставить и MICEX площадку и бинарные данные.

Стаканы грузятся корректно, но сделки не совсем.

Для Газпрома цену нужно разделить на 100 и тогда ок.

Для Лукойла цену нужно разделить на 2 и тогда ок.

Почему так получается?

Все-таки интересно, почему лучшие цены в стакане, собранным утилитой (PlazaOrderLogMarketDepthBuilde...

2019-03-01T19:17:20Z

Все-таки интересно, почему лучшие цены в стакане, собранным утилитой (PlazaOrderLogMarketDepthBuilder) отличаются от лучших цен QScalp. Неужели один из двух дает неверный результат? Или я что-то не понимаю...

Хотя нет, утилита все еще неудовлетворительно собирает стакан. Стал на истории сравнивать лучшие цен...

2019-02-26T17:09:58Z

Хотя нет, утилита все еще неудовлетворительно собирает стакан. Стал на истории сравнивать лучшие цены, рассчитанные утилитой с лучшими ценами, выводимыми QScalp и обнаружил, что разница между ними большая. Для фьючерса на индекс РТС за 25 февраля, например разница составляет 2-3 шага цены (20-30 пунктов)

Поправил утилиту, чтобы поддерживала новый формат. Утилитой кто-то пользуется? Или ОЛ уже интересен ...

2019-02-25T08:01:25Z

Mikhail Sukhov

Поправил утилиту, чтобы поддерживала новый формат.

Утилитой кто-то пользуется? Или ОЛ уже интересен только единицам?

Здравствуйте. Я пользуюсь утилитой. Огромное за нее спасибо - очень полезная вещь. Но я обнаружил, что утилита неправильно собирает стакан.
Как я это обнаружил. Я добавил в утилиту функцию подсчета суммарного объема стакана по бидам и аскам (глубина стакана 50) и сохранения суммарного объема, а также лучшей цены в файл.
Т.е. я добавил после строки 509 метода ConvertFile файла MainWindow.xaml.cs следующий код (под спойлером):

Далее я протестировал утилиту на исторических данных фьючерса на индекс РТС (RTS-3.19), скаченных с сайта цериха и сравнил полученные объемы стакана с объемами, которые выводит QScalp на этих же исторических данных.
Результаты отличались: объемы, рассчитанные утилитой на порядок превышали объемы QScalp. Я пришел к выводу, что проблема в коде в строках 438 - 441 метода ConvertFile файла MainWindow.xaml.cs:

Код

else if (ol.Flags.Contains(OrdLogFlags.Moved))
{

status |= 0x100000;
}

По совету пользователя vk37 от 26.01.2016 я установил OrderState = Done для заявок с флагом Moved:

Код

else if (ol.Flags.Contains(OrdLogFlags.Moved))
{

status |= 0x100000;
msg.OrderState = OrderStates.Done;
}

И утилита стала считать объемы стакана правильно. Скажите пожалуйста, насколько мое решение верно?
Пользователь vk37 в своем сообщении от 26.01.2016 вообще советует устанавливать OrderState = Done для всех заявок из ордерлога, кроме добавляемых заявок (с флагом Add). Скажите пожалуйста, насколько его совет правильный?

Но это еще не все. Когда я стал сравнивать лучшие цены и суммарные объемы стакана после вечернего клиринга с данными, выводимыми QScalp, то обнаружил, что они отличаются: объемы рассчитанные утилитой в разы превышали объемы QScalp.
Я пришел к выводу, что утилита при сборке стакана некорректно обрабатывает вечерний клиринг, фактически не очищая стакан. Вот пример результата работы утилиты в вечерний клиринг:

1) Перед вечерним клирингом (время 18:44:59.926) суммарный объем по бидам = 2186, по аскам = 1889.
2) При обработке всех последующих заявок из ордерлога в период вечернего клиринга получаем пустой стакан (список котировок по бидам и аскам, а также лучшие цены пустые).
3) Начало вечерней сессии (время 19:0:0.347). Поступила заявка, в результате которой получаем лучшую цену по аскам, а суммарный объем по аскам = 2612, что фактически составляет суммарный объем до клиринга плюс объем заявок, поступивших в период вечернего клиринга.
4) Аналогично с бидами: время 19:0:0.505, поступает заявка, в результате которой получаем лучшую цену по бидам, а суммарный объем по бидам = 2536, что фактически составляет суммарный объем до клиринга плюс объем заявок, поступивших в период вечернего клиринга.

Я решил очищать стакан в вечерний клиринг просто создавая новый экземпляр builder:

Код

builder = new PlazaOrderLogMarketDepthBuilder(securityId);

Теперь результаты утилиты и QScalp совпадают.

Скажите пожалуйста, насколько мое решение верно и каким еще образом можно очищать стакан (мой метод мне кажется слишком грубым).

Я юзаю сею утиль

2019-02-04T15:56:08Z

Я юзаю сею утиль

Поправил утилиту, чтобы поддерживала новый формат. Утилитой кто-то пользуется? Или ОЛ уже интересен ...

2019-01-13T23:48:06Z