Конвертация исторических файлов QScalp в формат StockSharp
Atom
26.09.2013


Привет всем алготрейдерам!

Хочу поделиться своим решение для тестирования скальперских и ХФТ стратегий. Долгое время я использую замечательный привод Морошкина (бесплатную версию Smile ). И недавно решил автоматизировать несколько стратегий на базе StockSharp.

Но для этого нужны исторические данные, в частности стаканы. У StockSharp есть программа Гидра, которая по идее позволяет качать все необходимое, но ее нужно держать постоянно включенной. Для меня это не вариант, так как я постоянно занят, и интернет не всегда стабильный.

Но недавно я узнал, что QScalp сам пишет историю и бесплатно ее выкладывает через брокера IT Invest.

В итоге, я написал конвертор данных QScalp в формат StockSharp!





Просто установите программу и скачайте исторические данные формата QSH для QScalp по одной из ссылок ниже

http://www.itinvest.ru/s...ware/spo/qscalp/history/

ftp://athistory.zerich.com/

Теперь осталось только указать в конвертере путь к скаченным файлам и к папке хранения исторических данных StockSharp, и нажать кнопку “Запустить”!

Вуаля, теперь у вас есть высококачественные исторические данные для тестирования своих стратегий!

PS Торопитесь пока бесплатно ;))

PPS Шутка))


Всем удачной торговли!

Присоединиться и редактировать код можно по https://github.com/stocksharp/Qsh2Bin

скомпилированную программу по https://github.com/StockSharp/Qsh2Bin/releases



Спасибо: Mikhail Sukhov Jeta N-e-o Le_green_hat




49 Ответов
< 1 2 
Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 03.07.2015
Ответить


Придется переконвертировать ОЛ, если кто уже сделал. Забыл заполнить одно из важных полей https://github.com/Anton...ad69305430058bc473786831

Может быть кто-то выложил сконвертированные файлы, чтобы не заниматься одним и тем же?
Спасибо:

vkaliteevsky

Фотография
Дата: 24.07.2015
Ответить


Пожалуйста, выложите скомпилированную версию программы!
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 25.07.2015
Ответить


vkaliteevsky Go to
Пожалуйста, выложите скомпилированную версию программы!


Выложил
Спасибо:

ionn

Фотография
Дата: 31.07.2015
Ответить


Не работает конвертация, скачал историю с цериха. ордерлог видит в qsh, сохраняет пачками по 1000 записей, но в папке с инструментом в результате только файл orderlog.bin размером 7 килобайт.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 31.07.2015
Ответить


Запустил, проверил, работает.
Спасибо:

ionn

Фотография
Дата: 31.07.2015
Ответить


я качал с гитхаба скомпилированную прогу, и сам компилировал из исходников - результат одинаков.

сюда передается массив сообщений:
registry.GetOrderLogMessageStorage(security).Save(secData.Item4);

но в файл orderlog.bin ничего не записывается
и что там в Save() происходит мне не ведомо...
запускал на разных машинах...

Куда смотреть? Где копать?
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 31.07.2015
Ответить


ionn Go to

и что там в Save() происходит мне не ведомо...

Куда смотреть? Где копать?


https://github.com/StockSharp/StockSharp/
Спасибо:

ionn

Фотография
Дата: 01.08.2015
Ответить


выяснил что в ExecutionMessage не проставляется transactionId, он всегда равен 0.
поэтому ничего не сохраняется, если убрать AppendOnlyNew или проставить свой transactionId то всё сохраняется - но по этой истории тестирование все равно не работает, свечки не формируются

хотя qscalp проигрывает скаченные файлы нормально.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 02.08.2015
Ответить


Доработал чуть утилиту. Добавил файл настроек и файл с ранее обработанными файлами (это если экспорт перезапускается, чтобы не конвертировать все заново).

Добавил поддежку CSV формата. У Ку Скальпа есть своя утилита, но она у меня почему-то падает. Плюс она без графического интерфейса, а значит нужно писать скрипт (опять же делать индекс-файл с обработанными файлами).

Ну что, может сейчас уже кто-то решится сделать мини сервер истории с паблик доступом? Может скинутся, и купить Amazon S3? Там есть веб интерфейс и настройка прав доступа (в том числе и публичное использование). За 100GB придется заплатить 36 долларов в год. Этого размера вполне хватит для ОЛ истории.

Я готов оплатить место сам, но администрировать не берусь. Если кто-то все настроит, то давайте туда зальем данные (пока доступ не отрубили).
Спасибо:

M1k3

Фотография
Дата: 03.08.2015
Ответить


Mikhail Sukhov Go to
vkaliteevsky Go to
Пожалуйста, выложите скомпилированную версию программы!


Выложил


А можно попросить у вас прямую ссылку на *.exe?
Спасибо:

rtDen

Фотография
Курсы Программист
Дата: 10.08.2015
Ответить


Спасибо:

Pantov

Фотография
Дата: 18.08.2015
Ответить


Как их истории торгов от ИК «ЦЕРИХ»
с помощью Qsh2Bin
получить: quotes.bin trades.bin security.bin, а не orderlog.bin?

Спасибо.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 18.08.2015
Ответить


Pantov Go to
Как их истории торгов от ИК «ЦЕРИХ»
с помощью Qsh2Bin
получить: quotes.bin trades.bin security.bin, а не orderlog.bin?

Спасибо.


Через Гидру.
Спасибо:

Pantov

Фотография
Дата: 19.08.2015
Ответить


Mikhail Sukhov Go to
Pantov Go to
Как их истории торгов от ИК «ЦЕРИХ»
с помощью Qsh2Bin
получить: quotes.bin trades.bin security.bin, а не orderlog.bin?

Спасибо.


Через Гидру.


Спасибо.
все сделал, но даже в Гидре есть только BIDы и в ОЛ и в конвертированных стаканах.
Какие надо учесть ньюансы, что не так?
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 21.08.2015
Ответить


Pantov Go to
все сделал, но даже в Гидре есть только BIDы и в ОЛ и в конвертированных стаканах.
Какие надо учесть ньюансы, что не так?


https://github.com/Stock...219d6e44e4d5133b7e9e076f

Хочу к чему ОЛ при таком ДолларРубле...
Спасибо:

Pantov

Фотография
Дата: 21.08.2015
Ответить


Mikhail Sukhov Go to
Pantov Go to
все сделал, но даже в Гидре есть только BIDы и в ОЛ и в конвертированных стаканах.
Какие надо учесть ньюансы, что не так?


https://github.com/Stock...219d6e44e4d5133b7e9e076f

Хочу к чему ОЛ при таком ДолларРубле...


Все заработало, получил, что хотел, спасибо Михаил.
Готов оплатить помощь, скажите куда.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 21.08.2015
Ответить


Pantov Go to

Все заработало, получил, что хотел, спасибо Михаил.
Готов оплатить помощь, скажите куда.


Лучше выложите сконвертированное куда-то, чтобы не делать одно и то же всем.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 08.12.2015
Ответить


https://github.com/Stock...h2Bin/releases/tag/1.0.4

Фильтр по инструменту. Фикс экспорта в csv.
Спасибо:

vk37

Фотография
Курсы
Дата: 26.01.2016
Ответить


У меня получился несколько иной алгоритм конвертации. Возможно, кому-то окажется полезным:

По 3 дням стакан построить не получилось: предполагаю что запись данных была выполнена с ошибками.
Даты и время ошибок:
13.10.2014 Пн 19:00:55.878
11.06.2015 Чт 18:56:21.672
18.09.2015 Пт 18:51:07.919
Спасибо:

sharafievrr

Фотография
Дата: 27.04.2016
Ответить


После конвертации в из qsh в bin подкладываю данные в директорию где хранятся данные для гидры. Но при попытке получить тики по этому инструменту гидра говорит что данных нет. Что надо сделать чтобы гидра увидела файлы с сконвертированной историей?
Спасибо:

Lexuz77

Фотография
Дата: 10.09.2016
Ответить


sharafievrr Go to
После конвертации в из qsh в bin подкладываю данные в директорию где хранятся данные для гидры. Но при попытке получить тики по этому инструменту гидра говорит что данных нет. Что надо сделать чтобы гидра увидела файлы с сконвертированной историей?

Присоединяюсь к вопросу - ни гидра, ни дизайнер бетка эти данные (bin) не видит :(
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 17.10.2016
Ответить


Новая версия 1.0.5:

1) Многопоточная обработка. Лучше запускать, если инструменты разбиты по разным файлам, как это сделано у Цериха.
2) Преобрезование Order log в стаканы. Глубика по-умолчанию 5, правится в настройках в конфиг-файле.
3) Фильтр инструментов по маске, перечисление через запятую. Например, SBER,RTS-*,*BR* будет означать поиск инструментов с названием SBER, вме инструменты, начинающиеся с RTS- и все инструменты, содержащие в названии BR (SBER, BRENT и т.д.).

Скачать

Напишите пожелание по утилите. Интересен ли вам сервис от Цериха, нужны ли в работе такие данные. Кто знает что стало с аналогичным сервисом от IT Invest?
Спасибо: Лебедев Сергей

Лебедев Сергей

Фотография
Курсы
Дата: 29.10.2016
Ответить


Программа очень и очень нужная для тестирования hft-стратегий на предмет того не являются ли они тестовыми граалыми, у которых чудо-доходность обусловлена исключительно несовершенством тестера (а-ля такого Мой hft-грааль). А так же подобные данные позволяют "исследовать" микроструктуру рынка на предмет реальных возможностей для заработка на фреймах ниже М1.
Основное пожелание - интегрировать в следующую версию S#.Data данный сайт Цериха как доп. источник для скачивания данных с конвертацией "на лету" в формат bin с формированием OL или стаканов по выбору пользователя.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 29.10.2016
Ответить


Лебедев Сергей Go to

Основное пожелание - интегрировать в следующую версию S#.Data данный сайт Цериха как доп. источник для скачивания данных с конвертацией "на лету" в формат bin с формированием OL или стаканов по выбору пользователя.


Сайт поддерживает неофициально. Вполне вероятно, что у Цериха не хватает ресурсов, и он может быть закрыт в любое время. Тратить ресурсы на такую задачу нам не сильно охота. Да и что там автоматизировать? Закачку c FTP? Это делается любым download manager-ом на 1-2-3.
Спасибо:
< 1 2 

Добавить файлы через драг-н-дроп, , или вставить из буфера обмена.

loading
clippy