К вопросу о централизованной базе данных
Atom Ответить
17.01.2012


Господа, предлагаю обсудить проблему, с которой, очевидно, сталкиваемся мы все.

Я имею в виду экспорт и хранение информации о тиковых сделках и стаканах.
Каждый из нас вынужден ежедневно выполнять одни и те же действия: включение торгового терминала, запуск Гидры, старт экспорта.

Не кажется ли Вам, коллеги, что в 21 веке мы имеем все возможности для того, чтобы избавить себя от этой каждодневной рутины?
И не волноваться о пропущенном начале торгов.

Мне представляется, что все мы заинтересованы в одном: в доступе к надежной и полной базе данных по всем инструментам. Причем сегодня нам нужен фьючерс РТС, а через месяц мы вдруг решим поработать с рынком спот. Кто же скачает за нас стаканы с ММВБ за этот месяц? А если через полгода Вы неожиданно откроете для себя опционы?

Какой выход я предлагаю из этой ситуации?
Очевидно, VPS.

Я пользовался триальным сервером [цензура] и остался доволен качеством предоставляемых услуг. Они периодически отправляют мне свои рекламные предложения, и сейчас у них проходит акция с 35%-ной скидкой на годовое обслуживание.
Прошу Вас не считать это рекламой. Уверен, в случае необходимости мы сможем найти и другие приемлемые альтернативы.

Как инициатор я готов взять на себя все вопросы, связанные с организацией сбора средств, покупкой хостинга и установкой соответствующего ПО. И, безусловно, внести оплату в размере: (1/n)*(стоимость годового обслуживания), где n-количество первоначальных пользователей.

При этом новым пользователям мы можем предложить также вносить условную сумму, которая пойдет на развитие проекта, компенсацию наших затрат, в счет будущих платежей за хостинг и, конечно же, создателям проекта Гидра. Которым, пользуясь случаем, хочу выразить благодарность за возможность работы с этой программой.

Система сбора и отправки платежей будет организована таким способом (PayPal?), что все денежные переводы будут контролироваться участниками и любая попытка использования этих средств не по назначению будет невозможна.

Прошу Вас высказывать свое мнение в этом топике и в случае, если Вы готовы принять участие в проекте, сообщить о своем решении.

Теги:


Спасибо:




61 Ответов
< 1 2 3  >
Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 21.02.2012
Ответить


transdex Перейти

https://ftp.rts.ru/pub/info/historical_data/

дает для RTS 4.5GB в месяц (сжатые текстовые файлы)


Не знаю как пожать пока ордер лог, но данные по тикам РТС + ММВБ занимает у нас 5.67 гб (для ровности, пускай будет с 2005 года) и 5.24 гб по стаканам с Плазы за пол года. С учетом того, что сейчас винты на 3 терабайта стоят 200 баксов, то можно за эти 200 баксов записать 3000 / (5.67 / 6 + 5.24 * 2) ~ 262 года. А если только по тикам, то более 3 тысяч лет. Я могу конечно ошибаться, но за эти 200 баксов тики можно будет собирать со всех площадок мира до второго пришествия.
Спасибо:

anothar

Фотография
Дата: 22.02.2012
Ответить


У меня дома стоит сервачок кот. подключен к сети по выделенке и резервная линия по модемчику(правда там безлим. для телефонов-но на терминал хватит) плюс ибп на 1000ва-
все настроено, единственный минус-если инет прервется то переподключение занимает 3 минуты на маршрутизаторе(могу попробовать уменьшить)(он тоже к ибп подрублен).
Кстати два проводных провайдера-не очень хороший вариант-перекопают где-нить и оба полетят или свет отрубят а у обоих свичи на дому.
Если надо что-то запустить-могу на своей виртуалке на серваке. Но на виртуалку никого не пущу сразу говорю-из соображений безопасности.
Но если что там поднять базу и скидывать данные-это не проблема. Сам хотел сделать чтение опционов. Но нужно знать что подымать и как.
Если просто нужно запустит гидру и терминал-не проблема. вопрос еще в том как это выставлять наружу.
Спасибо:

ingeniero

Фотография
Дата: 22.02.2012
Ответить


tmt Перейти

Я может смогу делиться стаканами RIH2.. Сегодня переделал гидру под себя, чтоб переподключался, правда у меня нетбук работает, но уже в автоматическом режиме. Сам выключается - включается, запускает квик, логинется и начинает качать) если кто-то предложит, как мне огранизовать передачу этих стаканов Вам (дело в том, что статический ip щас), то без проблем смогу делиться

И кстати.. Как можно будет качать стаканы всех инструментов(ну или тики)?! К примеру у меня за сутки программа перезапустилась 40 раз и это только по 1 инструменту (перезупуск происходит, как проходит 20 сек. с момента получения последнего стакана), чтож будет на 200 инструментах.. или 5000 я не представляю

Варианты с включением по расписанию (как Гидры, так и ноута) можете выложить здесь, чтобы остальным не изобретать велосипед.
Перезапуски бывают, у меня и Квик временами лагает. При использовании шлюза стабильность экспорта, вероятно, будет на приемлемом уровне.

По поводу максимального количества инструментов мне это и самому интересно, если честно.
В Квике в таблице всех сделок информация сохраняется до конца торговой сессии, поэтому в течение дня можно экспортировать только стаканы, а вечером запускать экспорт сделок. К сожалению, это решает одни проблемы, но создает другие.
В любом случае открытым остается вопрос: возможен ли экспорт стаканов по всем инструментам через торговый терминал? Через шлюз?


Андрей Ефимов Перейти
У меня дома стоит сервачок кот. подключен к сети по выделенке и резервная линия по модемчику(правда там безлим. для телефонов-но на терминал хватит) плюс ибп на 1000ва-
все настроено, единственный минус-если инет прервется то переподключение занимает 3 минуты на маршрутизаторе(могу попробовать уменьшить)(он тоже к ибп подрублен).
Кстати два проводных провайдера-не очень хороший вариант-перекопают где-нить и оба полетят или свет отрубят а у обоих свичи на дому.
Если надо что-то запустить-могу на своей виртуалке на серваке. Но на виртуалку никого не пущу сразу говорю-из соображений безопасности.
Но если что там поднять базу и скидывать данные-это не проблема. Сам хотел сделать чтение опционов. Но нужно знать что подымать и как.
Если просто нужно запустит гидру и терминал-не проблема. вопрос еще в том как это выставлять наружу.

Андрей, спасибо за ваш ответ.
У самого 2 линии, поэтому знакомые ситуации: и аварии на магистральном канале, и свет:)
Пускать никого никуда не надо. Мы пока и не просимся, просто обсуждаем, как все это лучше организовать.


Как вам такой вариант – 2 независимых сервера, которые экспортируют одни и те же данные.
Например, основной через шлюз и резервный через терминал.
Если на основном случится какой-то сбой, восполнить недостающие данные можно будет за счет резервного.
Автор топика
Спасибо:

tmt

Фотография
Дата: 22.02.2012
Ответить


ingeniero Перейти
Варианты с включением по расписанию (как Гидры, так и ноута) можете выложить здесь, чтобы остальным не изобретать велосипед.


Я то выложить могу, но возможно для профи c#'а код не понравится BigGrin я ведь начинающий, а ноут вкл/выкл программа TimePC (хотел сам написать ее, но я не нашел в просторах интернета, как пробудить компьютер)
Спасибо:

anothar

Фотография
Дата: 22.02.2012
Ответить


Два независимых сервера-это гуд идея. Правда будет разница со временем и как-то надо будет устранить эту разницу.
Насчет всех стаканов не знаю-но нужны ли реально они все.
По идее стаканы нужны только на достаточно активных инструментах, коих не так уж много. Все остальные даром не нужны.
Когда-то экспортировал стаканы через базу данных MsSQl и эксель.
Ага квик бывает бажит но не сильно часто.
Цитата:

К примеру у меня за сутки программа перезапустилась 40 раз и это только по 1 инструменту (перезупуск происходит, как проходит 20 сек. с момента получения последнего стакана), чтож будет на 200 инструментах.. или 5000 я не представляю

А зачем вам нужны перезапуски?
Тут в идеале надо автоматизировать так чтобы в квике не пришлось ничего руками открывать-если такое вообще возможно.
Потому что когда много инструментов руками что-то сделать будет нереально в стаканах просто запутаешься.
Спасибо:

tmt

Фотография
Дата: 22.02.2012
Ответить


Андрей Ефимов Перейти

Цитата:

К примеру у меня за сутки программа перезапустилась 40 раз и это только по 1 инструменту (перезупуск происходит, как проходит 20 сек. с момента получения последнего стакана), чтож будет на 200 инструментах.. или 5000 я не представляю

А зачем вам нужны перезапуски?
Тут в идеале надо автоматизировать так чтобы в квике не пришлось ничего руками открывать-если такое вообще возможно.
Потому что когда много инструментов руками что-то сделать будет нереально в стаканах просто запутаешься.


У меня все итак автоматически, перезапуск происходит, когда котировки новые не поступают больше 20 секунд.
Спасибо:

Alexander

Фотография
Дата: 22.02.2012
Ответить


tmt Перейти
Андрей Ефимов Перейти

Цитата:

К примеру у меня за сутки программа перезапустилась 40 раз и это только по 1 инструменту (перезупуск происходит, как проходит 20 сек. с момента получения последнего стакана), чтож будет на 200 инструментах.. или 5000 я не представляю

А зачем вам нужны перезапуски?
Тут в идеале надо автоматизировать так чтобы в квике не пришлось ничего руками открывать-если такое вообще возможно.
Потому что когда много инструментов руками что-то сделать будет нереально в стаканах просто запутаешься.


У меня все итак автоматически, перезапуск происходит, когда котировки новые не поступают больше 20 секунд.



зачем перезапуск самой программы, если в S# реализован перезапуск экспорта при не получении данных в течение N секунд?
Спасибо:

Garic

Фотография
Дата: 22.02.2012
Ответить


Андрей Ефимов Перейти
Два независимых сервера-это гуд идея. Правда будет разница со временем и как-то надо будет устранить эту разницу.
Насчет всех стаканов не знаю-но нужны ли реально они все.
По идее стаканы нужны только на достаточно активных инструментах, коих не так уж много. Все остальные даром не нужны.
Когда-то экспортировал стаканы через базу данных MsSQl и эксель.
Ага квик бывает бажит но не сильно часто.


Нужны стаканы опционов, а их много.
Идея с независимыми сервами тоже понравилась, готов присоединиться. Только как синхронизировать экспорт? у разных брокеров разная скорость, разное время обновления.
У меня за день дома бывает несколько десятков реконнектов - это меня и останавливает от записи самостоятельно.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 22.02.2012
Ответить


Garic Перейти

Нужны стаканы опционов, а их много.
Идея с независимыми сервами тоже понравилась, готов присоединиться. Только как синхронизировать экспорт? у разных брокеров разная скорость, разное время обновления.
У меня за день дома бывает несколько десятков реконнектов - это меня и останавливает от записи самостоятельно.


Стаканы по Квику вообще не имеют никакой практической ценности на ликвиде, особенно на центральном страйке и ближе к экспирации. Абсолютно не сопоставимы с потоком сделок. Единственный способ сейчас синхронизовать сделки и стаканы на РТС - это полный ордер лог. Что я и предлагаю использовать. В ближайшее время будут котировки и ММВБ. И, что самое главное, не нужно их как-то склеивать.

Ценник на рид онли логин - 2.5 т.р. Лог заявок - 4 т.р. В месяц 6.5 т.р. Я предлагаю всем тем, кто заинтересован в хранении таких данных скинуться на первый год.
Спасибо:

Garic

Фотография
Дата: 22.02.2012
Ответить


А как насчёт канала? ФулОрдерЛог реально тянуть в домашних условиях или нужен хостинг?
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 22.02.2012
Ответить


Garic Перейти
А как насчёт канала? ФулОрдерЛог реально тянуть в домашних условиях или нужен хостинг?


Канал важен для торговли, когда идут онлайн данные. Мы же говорим только про ордер лог. Канал тут важен чтобы он был без сбоев.
Спасибо:

anothar2

Фотография
Дата: 22.02.2012
Ответить


Цитата:

Ценник на рид онли логин - 2.5 т.р. Лог заявок - 4 т.р. В месяц 6.5 т.р.

Это прайс от ртс? Фулл ордер лог-это все тиковые сделки? Если так то их можно и в домашних условиях тянуть-потому что и так прокачиваются.
Вопрос только в настройке.
Спасибо:

Garic

Фотография
Дата: 22.02.2012
Ответить


Mikhail Sukhov Перейти

Канал важен для торговли, когда идут онлайн данные. Мы же говорим только про ордер лог. Канал тут важен чтобы он был без сбоев.


Ок, просто не имел дело с плазой. Плюсуюсь.


anothar Перейти
Это прайс от ртс? Фулл ордер лог-это все тиковые сделки? Если так то их можно и в домашних условиях тянуть-потому что и так прокачиваются.
Вопрос только в настройке.


Это все заявки (мечта алкотрейдера - бездонный стакан). Сделки тянуть бессмысленно - гидра их и так скачает. Квиковское поле "направление сделки" можно наверно и самому сгенерить - оно я так понимаю фиктивное. В истории только ОИ не хватает, если оно надо кому.
Спасибо:

tmt

Фотография
Дата: 22.02.2012
Ответить


Alexander Mukhanchikov Перейти
зачем перезапуск самой программы, если в S# реализован перезапуск экспорта при не получении данных в течение N секунд?

Да программа то не перезапускается, просто от логинется заного и экспорт тоже перезапускает)) Да и не знал я про эдакую функцию
Спасибо:

Garic

Фотография
Дата: 22.02.2012
Ответить


Mikhail Sukhov Перейти

Ценник на рид онли логин - 2.5 т.р. Лог заявок - 4 т.р. В месяц 6.5 т.р. Я предлагаю всем тем, кто заинтересован в хранении таких данных скинуться на первый год.


Итого получаем 78к. Грубо - 3000$.

С сайта РТС - архивные данные о всех сделках и лучших заявках (top of book) за 1 год по одному рынку - 1500$
http://rts.micex.ru/a237
Получается проще купить. Только непонятно что такое "top of book".
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 22.02.2012
Ответить


anothar Перейти
Если так то их можно и в домашних условиях тянуть-потому что и так прокачиваются.


Мы сейчас говорим о тиках или стаканах? Тики можно тянуть откуда угодно. Они стоят дешево. Стаканы дороже. Но как выяснилось, стаканы не сильно коррелируются со сделками по времени. Железная корреляция - это ордер лог. Он стоит еще дороже.

Если нужны только тики, то смысла в централизованном хранилище как бы нет вообще.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 22.02.2012
Ответить


Garic Перейти
Mikhail Sukhov Перейти

Ценник на рид онли логин - 2.5 т.р. Лог заявок - 4 т.р. В месяц 6.5 т.р. Я предлагаю всем тем, кто заинтересован в хранении таких данных скинуться на первый год.


Итого получаем 78к. Грубо - 3000$.

С сайта РТС - архивные данные о всех сделках и лучших заявках (top of book) за 1 год по одному рынку - 1500$
https://rts.micex.ru/a237
Получается проще купить. Только непонятно что такое "top of book".


Неправильно посчитали. 1500 - это только один тикер. По всему рынку 5000. Вот по опционам целая серия, значит уже не выгодно покупать по отдельности тикер. Вынь, да положи эти 5 штук баксов.
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 22.02.2012
Ответить


Понял о чем речь. Top of book - это ласты. Честно говоря, сложно представить зачем они вообще нужны. Если стакан нужен, то он нужен целиком. Если он не нужен, то не нужны и ласты.
Спасибо:

Garic

Фотография
Дата: 22.02.2012
Ответить


Ок, понятно.
Спасибо:

anothar

Фотография
Дата: 23.02.2012
Ответить


Ну вообще смысл в централизованном хранилище есть-в том смысле чтобы скажем все участники форума(точнее кто скинулся-если для полного лога ордеров)
могли подключиться и скачать.
На финаме например не все тики-там нет тиков опционов. И даже если покупать то тоже есть смысл-все скинулись и залили
на сервак а потом оттуда можно тянуть. В идеале даже подключиться к гидре. Но тут получается что сервачок выполняет функцию хранения и предоставления данных и качество связи не важно. А так надо посчитать сколько народу готово скинуться и по сколько-я готов тыщи по 2 в месяц тратиться.
Скидываться можно по разному-кому удобней раз в месяц, а кому единоразово. В общем нужно обдумать схему-но для начала надо знать сколько народу
готово скинуться и поскольку(как хотите-либо сколько в месяц либо сколько единоразово).
Имеет смысл конечно сразу все рынки купить. В общем отписывайтесь кто сколько может скинуться и кому какой рынок нужнее всего. Потом подсчитаем-вдруг хватит денег))) Еще можно сделать так-скидывается сколько-то человек, а потом делается свой сервак и платный логин, лучше конечно это делать на базе стокшарповского форума(то есть с его логинами). Но в любом случае щас надо знать сколько народу и по скольку.
Я-2000р в месяц, фортс(единоразово пока не знаю-мне удобней каждый месяц понемногу как абонентская плата).
Спасибо:

Garic

Фотография
Дата: 23.02.2012
Ответить


Как выше объяснил Михаил - покупать дорого (рынок 5к$)

Тоесть рассматриваем вариант записи стаканов через плазу. 6.5к в месяц.

Тянуть тики смысл есть только если там есть дополнительные данные (ОИ к примеру). Тики по опционам все лежат на РТС - настройте гидру туда.

>> отписывайтесь кто сколько может скинуться и кому какой рынок нужнее всего

мне нужно: стаканы РИ+опционов, стаканы остальных ликвидных фьючей ФОРТС
готов скинуться порядка 10к

З.Ы. Насколько я понимаю - загадочный источник "Hydra Server" - для подобных целей задумывался?
Спасибо:

anothar

Фотография
Дата: 23.02.2012
Ответить


5k$ это за год данных-за месяц 500$ итого 15000р за месяц - то есть в два с половиной раза дороже зато не надо мучаться с обеспечением качества связи и т.д. И за прошлые годы как вы получите данные?
и где гарантии что все стаканы правильно запишутся через плазу(я правда может чего не понимаю) с учетом всех мелких дисконнектов и задержек?
Если скинется человек 7-то как раз получится по 2к с небольшим за каждый месяц и заморочки только с обеспечением фтп-доступа к данным.
Вопрос, как всегда, только в том сколько народу реально готово скинуться.
Спасибо:

Garic

Фотография
Дата: 23.02.2012
Ответить


Андрей Ефимов Перейти
Вопрос, как всегда, только в том сколько народу реально готово скинуться.


Именно.
Преимущество самостоятельной записи - за 3к$ мы получаем все рынки (пока это RTS + RTS standard, потом видимо добавится и ММВБ)
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 23.02.2012
Ответить


Garic Перейти
Тики по опционам все лежат на РТС - настройте гидру туда.


Это до поры до времени. Есть какие либо сомнения, что как только заработает продажа истории у РТС (сейчас они не продают), доступ на ФТП не прикроют?RollEyes
Спасибо:

Mikhail Sukhov

Фотография
Автор статей Программист Трейдер
Дата: 24.02.2012
Ответить


Андрей Ефимов Перейти
Если скинется человек 7-то как раз получится по 2к с небольшим за каждый месяц и заморочки только с обеспечением фтп-доступа к данным.
Вопрос, как всегда, только в том сколько народу реально готово скинуться.


7 * 2 = 14 т.р. Это с учетом хостинга? Если без него, то там сумма итого 4 + 2.5 = 6.5

Оплачивать предлагаю не помесячно, а сразу на год. Потому что кто-то через месяц скажет "ой, поменялись планы" и платить придется больше оставшимся (или закрывать решение с "убытком"). А так можно будет преспокойно найти новых. Есть стойкое мнение, что как только такое решение стартанет, оно заинтересует не только участников этого форума. А это позволит инициаторам избавиться от "абонплаты".

FTP не нужен. Если кто запускал Гидру последних версий 4.0.XXX, то увидел там некий источник HydraServer. Это программа, которая устанавливается на сервер, и отдает файла в формате Гидру авторизованным юзерам. FTP - это геморрой, потому что надо опять же писать автокачалку, занесение инструментов в БД и т.д. А тут все сразу делается, запустил Гидру и данные каждый день свежие падают на винт.

зы Есть стойкое желание начать писать не только Россию. На западе данные стоят еще дороже чем у нас. Пока лично мне не нужны особо (кроме как для поиска корреляции западных фьючей с нашими). Но, когда окажутся нужны, будет неплохо поиметь такие данные для анализа. Если найдем того, кто даст рид онли логин под это дело, то поимеем такие данные забесплатно.Love
Спасибо:
< 1 2 3  >

Добавить файлы через драг-н-дроп, , или вставить из буфера обмена.

loading
clippy