К вопросу о централизованной базе данных

И последннее если это пир сеть - то это частное дело. Не понял фразу "частное дело".

2012-02-25T13:53:57Z

JackSparrow

И последннее если это пир сеть - то это частное дело.

Не понял фразу "частное дело".

мы не занимаемся продажей, т.е. не занимаемся коммерческой деятельностью. К нам вопросов никаких. То...

2012-02-24T18:22:01Z

Mikhail Sukhov

lastakademik

мы не занимаемся продажей, т.е. не занимаемся коммерческой деятельностью. К нам вопросов никаких.

Тоесть, если я бесплатно буду раздавать маркет-данные, то ко мне тоже не будет никаких вопросов? Думаю, что тут не все так просто.

Не все. Это конфликт с правообладателем. Надо понимать какие права он заявляет на эти данные и на каких условиях отдает.
Но есть второй момент, если на основании одних данных получить совершенно иные, а тем более если на выходе бленд финама квика и прочего, то авторские права таят.
И последннее если это пир сеть - то это частное дело.

Новая информация приводит к уменьшению неопределенности. Стаканы по Квику вообще не имеют никакой пр...

2012-02-24T15:15:54Z

Новая информация приводит к уменьшению неопределенности.

Mikhail Sukhov

Стаканы по Квику вообще не имеют никакой практической ценности

Mikhail Sukhov

Это же лог. Это не срез данных. Дисконнекты наверное не так страшны, главное, чтобы успело прокачать. Это займет примерно минут 15-20.

Михаил с самого начала настаивал на получении данных через шлюз, но умалчивал о том, насколько просто эти данные получить.

В итоге.
Полный журнал заявок по фьючерсам представляет собой информацию в виде
#SYMBOL,SYSTEM,TYPE,MOMENT,ID,ACTION,PRICE,VOLUME,ID_DEAL,PRICE_DEAL
RIM1,F,S,20110531193412193,4000878244,0,188485.00000,4,,
RIM1,F,S,20110531193412227,4000879012,2,188470.00000,3,327643883,188470.00000

По опционам
#SYMBOL,SYSTEM,TYPE,MOMENT,ID,ACTION,PRICE,VOLUME,ID_DEAL,PRICE_DEAL
RI190000BR1,P,S,20110531204518350,4001255270,1,4825.00000,35,,
RI195000BF1,C,S,20110531204518410,4001255095,2,1180.00000,1,327669737,1180.00000

Легенда
Order log Format Description
SYMBOL c25 instrument code
SYSTEM c1 F- futures, C(P)- call(put) options, S- RTS Standard
TYPE c1 B- buy, S- sell,
MOMENT t Trade time
ID i8 quote id
ACTION i1 0- quote was deleted, 1- quote was added, 2- trade
PRICE d16.5 quote price
VOLUME i8 quote(trade) volume in contracts(shares)
ID_DEAL i8 trade id
PRICE_DEAL d16.5 trade price

Deals Format Description
SYMBOL c25 instrument code
SYSTEM c1 F- futures, C(P)- call(put) options, S- RTS Standard
MOMENT t trade time
ID_DEAL i8 trade id
PRICE_DEAL d16.5 trade price
VOLUME i8 quote(trade) volume in contracts(shares)
OPEN_POS i8 open pos*
DIRECTION c1 trade direction

Причем эти данные можно скачать в любой момент до конца торговой сессии (возможно, и через какое-то время после ее окончания).
Безусловно, по сравнению с журналом заявок использование для экспорта торгового терминала выглядит дико.

В связи с этим резервный сервер, экспортирующий данные через терминал, является излишним.
Нужна будет еще одна машина, которая может быть просто рабочим компьютером.
В случае сбоя на основном сервере, на этой машине будет запущен экспорт с логинами основного.

Единственный вопрос, который мы сейчас уточняем: возможно ли получение полного журнала заявок с нескольких статических IP-адресов (не одновременно, естественно).

По поводу количества участников и суммы взносов.
Предлагаю не спешить с этим вопросом.
Примерный план развития услуги выглядит следующим образом:
1. Создание инфраструктуры для экспорта данных (включая основной и резервный сервер).
2. Проверка работы в течение определенного периода времени (1-2 недели), экспорт данных.
3. Привлечение заинтересованных участников, выработка единых условий участия.
4. Расчет минимальных вложений исходя из количества первоначальных участников.

До того момента, пока мы не завершим успешно первый и второй этапы, говорить о расценках преждевременно.
Сейчас известна только примерная величина издержек: стоимость логинов (72000 без НДС) и основного сервера (30000).

Шаг влево, шаг вправо - берешь человека в пул которого не знаешь, далее он сливает (не со зла) инфу ...

2012-02-24T14:46:56Z

VovaM

Шаг влево, шаг вправо - берешь человека в пул которого не знаешь, далее он сливает (не со зла) инфу о том, на кого записаны данные и ...

Доступ к логину будут иметь только те, кто отвечает за сервер. Тоесть в идеале один человек. Люди из пула будут иметь доступ к самим данным и только. Не вижу смысла давать доступ непосредственно к логинам. Решил войти в пул? Вот тебе логин-пароль от пула, вот программа. А дальше мы тебя не знаем, ты нас не знаешь. Незнакомые мы.[cool]

А вообще, разговор данных думаю стоит плавно перенести в скайп.[wink] mika_soukhov если кто не знает.

мы не занимаемся продажей, т.е. не занимаемся коммерческой деятельностью. К нам вопросов никаких. То...

2012-02-24T14:22:28Z

Mikhail Sukhov

lastakademik

мы не занимаемся продажей, т.е. не занимаемся коммерческой деятельностью. К нам вопросов никаких.

М\у прочим это и есть основная засада. Шаг влево, шаг вправо - берешь человека в пул которого не знаешь, далее он сливает (не со зла) инфу о том, на кого записаны данные и ... у того возникают траблы. У того на кого записали данные. Конечно.
Такие траблы были у многих , кто размещал данные ММВБ в инете.
Моему знакомому прислали грозное предупреждение.
В свое время, кто помнит, такая новосиб. фирма как интерспрединвест, под паролем раздавала тики ММВБ. Я года 3 у них качал в свое время.
На них поехали с наездом....
http://www.interspread.ru/cb/history.php

Поэтому Финам и МВД с мамбой полюбовно договаривались... за мзду малую.

мы не занимаемся продажей, т.е. не занимаемся коммерческой деятельностью. К нам вопросов никаких. То...

2012-02-24T13:52:13Z

lastakademik

мы не занимаемся продажей, т.е. не занимаемся коммерческой деятельностью. К нам вопросов никаких.

2012-02-24T13:41:11Z

мы не занимаемся продажей, т.е. не занимаемся коммерческой деятельностью. К нам вопросов никаких.

+ свой сервак для зеркалирования предоставлю. Да, это гуд, но я думаю гарантированность от не потер...

2012-02-24T12:42:15Z

lastakademik

+ свой сервак для зеркалирования предоставлю.

Да, это гуд, но я думаю гарантированность от не потери данных в полу-пир сетях будут предоставлять сами участники.

Еще такой момент. Мы что-то нарушаем в плане законодательства. Я так понимаю это не подпадает под распространение данных, так как все в личных целях. Или я ошибаюсь?

7 * 2 = 14 т.р. Это с учетом хостинга? Если без него, то там сумма итого 4 + 2.5 = 6.5 Я немного за...

2012-02-24T12:41:02Z

Андрей Ефимов

Цитата:

7 * 2 = 14 т.р. Это с учетом хостинга? Если без него, то там сумма итого 4 + 2.5 = 6.5

Я немного запутался-речь здесь о покупке с ртс или скачки с плазы? Без учета хостинга. И еще вопрос в том гарантированно ли в плазе корректное получение всех котировок,
отсутствие задержек дисконннектов и прост того что какие-то данные не дойдут?

Я лично про совментный дата сервер (хорошее название с Паука пришло). Если через ордер лог, то данные можно получить все гарантированно. Это же лог. Это не срез данных. Дисконнекты наверное не так страшны, главное, чтобы успело прокачать. Это займет примерно минут 15-20.

Записывайте меня в группу. Поддержу финансово (50к единовременно + абонентская плата). + свой сервак...

2012-02-24T11:03:17Z

Записывайте меня в группу. Поддержу финансово (50к единовременно + абонентская плата).
+ свой сервак для зеркалирования предоставлю.

нужны все данные со всего РФ...

Господа, на пауке есть попытки поднять такую же тему.
http://forex.kbpauk.ru/s.../an/0/page/0#Post359141
Объединяйтесь.

7 * 2 = 14 т.р. Это с учетом хостинга? Если без него, то там сумма итого 4 + 2.5 = 6.5 Я немного за...

2012-02-24T05:13:17Z

Цитата:

7 * 2 = 14 т.р. Это с учетом хостинга? Если без него, то там сумма итого 4 + 2.5 = 6.5

Если скинется человек 7-то как раз получится по 2к с небольшим за каждый месяц и заморочки только с ...

2012-02-24T04:44:04Z

Андрей Ефимов

Если скинется человек 7-то как раз получится по 2к с небольшим за каждый месяц и заморочки только с обеспечением фтп-доступа к данным.
Вопрос, как всегда, только в том сколько народу реально готово скинуться.

7 * 2 = 14 т.р. Это с учетом хостинга? Если без него, то там сумма итого 4 + 2.5 = 6.5

Оплачивать предлагаю не помесячно, а сразу на год. Потому что кто-то через месяц скажет "ой, поменялись планы" и платить придется больше оставшимся (или закрывать решение с "убытком"). А так можно будет преспокойно найти новых. Есть стойкое мнение, что как только такое решение стартанет, оно заинтересует не только участников этого форума. А это позволит инициаторам избавиться от "абонплаты".

FTP не нужен. Если кто запускал Гидру последних версий 4.0.XXX, то увидел там некий источник HydraServer. Это программа, которая устанавливается на сервер, и отдает файла в формате Гидру авторизованным юзерам. FTP - это геморрой, потому что надо опять же писать автокачалку, занесение инструментов в БД и т.д. А тут все сразу делается, запустил Гидру и данные каждый день свежие падают на винт.

зы Есть стойкое желание начать писать не только Россию. На западе данные стоят еще дороже чем у нас. Пока лично мне не нужны особо (кроме как для поиска корреляции западных фьючей с нашими). Но, когда окажутся нужны, будет неплохо поиметь такие данные для анализа. Если найдем того, кто даст рид онли логин под это дело, то поимеем такие данные забесплатно.[love]

Тики по опционам все лежат на РТС - настройте гидру туда. Это до поры до времени. Есть какие либо со...

2012-02-23T12:10:11Z

Garic

Тики по опционам все лежат на РТС - настройте гидру туда.

Это до поры до времени. Есть какие либо сомнения, что как только заработает продажа истории у РТС (сейчас они не продают), доступ на ФТП не прикроют?[rolleyes]

Вопрос, как всегда, только в том сколько народу реально готово скинуться. Именно. Преимущество самос...

2012-02-23T11:11:16Z

Андрей Ефимов

Вопрос, как всегда, только в том сколько народу реально готово скинуться.

Именно.
Преимущество самостоятельной записи - за 3к$ мы получаем все рынки (пока это RTS + RTS standard, потом видимо добавится и ММВБ)

5k$ это за год данных-за месяц 500$ итого 15000р за месяц - то есть в два с половиной раза дороже за...

2012-02-23T10:29:30Z

5k$ это за год данных-за месяц 500$ итого 15000р за месяц - то есть в два с половиной раза дороже зато не надо мучаться с обеспечением качества связи и т.д. И за прошлые годы как вы получите данные?
и где гарантии что все стаканы правильно запишутся через плазу(я правда может чего не понимаю) с учетом всех мелких дисконнектов и задержек?
Если скинется человек 7-то как раз получится по 2к с небольшим за каждый месяц и заморочки только с обеспечением фтп-доступа к данным.
Вопрос, как всегда, только в том сколько народу реально готово скинуться.

Как выше объяснил Михаил - покупать дорого (рынок 5к$) Тоесть рассматриваем вариант записи стаканов ...

2012-02-23T08:49:20Z

Как выше объяснил Михаил - покупать дорого (рынок 5к$)

Тоесть рассматриваем вариант записи стаканов через плазу. 6.5к в месяц.

Тянуть тики смысл есть только если там есть дополнительные данные (ОИ к примеру). Тики по опционам все лежат на РТС - настройте гидру туда.

>> отписывайтесь кто сколько может скинуться и кому какой рынок нужнее всего

мне нужно: стаканы РИ+опционов, стаканы остальных ликвидных фьючей ФОРТС
готов скинуться порядка 10к

З.Ы. Насколько я понимаю - загадочный источник "Hydra Server" - для подобных целей задумывался?

Ну вообще смысл в централизованном хранилище есть-в том смысле чтобы скажем все участники форума(точ...

2012-02-23T08:09:58Z

Ну вообще смысл в централизованном хранилище есть-в том смысле чтобы скажем все участники форума(точнее кто скинулся-если для полного лога ордеров)
могли подключиться и скачать.
На финаме например не все тики-там нет тиков опционов. И даже если покупать то тоже есть смысл-все скинулись и залили
на сервак а потом оттуда можно тянуть. В идеале даже подключиться к гидре. Но тут получается что сервачок выполняет функцию хранения и предоставления данных и качество связи не важно. А так надо посчитать сколько народу готово скинуться и по сколько-я готов тыщи по 2 в месяц тратиться.
Скидываться можно по разному-кому удобней раз в месяц, а кому единоразово. В общем нужно обдумать схему-но для начала надо знать сколько народу
готово скинуться и поскольку(как хотите-либо сколько в месяц либо сколько единоразово).
Имеет смысл конечно сразу все рынки купить. В общем отписывайтесь кто сколько может скинуться и кому какой рынок нужнее всего. Потом подсчитаем-вдруг хватит денег))) Еще можно сделать так-скидывается сколько-то человек, а потом делается свой сервак и платный логин, лучше конечно это делать на базе стокшарповского форума(то есть с его логинами). Но в любом случае щас надо знать сколько народу и по скольку.
Я-2000р в месяц, фортс(единоразово пока не знаю-мне удобней каждый месяц понемногу как абонентская плата).

Ок, понятно.

2012-02-22T19:40:23Z

Ок, понятно.

Понял о чем речь. Top of book - это ласты. Честно говоря, сложно представить зачем они вообще нужны....

2012-02-22T19:36:07Z

Понял о чем речь. Top of book - это ласты. Честно говоря, сложно представить зачем они вообще нужны. Если стакан нужен, то он нужен целиком. Если он не нужен, то не нужны и ласты.

Ценник на рид онли логин - 2.5 т.р. Лог заявок - 4 т.р. В месяц 6.5 т.р. Я предлагаю всем тем, кто ...

2012-02-22T19:33:23Z

Garic

Mikhail Sukhov

Ценник на рид онли логин - 2.5 т.р. Лог заявок - 4 т.р. В месяц 6.5 т.р. Я предлагаю всем тем, кто заинтересован в хранении таких данных скинуться на первый год.

Итого получаем 78к. Грубо - 3000$.

С сайта РТС - архивные данные о всех сделках и лучших заявках (top of book) за 1 год по одному рынку - 1500$
http://rts.micex.ru/a237
Получается проще купить. Только непонятно что такое "top of book".

Неправильно посчитали. 1500 - это только один тикер. По всему рынку 5000. Вот по опционам целая серия, значит уже не выгодно покупать по отдельности тикер. Вынь, да положи эти 5 штук баксов.