данные. StockSharphttps://stocksharp.ru/handlers/atom.ashx?category=tag&id=данные&type=communityCopyright @ StockSharp Platform LLC 2010 - 20242024-03-28T15:49:50Zhttps://stocksharp.ru/images/logo.pnghttps://stocksharp.ru/topic/8138/S#.Data - релиз v4.3.222017-03-08T22:19:28Z2024-01-21T14:18:22ZЮрий Басанговhttps://stocksharp.ru/users/7/info@stocksharp.ruДрузья, новая версия нашего загрузчика данных <a href="https://stocksharp.ru/store/%D1%81%D0%BA%D0%B0%D1%87%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/" title="Гидра - бесплатная программа скачивания и хранение маркет данных">Гидра</a> доступна для скачивания!<br />Из принципиальных изменений хотим отметить:<br /><br /><em>1. <b>Создание индексов и непрерывных фьючерсов прямо в Hydra!</b> Используя скачанные данные вы можете строить собственные индексы, применять для их расчета популярные математические функции, строить по ним графики и сохранять как отдельный инструмент</em><br /><iframe width="640" height="390" src="//www.youtube.com/embed/zcNSi1imTcY" frameborder="0" allowfullscreen></iframe><br /><br /><em>2. Добавлен экспорт в Excel или csv доски опционов, которая построена и сохранена с помощью Hydra. Получить массив данных для анализа теперь очень просто. </em><br /><a href='https://stocksharp.ru/file/104130/doska_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/104130/doska_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><em>3. <b>Сохранение построенного индекса, свечей, стаканов.</b> Допустим на шаге 1 мы построили индекс отношений цен GOOG к AAPL или свечи из тиков, или стакан из ордер лога, чтобы завтра не строить его заново мы добавили функцию сохранения полученного результата как отдельного инструмента.</em><br /><a href='https://stocksharp.ru/file/104264/composite-save_gif/' class='lightview' style='max-width: 600px;' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/104264/composite-save_gif/" alt="http://" title="http://" /></a><br /><br /><em>4. <b>Расширен функционал построения свечей</b>. Новая версия Hydra позволяет строить свечи из лучшего бида, аска, по спреду или классически по сделкам.<br /></em><br /><a href='https://stocksharp.ru/file/104265/candeles-building_gif/' class='lightview' style='max-width: 600px;' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/104265/candeles-building_gif/" alt="http://" title="http://" /></a><br /><br /><em>5. <b>Реализован режим FIX сервера.</b> Если раньше Hydra в режиме сервера пересылала данные как файлы, то сейчас трансляция может осуществляться в профессиональном FIX/FAST формате.</em><br /><a href='https://stocksharp.ru/file/104266/fixserver-mode_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/104266/fixserver-mode_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Надеемся эти изменения будут полезны всем алготрейдерам. Напоминаем, что программа распространяется <b><span style="color:green">бесплатно.</span></b><br /><br /><b><div align="center"><span style="font-size:140%"><a href="https://stocksharp.ru/products/download/" title="https://stocksharp.ru/products/download/"><span style="color:green">>> Скачать <<</span></a></span></div></b><br />https://stocksharp.ru/topic/9352/Данные - всё??? 2018-04-23T15:36:00Z2024-01-21T14:11:06ZЮрий Басанговhttps://stocksharp.ru/users/7/info@stocksharp.ru<a href='https://stocksharp.ru/file/106608/vpn-for-china_jpg/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/106608/vpn-for-china_jpg/?size=500x500" alt="http://" title="http://" /></a><br />Шоковые события в нашей стране в интернет части за последние дни заставляют все больше и больше надеятся только на одного человека в этом бренном мире - что присуствует в отражении зеркала.<br />Некогда один из наиболее популярных сервисов халявно-бесплатных маркет-данных <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAADvRMbc1pNZ6-HTVrbMST1efffX20cJvo3OaUwz1epxmQ" title="https://www.finam.ru/">Финам</a> испытывает трудности. И нам остается лишь гадать: временные ли они, с чем они связаны, или сервис прекращает свою работу окончательно (по крайней мере как свободно-доступный)?<br /><br />На текущий момент мы в курсе испытываемых проблем у ряда пользователей. А так же о том, что сервис частично или полностью недоступен (счастливчики, как я, ликуют - сервис пока работает). Поэтому мы предлагаем ряд вариантов для решения проблемы прямо сейчас через нашу мега программу <a href="https://stocksharp.ru/store/%D1%81%D0%BA%D0%B0%D1%87%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/" title="Гидра - бесплатная программа скачивания и хранение маркет данных">Гидра</a>:<br /><br /><ol><br /><li> <b>MFD источник.</b> Работает аналогично Финаму (глубина истории чуть меньше, инструментарий аналогичный). Скачиваем инструменты, добавляем в панель источника, выбираем типы интересующих данных. <br />Инструкция <a href="https://doc.stocksharp.ru/html/01af89f1-bba1-4935-9a3c-ee3cb9f3c1e2.htm" title="https://doc.stocksharp.ru/html/01af89f1-bba1-4935-9a3c-ee3cb9f3c1e2.htm">здесь.</a><br /><br /><li> <b>Alor истории.</b> Сервис очень лайтовый. Имеет ограничение по глубине истории. <br />Инструкция <a href="https://doc.stocksharp.ru/html/cec19cef-4bf7-4dcb-90fb-fccba4c0248c.htm" title="https://doc.stocksharp.ru/html/cec19cef-4bf7-4dcb-90fb-fccba4c0248c.htm">здесь.</a><br /><br /><li> <b>Терминалы. Квик.</b> Можно качать свечи напрямую из терминала. <br />Инструкция <a href="https://doc.stocksharp.ru/html/54a1e95e-ea39-4322-9613-e74859a3a596.htm" title="https://doc.stocksharp.ru/html/54a1e95e-ea39-4322-9613-e74859a3a596.htm">здесь.</a> <br /><br /><li> <b>Покупка готовых данных с биржи</b>, но это вариант не для всех. <br />Инструкции - звоним по телефону, указанному на сайте биржи.<br /><br /><li> <b>Order log с Цериха.</b> Качаем, конвертируем его в ленту сделок утилитой. <br />Подробности <a target="_blank" href="https://github.com/StockSharp/Qsh2Bin" title="https://github.com/StockSharp/Qsh2Bin">здесь.</a> <br /></ol><br />Надеемся, эти антикризисные меры поиска маркет-данных для РФР вам помогут, и вы сможете продолжить свой путь к миллионам!https://stocksharp.ru/topic/6973/S#.Data - релиз v4.3.192016-11-23T14:37:11Z2024-01-21T14:08:37ZЮрий Басанговhttps://stocksharp.ru/users/7/info@stocksharp.ru<a href='https://stocksharp.ru/file/103898/7-smart-big-data-tips-for-start-ups_jpg/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103898/7-smart-big-data-tips-for-start-ups_jpg/?size=500x500" alt="http://" title="http://" /></a><br /><br />С удовольствием сообщаем о релизе новой версии нашей программы <a href="https://stocksharp.ru/store/%D1%81%D0%BA%D0%B0%D1%87%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/" title="Гидра - бесплатная программа скачивания и хранение маркет данных">Гидра</a><br />Программа предназначена для скачивания, хранения, анализа маркет-данных любого типа и любого объема.<br />Встроенная база данных с особым форматом файла хранения позволяет получать высочайшую степень сжатия и хранить годы котировок в облаке или на домашнем сервере.<br />В новой версии мы добавили несколько разных фишек и возможностей:<br /><br /><em>1. Прежде всего стандартизировали дизайн. Стало красивее и теперь он идентичен другим нашим продуктам, например <a href="https://stocksharp.ru/store/%D0%B4%D0%B8%D0%B7%D0%B0%D0%B9%D0%BD%D0%B5%D1%80-%D1%81%D1%82%D1%80%D0%B0%D1%82%D0%B5%D0%B3%D0%B8%D0%B9/" title="Дизайнер - бесплатная программа для создания торговых стратегий без программирования">Дизайнер</a> </em><br /><a href='https://stocksharp.ru/file/103899/sc1_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103899/sc1_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><em>2. Упростили работу с источниками, теперь их выбор и добавление стал еще проще.</em><br /><a href='https://stocksharp.ru/file/103900/sc2_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103900/sc2_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><em>3. Упростили работу с данными, пара кликов мышью и вы уже в окне анализа и визуализации.</em><br /><a href='https://stocksharp.ru/file/103901/sc3_gif/' class='lightview' style='max-width: 600px;' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103901/sc3_gif/" alt="http://" title="http://" /></a><br /><br /><em>4. Упростили доступ к необходимым разделам программы.</em><br /><a href='https://stocksharp.ru/file/103902/sc4_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103902/sc4_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><em>5. Вычистили ранее имевшиеся баги и ошибки.</em><br /><br />S#.Data - незаменимый инструмент алготрейдера в работе с историческими данными любого типа. Программа распространяется <b><span style="color:green">бесплатно.</span></b><br /><br /><b><div align="center"><span style="font-size:140%"><a href="https://stocksharp.ru/products/download/" title="https://stocksharp.ru/products/download/"><span style="color:green">>> Скачать <<</span></a></span></div></b><br /><br /><br /><br /><br />https://stocksharp.ru/topic/8043/S#.Data - релиз v4.3.202017-01-27T12:38:24Z2024-01-21T14:03:36ZЮрий Басанговhttps://stocksharp.ru/users/7/info@stocksharp.ru<br />Друзья, мы выпустили новую версию нашего загрузчика данных <a href="https://stocksharp.ru/store/%D1%81%D0%BA%D0%B0%D1%87%D0%B8%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5-%D0%BC%D0%B0%D1%80%D0%BA%D0%B5%D1%82-%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85/" title="Гидра - бесплатная программа скачивания и хранение маркет данных">Гидра</a><br />В новой версии мы продолжили работу на дизайном и сделали упор на новые инструменты:<br /><br /><em>1. <b>Добавлены опционы!</b> Теперь гидра может отображать доску опционов, волатильность, а также рассчитывать их, если истории нет, но есть данные по спреду! </em><br /><a href='https://stocksharp.ru/file/104130/doska_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/104130/doska_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><em>Хотите узнать какие результаты принесла бы торговля волатильностью в последнем квартале? Покупать или продавать опционы? Найти оптимальный шаг рехеджирования? Теперь легко, все данные есть. Расчетная история IV, история по опционам, улыбка волатильности! </em><br /><a href='https://stocksharp.ru/file/104131/ulybka_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/104131/ulybka_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><em>2. Помимо этого сделан редизайн панели импорта. Она стала более понятной и удобной в использовании.</em><br /><a href='https://stocksharp.ru/file/104129/import_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/104129/import_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />3. Пофиксили баги при использовании источника Финам.<br /><br />Надеемся эти изменения будут полезны всем алготрейдерам. Напоминаем, что программа распространяется <b><span style="color:green">бесплатно.</span></b><br /><br /><b><div align="center"><span style="font-size:140%"><a href="https://stocksharp.ru/products/download/" title="https://stocksharp.ru/products/download/"><span style="color:green">>> Скачать <<</span></a></span></div></b><br />https://stocksharp.ru/topic/6989/Где и как скачать маркет-данные по американскому рынку. Решение.2016-12-02T11:58:44Z2016-12-29T10:36:50ZЮрий Басанговhttps://stocksharp.ru/users/7/info@stocksharp.ruВ нашей сегодняшней статье мы расскажем о том где можно бесплатно или за относительно небольшие деньги скачать исторические данные по американскому рынку, а также об универсальном способе скачивать, сохранять, анализировать и использовать в собственных алгоритмах любые типы рыночных данных. <br />Прежде всего давайте коснемся основных источников маркет-даты по американским ценным бумагам с кратким их описанием. В целом можно выделить три типа источников:<br />1. Источники исторических данных, например биржи, которые поставляют историю торгов на собственной площадке (конечно оставляем за гранью прямые подключения которые относятся к типу 2).<br />2. Источники рыночных данных, например брокерские терминалы, через который конечно можно загрузить в том числе и определенную историю, но основной интерес представляет то, что происходит прямо сейчас.<br />3. Универсальные источники, которые объединяют в себе тип 1 и тип 2, и как правило представлены специализированными сервисами.<br /><br />К первому типу источников можно смело отнести такие сайты как <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAACG1tIdcLLf4WCKlIxJbjy04rMqAOqG4tEl5nFhU3S5UQ" title="https://www.google.com/finance">Google</a> и <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAACQ8wvoITv8w46-c31ObKjoc9y7qX7dAAUJg7CkwdSKrw" title="https://finance.yahoo.com/">Yahoo Finance</a>:<br /><a href='https://stocksharp.ru/file/103933/14_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103933/14_png/?size=500x500" alt="http://" title="http://" /></a><br />Несомненным достоинством этих сервисов является их полная бесплатность, однако, с другой стороны, интрадей маркет-данные скачать будет невозможно, также как невозможно получить, что либо кроме свечей. Под что-либо мы конечно подразумеваем такие данные как Level1, Order Log, Market Depth и т.д.<br />Это практически исключает возможность использования полученных данных для тестирования стратегий, предполагающих торговлю внутри дня. С другой стороны, если ваша стратегия предполагает среднесрочную торговлю, например, основана на подходе “Черепах”, либо вы практикуете портфельное инвестирование без слишком частого перетряхивания портфеля, то использование данных с этих источников будет очень обоснованно и целесообразно.<br /><br />К источникам рыночных данных как уже написано выше, относятся, прежде всего, брокерские терминалы или другие подключения к брокеру, которые есть у каждого практикующего трейдера. Например: Fusion/Blackwood, Rithmic, Gain Capital, OEC Trader, Sterling и т.д. <br /><a href='https://stocksharp.ru/file/103936/15_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103936/15_png/?size=500x500" alt="http://" title="http://" /></a><br />Плюсы от использования данного источника видны практически сразу. Во-первых, это бесплатно (конечно без учета тех комиссий, которые вы платите брокеру). Во-вторых, это множество данных которые можно получить: некоторые типы свечей, тики, Level1, DOM и т.д. К минусам можно причислить отсутствие глубокой истории и необходимость хитрого сбора нужных данных, когда без специализированного ПО не обойтись. <br />При таком подходе, ваши возможности для тестирования значительно расширяются. Появляется возможность создавать не только внутридневные стратегии, но и высокочастотные алгоритмы, основанные на найденных исторических закономерностях.<br /><br />Универсальные источники - это в большинстве своем специализированные сервисы, которые поставляют как реал-тайм маркет-дату, так и любую запрошенную историю, например <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAACl5oZDD22LAvhmeHzqbO9Nz8C5abh7lIuUGWmQ68J5AXlBwn3fQYPmp949Sc4-swo" title="http://www.iqfeed.net/stocksharp/">IQFeed</a>. <br /><a href='https://stocksharp.ru/file/103927/16_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103927/16_png/?size=500x500" alt="http://" title="http://" /></a><br />Главным плюсом подобного источника является его универсальность и наполненность данными, т.е. в любой момент по запросу пользователя можно получить любые нужные данные, тиковые, свечи, стаканы и т.п. Минусом такого подхода является платность данного сервиса, цена на который начинается от 50$ в месяц в базовой версии. Если возникает желание получить несколько больше, то потребуется подключить дополнительные функции, которые как вы уже поняли тоже будут стоить денег. Но, как и предыдущий вариант, вам потребуется специальная программа для сбора и хранения данных. Ведь по окончанию действия подписки вы потеряете все данные. Плюс глубина истории, хоть и больше, чем у предыдущего способа, но все равно она ограничена. Особенно для тиковых данных.<br /><br />Теперь мы можем перейти к самому интересному, а как же нам оптимально получать историю и при этом не тратить много денег. На наш взгляд, здраво выглядит следующий подход:<br />- скачать дневные свечи с бесплатного источника, и протестировать свою стратегию предварительно на этих данных;<br />- скачать интрадей данные через своего брокера, и протестировать уже более детально стратегию<br />- покупка подписки на платный сервис и выкачивание всего интересующего массива данных,<br />Для того, чтобы реализовать подобное, потребуется специализированное ПО, которое будет за вас вначале загружать нужные данные с нужного сервиса, а затем в едином формате продолжит сбор их от вашего брокера. Таким образом, единство данных не будет утрачено и их можно будет легко использовать в дальнейшем анализе. <br />Для таких задач мы создали программу <a href="http://stocksharp.com/products/hydra/" title="http://stocksharp.com/products/hydra/">S#.Data (Hydra)</a> (ознакомиться с инструкцией и примерами по работе с программой можно <a href="http://stocksharp.ru/s/2cdQFGGD" title="http://stocksharp.ru/s/2cdQFGGD"><span style="color:blue">здесь</span></a>). Это бесплатная программа, доступная для скачивания. Hydra предоставляет множество различных функций, но основной ее задачей является скачивание и накопление данных.<br /><a href='https://stocksharp.ru/file/103979/dccb48791e65c712d3d08f2793f80307_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103979/dccb48791e65c712d3d08f2793f80307_png/?size=500x500" alt="http://" title="http://" /></a><br />Hydra поддерживает загрузку не только свечей любого таймфрейма, но и тиков, ордер лога, level 1, стаканов по множеству инструментов. При этом программа умеет не только скачивать, но и накапливать данные, идущие от брокера, например из <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAAAoT1gVnEPvRG4Uu0mXQgLBdqCN5TRQxRZFQW50g0mYq79tp1AFxjBd05TxV8XyYoM" title="https://futuresonline.com/trading/oec-trader">OEC Trader</a>, Sterling и т.д.<br /><br />Hydra хранит данные в форматах CSV или BIN (сверх компактный формат хранения данных - 7 байт на 1 снимок стакана или 2 байта на тик). Данные располагаются локально, как файлы, и к ним есть доступ из любых программных языков , а также позволяет в конечном итоге пользователю хранить и использовать огромный массив рыночных данных на домашнем компьютере, сервере или в облаке (поддерживается AWS).<br /><br />Подводя итоги настоящей статьи, надеемся, что методы изложенные в ней позволят вам, получить маркет-дата за адекватные средства и немного приблизиться к профессиональным участникам. <br />Они давно так делают!<br />Желаем удачи на рынке!<br />https://stocksharp.ru/topic/6983/S#.Data (Hydra) - инструкция и примеры по работе с программой.2016-12-01T16:37:31Z2016-12-01T16:37:31ZЮрий Басанговhttps://stocksharp.ru/users/7/info@stocksharp.ruГидра - программа для скачивания и накопления маркет-данных. В данной статье расскажем, как скачивать историю с Google Finance, брокера Gain Capital и сервиса IQFeed.<br />Для начала расскажем немного об интерфейсе программы. После первого запуска вы увидите главное окно, которое предложит вам выбрать источники данных.<br /><a href='https://stocksharp.ru/file/103917/1_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103917/1_png/?size=500x500" alt="http://" title="http://" /></a><br />Обратите внимание на описание каждого источника, если рядом с ним написано:<br /><em>Source is designed to get history data …</em> - то это означает возможность скачивания исторических данных, <br />а если написано:<br /><em>Source is designed to get market-data ..</em> - то это означает возможность подключения к реалтайм источнику данных и самостоятельному сбору истории. Забегая вперед, подобный способ зачастую дешевле простой покупки данных у дата-вендора.<br /><br />Теперь выберем ряд источников и попробуем получить маркет дату. В качестве таковых мы предлагаем использовать: Google (как источник исторических данных), OECTrader (как источник реал-тайм данных, который вам даст брокер при открытие счета), IQFeed (как источник реал-тайм данных с максимальным количеством одновременных подписок).<br /><br />Ставим галочки напротив выбранных источников.<br />После нажатия кнопки ОК, программа предложит вам включить дополнительные возможности. <br /><a href='https://stocksharp.ru/file/103918/2_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103918/2_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Они достаточно полно описаны в самой программе, поэтому не будем здесь вдаваться в описание каждой из них.<br />Для того, чтобы двигаться дальше достаточно будет просто нажать ОК, не выбирая в данном окне ничего. При необходимости всегда можно вернуть данную настройку через кнопку ADD -> Tools и выбрать необходимое.<br />После всех проделанных процедур мы получаем в левом окне добавленные источники, каждый из которых теперь необходимо настроить.<br /><br /><b><span style="font-size:160%">Google Finance</span></b><br /><br />Делается это простым нажатием на кнопку карандаша, <a href='https://stocksharp.ru/file/103919/3_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103919/3_png/?size=500x500" alt="http://" title="http://" /></a> которая открывает окно настроек.<br /><a href='https://stocksharp.ru/file/103920/4_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103920/4_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Быстренько пробежимся по каждой из них, чтобы сложилось полное понимание. Итак:<br />Start date - дата с которой Hydra будет получать рыночные данные<br />Time Offset - смещение времени. В данном случае 1 означает, что данные за сегодняшний день скачаны не будут. Это нужно для того, чтоб не скачать половину дня, когда торги еще не завершены.<br />Weekend - когда галочка установлена выходные дни игнорируются.<br />Time interval - hydra скачивает данные по частям. Данный параметр позволяет указать насколько большие части будут использованы. При значении 30 программа будет скачивать данные пакетами по 30 дней.<br />Header, work from, work until, work interval - настройки по работе самой программы, в течение какого времени она должна загружать данные (от и до)<br />Data directory - папка в которой будут храниться скачанные данные, можно оставить по умолчанию, можно выбрать любую собственную. <b>Рекомендуем создавать под каждый источник отдельную директорию, чтобы данные не перезаписывались.</b><br />Format - формат сохраняемых данных. Поддерживается BIN - специальный формат Hydra позволяющий получать уникальную степень сжатия (2 байта на тик, 7 байтов на стакан) либо всем известный CSV (тут объем обычный)<br />Max.errors - максимальное количество ошибок в источнике.<br />Dependency - указывает на добавленную задачу, которая должна быть выполнена до текущей (в нашем случае это может быть либо IQFeed, либо OEC Trader)<br />Logging level - уровень логирования.<br /><br />Давайте оставим все данные по умолчанию и выберем бумаги по которым будет происходить скачивание данных. Допустим выберем штук 5 тикеров, входящих в S&P500 индекс, например: MMM, AFL, GOOG, AAPl, T.<br /><br />Для этого все эти инструменты нужно добавить:<br /><a href='https://stocksharp.ru/file/103921/5_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103921/5_png/?size=500x500" alt="http://" title="http://" /></a><br />Поскольку источник Google не поддерживает автоматическое добавление инструментов, то потребуется добавление их в базу вручную<br /><a href='https://stocksharp.ru/file/103922/6_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103922/6_png/?size=500x500" alt="http://" title="http://" /></a><br />Далее повторяем процедуру для каждой бумаги и перемещаем их в раздел Selected<br /><a href='https://stocksharp.ru/file/103923/7_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103923/7_png/?size=500x500" alt="http://" title="http://" /></a><br />После этого просто подключаем источник <a href='https://stocksharp.ru/file/103924/8_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103924/8_png/?size=500x500" alt="http://" title="http://" /></a> и нажимаем Start.<br />По окончании скачивания вы должны получить вот такие результаты<br /><a href='https://stocksharp.ru/file/103925/9_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103925/9_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><b><span style="font-size:160%">OpenECry (Gain Futures) </span></b><br /><br />Источник рыночных данных для клиентов Gain Capital, который вам дает брокер бесплатно при открытие счета. Ключевые настройки источника во многом аналогичны настройкам, которые мы сделали в Google с той лишь разницей, что теперь нужно вносить логин/пароль от вашего аккаунта для доступа к потоку данных и выбрать правильный адрес с которого эти данные будут идти. Предустановлено 3 возможности: тестовый сервер (к которому подключаемся мы и который предназначен для разработчиков), симулятор (сервер для демо счетов), реальный сервер (сервер, имеющий подключение к реальному рынку и реальным счетам). Если у вас открыт счет, то ваш выбор реальный сервер.<br /><a href='https://stocksharp.ru/file/103926/10_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103926/10_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Параметр Candle from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде свечей.<br />После того, как вы это сделаете добавляем инструменты данные по которым мы хотим получить, поскольку OEC поддерживает автоматическую загрузку и поиск инструментов, делаем это через кнопку Download Securities, с последующим добавлением их через код инструмента. Наш выбор ESZ6 (мини S&P) и NQZ6 (мини Nasdaq).<br /><a href='https://stocksharp.ru/file/103935/11_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103935/11_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />В результате добавления у вас должно получиться тоже самое, что представлено на картинке.<br />Теперь обратите ваше внимание на нижнюю часть окна. В самом начале статьи мы говорили о том, что Hydra поддерживает загрузку и хранение множества типов рыночных данных, настройки о том какие данные загружать можно сделать с помощью соответствующей панели:<br /><a href='https://stocksharp.ru/file/103934/12_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103934/12_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />On Ticks - означает, что будут загружаться тики<br />On Market Depth - означает, что будут загружаться стаканы<br />Candles имеет дополнительную настройки при нажатии на кнопку можно выбрать типы свечей которые будут загружаться, вот как это выглядит:<br /><a href='https://stocksharp.ru/file/103932/13_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103932/13_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />On Level 1 - означает, что будут загружаться лучший бид/аск, а также ряд полей фундаментальной статистики тикера.<br />Теперь достаточно нажать кнопку Start и Hydra начнет получать данные и сохранять их локально. При этом, получаться будут как исторические, так и рыночные данные по торгам, которые идут прямо сейчас!<br />Таким образом, можно самостоятельно накапливать и сохранять рыночные данные, а затем использовать их при тестировании собственных стратегий.<br /><br /><b><span style="font-size:160%">IQFeed</span></b><br /><br />IQFeed предоставляет, как и OpenECry, интрадей данные. Но, в отличие от OEC, IQFeed поддерживает очень большой диапазон параллельных подписок, а также значительно большую глубину истории, как по свечам, так и по тиковым данным.<br />Настройки источника аналогичны OpenEcry:<br /><a href='https://stocksharp.ru/file/103937/20_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103937/20_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Параметр Candle from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде свечей.<br />Параметр Ticks from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде тиков.<br />Все остальные действия аналогичны описанным выше. <br /><br /><b><span style="font-size:160%">Работа с данными</span></b><br /><br />Теперь после всех манипуляций, нужно понять, а как же с этими данными работать и что еще может программа. Напомним, что данные сохраняются в той папке, куда вы их скачали, но как посмотреть, что получилось.<br />Для этого обратимся к источнику OEC Trader по которому было скачано множество данных, выделим его и нажмем правую кнопку мыши.<br /><a href='https://stocksharp.ru/file/103931/2016-11-30_10-22-22_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103931/2016-11-30_10-22-22_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />После этого из менюшки можно выбирать то, каким образом работать с инструментом. Давайте выберем Market Depths и затем в открывшемся окне нажмем кнопку с лупой.<br />В результате мы получим подобную картинку<br /><a href='https://stocksharp.ru/file/103928/17_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103928/17_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Далее аналогично выбираем Level 1, а потом Candles 1 min, только в окне работы со свечами выбираем не лупу, а кнопку “Построить график”. Результаты показаны на рисунках ниже<br /><a href='https://stocksharp.ru/file/103929/18_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103929/18_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><a href='https://stocksharp.ru/file/103930/19_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103930/19_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Вот таким образом можно просматривать данные и работать с ними прямо из программы.<br />Надеемся наш продукт поможет вам в трейдинге и разработке прибыльных торговых систем.<br />https://stocksharp.ru/topic/315/Один день из жизни Ri. Или введение в микроструктурный анализ2013-10-10T11:26:28Z2013-10-10T11:30:44Zvlad1024https://stocksharp.ru/users/768/info@stocksharp.ruДля большинства трейдеров свечные графики различного таймфрейма это и есть рынок, там скрывается все - и тренд и боковик и хитрый маркет мэйкер с глобальным кукловодом. Начнем с простых фактов, за одну сессию 2012.11.07 на фьючерсе Ri ядро биржи обработало 10 449 043 транзакций или примерно 12 000 транзакций в минуту, одна свечка самого "высоко частотного" минутного таймфрема скрывает за собой огромное количество более элементарных действий. Поэтому мы спустимся на самый низкий уровень того, что происходит на бирже и начнем оттуда. <br /><br />Можно долго рассказывать про то как устроена биржа, про промежуточные сервера и другие части "транспортной" инфракстуры, какие задержки они вносят при путешествии заявки, но в конце пути любая заявка попадает в ядро биржие, где непосредственно происходит то ради чего все собственно и затевалось - сведение(matching). И на этом уровне, в смысле формата данных и производимых элементарных действий, FORTS мало чем отличается от той же CME или любой другой современной биржи. Входной поток состоит из заявко двух типов, на вставку(insert) и отмену(cancel). Бьете вы по рынку или выставляете заявку в глубь стакана - для ядра нет разницы, все это в конечном итоге преобразуется в заявку на вставку, которой присваивается свой уникальный идентификатор. Другой тип заявок - на отмену, позволяет убрать часть(или всю) предшествующей заявки на вставку. Ядро принимая на входе поток состоящий из заявок на вставку и отмену, создает поток сведенных сделок, каждая сведенная сделка связана с двумя заявками участвующих в сделке. Исходя из полученного потока, затем строятся стаканы, и тиковые данные(сведенные сделки), которые рассылаются пользователям(к примеру на RTS срезы стаканов строятся с периодичностью 30 миллисекунд), и лишь затем тики преобразуются в красивые свечки, отображаемые на экране. Поток данных содержащий заявки на вставку, отмену и сведенные сделки, на FORTS называется Full Order Log. <br /><br />Рассмотрим более подробно формат данных Full Order Log. Возьмем для примера маленький, кусочек:<br /><div class="code"><strong>Код</strong><div class="innercode"><pre class="brush:cpp">
QUOTE TYPE TIMESTAMP SESSION ORDER_ID STATUS ACTION PRICE VOL DEAL_ID DEAL_PRICE
['riz2', 1, 1352315357375000, 20121107, 9368447574, 101401, 1, 141870.0, 1,,]
['riz2', -1, 1352315357380000, 20121107, 9368447558, 100001, 0, 141900.0, 3,,]
['riz2', -1, 1352315357380000, 20121107, 9368447580, 101401, 1, 141890.0, 3,,]
['riz2', -1, 1352315357381000, 20121107, 9368447559, 100001, 0, 141890.0, 2,,]
['riz2', -1, 1352315357381000, 20121107, 9368447581, 101401, 1, 141880.0, 2,,]
['riz2', 1, 1352315357381000, 20121107, 9368447507, 100001, 0, 141840.0, 4,,]
['riz2', 1, 1352315357381000, 20121107, 9368447582, 101401, 1, 141860.0, 4,,]
['riz2', 1, 1352315357384000, 20121107, 9368447522, 100001, 0, 141850.0, 8,,]
['riz2', 1, 1352315357384000, 20121107, 9368447586, 101401, 1, 141860.0, 8,,] <- A
['riz2', 1, 1352315357386000, 20121107, 9368447255, 201401, 0, 141850.0, 2,,]
....
['riz2', 1, 1352315358149000, 20121107, 9368447396, 1, 2, 141860.0, 2, 657525271, 141860.0]
['riz2', 1, 1352315358149000, 20121107, 9368447454, 1, 2, 141860.0, 2, 657525272, 141860.0]
['riz2', 1, 1352315358149000, 20121107, 9368447586, 1, 2, 141860.0, 1, 657525273, 141860.0] <- B
['riz2',-1, 1352315358149000, 20121107, 9368447766, 402, 1, 134840.0, 5, ,,] <- C
['riz2',-1, 1352315358149000, 20121107, 9368447766, 2, 2, 134840.0, 2, 657525271, 141860.0]
['riz2',-1, 1352315358149000, 20121107, 9368447766, 2, 2, 134840.0, 2, 657525272, 141860.0]
['riz2',-1, 1352315358149000, 20121107, 9368447766, 1002, 2, 134840.0, 1, 657525273, 141860.0] <- D
['riz2', 1, 1352315358189000, 20121107, 9368447761, 100001, 0, 141840.0, 4, ,,]
['riz2', 1, 1352315358189000, 20121107, 9368447770, 101401, 1, 141860.0, 4, ,,]
</pre>
</div></div><br />QUOTE - содержит название инструмента, TYPE - направление заявки (+1 - bid, -1 - ask), TIMESTAMP - временная метка в микросекундах, SESSION - идентификатор сессии, ORDER_ID - идентификатор заявки, STATUS - флаги заявки, ACTION - тип заявки (0 - отмена, 1 - вставка, 2 - сведенная сделка), PRICE - цена, VOL - объем заявки, DEAL_ID - идентификатор сделки, DEAL_PRICE - цена сделки. <br />На примере выше показан цикл жизни заявки, вставка заявки c идентификатором 9368447586 в поток (A), вставка встречно заявки (C), первая сторона сведенной сделки (B) и вторая сторона (D).<br /><br />Теперь, немного разобравшись в формате данных, можно приступить к статистическому анализу. Всего за сессию было произведено 10 449 043 транзакций, из них 4 990 732 на вставку, и 4 362 829 на отмену, а сведено сделок - 1 095 482. То есть "в среднем по больнице" на каждую сделку приходилось 4 перестановки. Следующий вопрос, который возникает - каким образом данная активность распределена по объемам. Для этого посчитаем следующие факторы - количестов вставок и отмен для заданного объема, отношение отмененых заявок к выставленным, чем меньше это соотношение тем больше количество сделок сведено на каждую вставленную заявку, тогда умножив соотношение на количество вставленных заявок, мы получим количество проторгованных заявок для данного объема заявки. В результате получим следующую табличку, отсортированную по столбцу проторгованного объема(для анализа использовался python + scipy):<br /><br /><br /><div class="code"><strong>Код</strong><div class="innercode"><pre class="brush:cpp">
cancel_count cancel_volume insert_count insert_volume ratio trade_volume
1176407 1 1452121 1 0.810130 275714
272998 5 327113 5 0.834568 270575
1257775 2 1369794 2 0.918222 224038
39698 10 55877 10 0.710453 161790
432361 4 470513 4 0.918914 152608
668395 3 718625 3 0.930103 150690
15002 20 20662 20 0.726067 113200
1455 50 3608 50 0.403271 107650
453 100 1404 100 0.322650 95100
201295 8 212359 8 0.947900 88512
21651 15 27185 15 0.796432 83010
99168 6 110608 6 0.896572 68640
1989 30 4107 30 0.484295 63540
4926 25 7438 25 0.662275 62800
1025 200 1310 200 0.782443 57000
37216 12 41715 12 0.892149 53988
68 500 172 500 0.395349 52000
17857 7 25274 7 0.706536 51919 </pre>
</div></div><br /><br />cancel_volume, insert_volume - объем в заявке на вставку или отмену, cancel_count - количество отмен, insert_count - количество вставок, ratio - соотношение, trade_volume - оценка проторгованного объема в контрактах. <br /> <br />Как видно, объемы заявок на вставку, можно условно разделить на две группы, small-volume traders с диапазоном объема 1-10 - высокочастотные трейдеры и скальперы, и всех остальных, как видно во второй группе, значения проторгованного объема кучкуются вокруг "психологических" уровней заявок - 15, 20, 25, 30, 50, 100, 200, 500.<br /><br /><a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAACGbKb4OGqyVRvP33DJbGKgV8JAcGjEFb2CD5EV31L_kA" title="http://pastebin.com/ZBqyiY0n">код на питоне</a><br />Продолжение следует...