datamining. StockSharphttps://stocksharp.ru/handlers/atom.ashx?category=tag&id=datamining&type=articlesCopyright @ StockSharp Platform LLC 2010 - 20242024-03-29T14:02:44Zhttps://stocksharp.ru/images/logo.pnghttps://stocksharp.ru/topic/6989/Где и как скачать маркет-данные по американскому рынку. Решение.2016-12-02T11:58:44Z2016-12-29T10:36:50ZЮрий Басанговhttps://stocksharp.ru/users/7/info@stocksharp.ruВ нашей сегодняшней статье мы расскажем о том где можно бесплатно или за относительно небольшие деньги скачать исторические данные по американскому рынку, а также об универсальном способе скачивать, сохранять, анализировать и использовать в собственных алгоритмах любые типы рыночных данных. <br />Прежде всего давайте коснемся основных источников маркет-даты по американским ценным бумагам с кратким их описанием. В целом можно выделить три типа источников:<br />1. Источники исторических данных, например биржи, которые поставляют историю торгов на собственной площадке (конечно оставляем за гранью прямые подключения которые относятся к типу 2).<br />2. Источники рыночных данных, например брокерские терминалы, через который конечно можно загрузить в том числе и определенную историю, но основной интерес представляет то, что происходит прямо сейчас.<br />3. Универсальные источники, которые объединяют в себе тип 1 и тип 2, и как правило представлены специализированными сервисами.<br /><br />К первому типу источников можно смело отнести такие сайты как <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAACG1tIdcLLf4WCKlIxJbjy04rMqAOqG4tEl5nFhU3S5UQ" title="https://www.google.com/finance">Google</a> и <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAACQ8wvoITv8w46-c31ObKjoc9y7qX7dAAUJg7CkwdSKrw" title="https://finance.yahoo.com/">Yahoo Finance</a>:<br /><a href='https://stocksharp.ru/file/103933/14_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103933/14_png/?size=500x500" alt="http://" title="http://" /></a><br />Несомненным достоинством этих сервисов является их полная бесплатность, однако, с другой стороны, интрадей маркет-данные скачать будет невозможно, также как невозможно получить, что либо кроме свечей. Под что-либо мы конечно подразумеваем такие данные как Level1, Order Log, Market Depth и т.д.<br />Это практически исключает возможность использования полученных данных для тестирования стратегий, предполагающих торговлю внутри дня. С другой стороны, если ваша стратегия предполагает среднесрочную торговлю, например, основана на подходе “Черепах”, либо вы практикуете портфельное инвестирование без слишком частого перетряхивания портфеля, то использование данных с этих источников будет очень обоснованно и целесообразно.<br /><br />К источникам рыночных данных как уже написано выше, относятся, прежде всего, брокерские терминалы или другие подключения к брокеру, которые есть у каждого практикующего трейдера. Например: Fusion/Blackwood, Rithmic, Gain Capital, OEC Trader, Sterling и т.д. <br /><a href='https://stocksharp.ru/file/103936/15_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103936/15_png/?size=500x500" alt="http://" title="http://" /></a><br />Плюсы от использования данного источника видны практически сразу. Во-первых, это бесплатно (конечно без учета тех комиссий, которые вы платите брокеру). Во-вторых, это множество данных которые можно получить: некоторые типы свечей, тики, Level1, DOM и т.д. К минусам можно причислить отсутствие глубокой истории и необходимость хитрого сбора нужных данных, когда без специализированного ПО не обойтись. <br />При таком подходе, ваши возможности для тестирования значительно расширяются. Появляется возможность создавать не только внутридневные стратегии, но и высокочастотные алгоритмы, основанные на найденных исторических закономерностях.<br /><br />Универсальные источники - это в большинстве своем специализированные сервисы, которые поставляют как реал-тайм маркет-дату, так и любую запрошенную историю, например <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAACl5oZDD22LAvhmeHzqbO9Nz8C5abh7lIuUGWmQ68J5AXlBwn3fQYPmp949Sc4-swo" title="http://www.iqfeed.net/stocksharp/">IQFeed</a>. <br /><a href='https://stocksharp.ru/file/103927/16_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103927/16_png/?size=500x500" alt="http://" title="http://" /></a><br />Главным плюсом подобного источника является его универсальность и наполненность данными, т.е. в любой момент по запросу пользователя можно получить любые нужные данные, тиковые, свечи, стаканы и т.п. Минусом такого подхода является платность данного сервиса, цена на который начинается от 50$ в месяц в базовой версии. Если возникает желание получить несколько больше, то потребуется подключить дополнительные функции, которые как вы уже поняли тоже будут стоить денег. Но, как и предыдущий вариант, вам потребуется специальная программа для сбора и хранения данных. Ведь по окончанию действия подписки вы потеряете все данные. Плюс глубина истории, хоть и больше, чем у предыдущего способа, но все равно она ограничена. Особенно для тиковых данных.<br /><br />Теперь мы можем перейти к самому интересному, а как же нам оптимально получать историю и при этом не тратить много денег. На наш взгляд, здраво выглядит следующий подход:<br />- скачать дневные свечи с бесплатного источника, и протестировать свою стратегию предварительно на этих данных;<br />- скачать интрадей данные через своего брокера, и протестировать уже более детально стратегию<br />- покупка подписки на платный сервис и выкачивание всего интересующего массива данных,<br />Для того, чтобы реализовать подобное, потребуется специализированное ПО, которое будет за вас вначале загружать нужные данные с нужного сервиса, а затем в едином формате продолжит сбор их от вашего брокера. Таким образом, единство данных не будет утрачено и их можно будет легко использовать в дальнейшем анализе. <br />Для таких задач мы создали программу <a href="http://stocksharp.com/products/hydra/" title="http://stocksharp.com/products/hydra/">S#.Data (Hydra)</a> (ознакомиться с инструкцией и примерами по работе с программой можно <a href="http://stocksharp.ru/s/2cdQFGGD" title="http://stocksharp.ru/s/2cdQFGGD"><span style="color:blue">здесь</span></a>). Это бесплатная программа, доступная для скачивания. Hydra предоставляет множество различных функций, но основной ее задачей является скачивание и накопление данных.<br /><a href='https://stocksharp.ru/file/103979/hydrawhite_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103979/hydrawhite_png/?size=500x500" alt="http://" title="http://" /></a><br />Hydra поддерживает загрузку не только свечей любого таймфрейма, но и тиков, ордер лога, level 1, стаканов по множеству инструментов. При этом программа умеет не только скачивать, но и накапливать данные, идущие от брокера, например из <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAAAoT1gVnEPvRG4Uu0mXQgLBdqCN5TRQxRZFQW50g0mYq79tp1AFxjBd05TxV8XyYoM" title="https://futuresonline.com/trading/oec-trader">OEC Trader</a>, Sterling и т.д.<br /><br />Hydra хранит данные в форматах CSV или BIN (сверх компактный формат хранения данных - 7 байт на 1 снимок стакана или 2 байта на тик). Данные располагаются локально, как файлы, и к ним есть доступ из любых программных языков , а также позволяет в конечном итоге пользователю хранить и использовать огромный массив рыночных данных на домашнем компьютере, сервере или в облаке (поддерживается AWS).<br /><br />Подводя итоги настоящей статьи, надеемся, что методы изложенные в ней позволят вам, получить маркет-дата за адекватные средства и немного приблизиться к профессиональным участникам. <br />Они давно так делают!<br />Желаем удачи на рынке!<br />https://stocksharp.ru/topic/6983/S#.Data (Hydra) - инструкция и примеры по работе с программой.2016-12-01T16:37:31Z2016-12-01T16:37:31ZЮрий Басанговhttps://stocksharp.ru/users/7/info@stocksharp.ruГидра - программа для скачивания и накопления маркет-данных. В данной статье расскажем, как скачивать историю с Google Finance, брокера Gain Capital и сервиса IQFeed.<br />Для начала расскажем немного об интерфейсе программы. После первого запуска вы увидите главное окно, которое предложит вам выбрать источники данных.<br /><a href='https://stocksharp.ru/file/103917/1_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103917/1_png/?size=500x500" alt="http://" title="http://" /></a><br />Обратите внимание на описание каждого источника, если рядом с ним написано:<br /><em>Source is designed to get history data …</em> - то это означает возможность скачивания исторических данных, <br />а если написано:<br /><em>Source is designed to get market-data ..</em> - то это означает возможность подключения к реалтайм источнику данных и самостоятельному сбору истории. Забегая вперед, подобный способ зачастую дешевле простой покупки данных у дата-вендора.<br /><br />Теперь выберем ряд источников и попробуем получить маркет дату. В качестве таковых мы предлагаем использовать: Google (как источник исторических данных), OECTrader (как источник реал-тайм данных, который вам даст брокер при открытие счета), IQFeed (как источник реал-тайм данных с максимальным количеством одновременных подписок).<br /><br />Ставим галочки напротив выбранных источников.<br />После нажатия кнопки ОК, программа предложит вам включить дополнительные возможности. <br /><a href='https://stocksharp.ru/file/103918/2_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103918/2_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Они достаточно полно описаны в самой программе, поэтому не будем здесь вдаваться в описание каждой из них.<br />Для того, чтобы двигаться дальше достаточно будет просто нажать ОК, не выбирая в данном окне ничего. При необходимости всегда можно вернуть данную настройку через кнопку ADD -> Tools и выбрать необходимое.<br />После всех проделанных процедур мы получаем в левом окне добавленные источники, каждый из которых теперь необходимо настроить.<br /><br /><b><span style="font-size:160%">Google Finance</span></b><br /><br />Делается это простым нажатием на кнопку карандаша, <a href='https://stocksharp.ru/file/103919/3_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103919/3_png/?size=500x500" alt="http://" title="http://" /></a> которая открывает окно настроек.<br /><a href='https://stocksharp.ru/file/103920/4_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103920/4_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Быстренько пробежимся по каждой из них, чтобы сложилось полное понимание. Итак:<br />Start date - дата с которой Hydra будет получать рыночные данные<br />Time Offset - смещение времени. В данном случае 1 означает, что данные за сегодняшний день скачаны не будут. Это нужно для того, чтоб не скачать половину дня, когда торги еще не завершены.<br />Weekend - когда галочка установлена выходные дни игнорируются.<br />Time interval - hydra скачивает данные по частям. Данный параметр позволяет указать насколько большие части будут использованы. При значении 30 программа будет скачивать данные пакетами по 30 дней.<br />Header, work from, work until, work interval - настройки по работе самой программы, в течение какого времени она должна загружать данные (от и до)<br />Data directory - папка в которой будут храниться скачанные данные, можно оставить по умолчанию, можно выбрать любую собственную. <b>Рекомендуем создавать под каждый источник отдельную директорию, чтобы данные не перезаписывались.</b><br />Format - формат сохраняемых данных. Поддерживается BIN - специальный формат Hydra позволяющий получать уникальную степень сжатия (2 байта на тик, 7 байтов на стакан) либо всем известный CSV (тут объем обычный)<br />Max.errors - максимальное количество ошибок в источнике.<br />Dependency - указывает на добавленную задачу, которая должна быть выполнена до текущей (в нашем случае это может быть либо IQFeed, либо OEC Trader)<br />Logging level - уровень логирования.<br /><br />Давайте оставим все данные по умолчанию и выберем бумаги по которым будет происходить скачивание данных. Допустим выберем штук 5 тикеров, входящих в S&P500 индекс, например: MMM, AFL, GOOG, AAPl, T.<br /><br />Для этого все эти инструменты нужно добавить:<br /><a href='https://stocksharp.ru/file/103921/5_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103921/5_png/?size=500x500" alt="http://" title="http://" /></a><br />Поскольку источник Google не поддерживает автоматическое добавление инструментов, то потребуется добавление их в базу вручную<br /><a href='https://stocksharp.ru/file/103922/6_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103922/6_png/?size=500x500" alt="http://" title="http://" /></a><br />Далее повторяем процедуру для каждой бумаги и перемещаем их в раздел Selected<br /><a href='https://stocksharp.ru/file/103923/7_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103923/7_png/?size=500x500" alt="http://" title="http://" /></a><br />После этого просто подключаем источник <a href='https://stocksharp.ru/file/103924/8_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103924/8_png/?size=500x500" alt="http://" title="http://" /></a> и нажимаем Start.<br />По окончании скачивания вы должны получить вот такие результаты<br /><a href='https://stocksharp.ru/file/103925/9_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103925/9_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><b><span style="font-size:160%">OpenECry (Gain Futures) </span></b><br /><br />Источник рыночных данных для клиентов Gain Capital, который вам дает брокер бесплатно при открытие счета. Ключевые настройки источника во многом аналогичны настройкам, которые мы сделали в Google с той лишь разницей, что теперь нужно вносить логин/пароль от вашего аккаунта для доступа к потоку данных и выбрать правильный адрес с которого эти данные будут идти. Предустановлено 3 возможности: тестовый сервер (к которому подключаемся мы и который предназначен для разработчиков), симулятор (сервер для демо счетов), реальный сервер (сервер, имеющий подключение к реальному рынку и реальным счетам). Если у вас открыт счет, то ваш выбор реальный сервер.<br /><a href='https://stocksharp.ru/file/103926/10_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103926/10_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Параметр Candle from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде свечей.<br />После того, как вы это сделаете добавляем инструменты данные по которым мы хотим получить, поскольку OEC поддерживает автоматическую загрузку и поиск инструментов, делаем это через кнопку Download Securities, с последующим добавлением их через код инструмента. Наш выбор ESZ6 (мини S&P) и NQZ6 (мини Nasdaq).<br /><a href='https://stocksharp.ru/file/103935/11_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103935/11_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />В результате добавления у вас должно получиться тоже самое, что представлено на картинке.<br />Теперь обратите ваше внимание на нижнюю часть окна. В самом начале статьи мы говорили о том, что Hydra поддерживает загрузку и хранение множества типов рыночных данных, настройки о том какие данные загружать можно сделать с помощью соответствующей панели:<br /><a href='https://stocksharp.ru/file/103934/12_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103934/12_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />On Ticks - означает, что будут загружаться тики<br />On Market Depth - означает, что будут загружаться стаканы<br />Candles имеет дополнительную настройки при нажатии на кнопку можно выбрать типы свечей которые будут загружаться, вот как это выглядит:<br /><a href='https://stocksharp.ru/file/103932/13_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103932/13_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />On Level 1 - означает, что будут загружаться лучший бид/аск, а также ряд полей фундаментальной статистики тикера.<br />Теперь достаточно нажать кнопку Start и Hydra начнет получать данные и сохранять их локально. При этом, получаться будут как исторические, так и рыночные данные по торгам, которые идут прямо сейчас!<br />Таким образом, можно самостоятельно накапливать и сохранять рыночные данные, а затем использовать их при тестировании собственных стратегий.<br /><br /><b><span style="font-size:160%">IQFeed</span></b><br /><br />IQFeed предоставляет, как и OpenECry, интрадей данные. Но, в отличие от OEC, IQFeed поддерживает очень большой диапазон параллельных подписок, а также значительно большую глубину истории, как по свечам, так и по тиковым данным.<br />Настройки источника аналогичны OpenEcry:<br /><a href='https://stocksharp.ru/file/103937/20_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103937/20_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Параметр Candle from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде свечей.<br />Параметр Ticks from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде тиков.<br />Все остальные действия аналогичны описанным выше. <br /><br /><b><span style="font-size:160%">Работа с данными</span></b><br /><br />Теперь после всех манипуляций, нужно понять, а как же с этими данными работать и что еще может программа. Напомним, что данные сохраняются в той папке, куда вы их скачали, но как посмотреть, что получилось.<br />Для этого обратимся к источнику OEC Trader по которому было скачано множество данных, выделим его и нажмем правую кнопку мыши.<br /><a href='https://stocksharp.ru/file/103931/2016-11-30_10-22-22_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103931/2016-11-30_10-22-22_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />После этого из менюшки можно выбирать то, каким образом работать с инструментом. Давайте выберем Market Depths и затем в открывшемся окне нажмем кнопку с лупой.<br />В результате мы получим подобную картинку<br /><a href='https://stocksharp.ru/file/103928/17_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103928/17_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Далее аналогично выбираем Level 1, а потом Candles 1 min, только в окне работы со свечами выбираем не лупу, а кнопку “Построить график”. Результаты показаны на рисунках ниже<br /><a href='https://stocksharp.ru/file/103929/18_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103929/18_png/?size=500x500" alt="http://" title="http://" /></a><br /><br /><a href='https://stocksharp.ru/file/103930/19_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103930/19_png/?size=500x500" alt="http://" title="http://" /></a><br /><br />Вот таким образом можно просматривать данные и работать с ними прямо из программы.<br />Надеемся наш продукт поможет вам в трейдинге и разработке прибыльных торговых систем.<br />https://stocksharp.ru/topic/307/Аналитика - новая фича Гидры для квант анализа и дата майнинга2014-03-17T18:08:58Z2014-03-17T18:08:58ZMikhail Sukhovhttps://stocksharp.ru/users/201/info@stocksharp.ruВ <a href="http://stocksharp.com/products/hydra/" title="http://stocksharp.com/products/hydra/">S#.Data (Гидра</a>) появилась новая фича <b>Аналитика</b>. Она позволяет производить анализ над данными, что скачала Гидра. Стандартно входят 2 скрипта: Анализ объема с разбивкой по часам и анализ объема с разбивкой по цене:<br /><br /><div align="center"><a href='https://stocksharp.ru/file/103138/hydra_anal_1_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103138/hydra_anal_1_png/?size=500x500" alt="Анализ объема по часам" title="Анализ объема по часам" /></a></div><br /><br /><div align="center"><a href='https://stocksharp.ru/file/103139/hydra_anal_2_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103139/hydra_anal_2_png/?size=500x500" alt="Анализ объема с разбивкой по цене" title="Анализ объема с разбивкой по цене" /></a></div><br /><br /><span style="font-size:80%"><em><a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAAATjoicAQwugnTNCw__Ga-_eg4k82xipbnhO5w7AoAGJBRlQgsfIkqd5atyv1G1w_J-tGsYbQq3HmlACUXC0pjXUzxpE57kMnxpZs_Vq29vYw" title="http://www.scichart.com/Abt.Controls.SciChart.SL.ExampleTestPage.html">Множество примеров о том, как делать красивые графики на компоненте SciChart.</a></em></span><br /><br />Сам код так же пишется внутри Гидры:<br /><br /><div align="center"><a href='https://stocksharp.ru/file/103140/hydra_anal_3_png/' class='lightview' data-lightview-options="skin: 'mac'" data-lightview-group='mixed'><img src="https://stocksharp.ru/file/103140/hydra_anal_3_png/?size=500x500" alt="Редактор кода" title="Редактор кода" /></a></div><br /><br />Для того, чтобы пойти чуть дальше, и попробовать заместить R и Python, добавлена библиотека <a target="_blank" rel="nofollow" href="https://stocksharp.ru/away/?u=AQAAAAAAAADVCfb7QO2zOXsE42APakBDy_ncfmPXUtJ4YHyVgHH34w" title="http://numerics.mathdotnet.com/">Math Numerics</a>. В одной программе (Гидра) теперь можно и скачивать данные, и анализировать, и производить визуализацию.<br /><br />Для тех, кто пользуется серверным режимом S#.Data, теперь можно анализировать данные, не закачивая их к себе на диск.