hydra. StockSharp

Разные свечи - одна программа!

2022-09-08T13:19:13Z

Свечи в биржевой торговле постоянный и необходимый атрибут. Сегодня нет трейдеров, которые не обращаются к свечным графикам и не отслеживают изменения рынка на его основе. История «свечного» отображения поведения рынка уходит корнями в прошлое, в Японию 18 века, когда последовательностью «свечей» начали наглядно изображать ценовой максимум и минимум в течение определённого периода, а также цены на начало и конец данного периода. Нет смысла описывать состав свечи, так как любой трейдер знает эти основы. Говоря в контексте анализа, свечи - основа всех основ, опытный трейдер может только глядя на график определить меняющуюся ситуацию. Иногда трейдер не просто определяет ситуацию на рынке, но и способен предугадать изменения, так как рынок склонен, при схожих условиях, одинаково реагировать на «раздражители». Как я писал ранее, обилие инструментов для торговли всего лишь предоставляют возможность заключения сделок, превращая торговлю исключительно интуитивное и спекуляционное действие. Серьёзная, не масс-торговля, требует систематического подхода, то есть нельзя просто взять терминал и начать торговать, изначально необходимо обладать знаниями. Эти знания строятся не только на практической части - торговле, но и включает в себя глубокий анализ рынка, его поведение на те или иные события. Такое отражения наглядно демонстрируют свечи. Для большинства пользователей свечи - максимум и минимум за период, однако многообразие свечей способно удивлять. Каждый из вида свечей несет для трейдера свое значение, и способно предоставлять ему полный объем информации по нужному активу или группе активов. Итак для анализа могут понадобятся различные свечи, однако получить маркет данные для них - достаточно проблемно. Большинство программ и ресурсов для скачивания маркет данных не предоставляют такую информацию, а те что могут предоставить не позволяют получить данные сразу по нескольким типам свечей. Второй проблемой становиться необходимость конвертации данных в нужный формат для графического представления свечей и «наглядного» анализа. Не стоит забывать о стоимости таких программ, которые редко бывают даже «условно бесплатные». Как писалось ранее, S#.Data решает эти проблемы. Она позволяет не просто построить свечи различных типов, но и сохранить их, что не мало важно для дальнейшего использования. Практически все источники не транслируют напрямую маркет данные по таким свечам, соответственно проблема для большинства программ становится неразрешимой, однако S#.Data решает ее путем построения таких уникальных свечей посредством других скаченных маркет данных. Например из Тиков.

Так например свечи объема, которые отображают объем сделок за выбранный период, и дают информацию о активности инструмента.

И так же легко можно построить их график

Программа позволяет получить Renko свечи. График рэнко наглядно определяет основной тренд. Такой график полезен для того чтобы определить ключевые уровни поддержки и сопротивления, так как усредняет основную тенденцию, не отражаются мелкие колебания цены, это позволяет сосредоточить внимание на действительно значимых движениях.

Так же после получения маркет данных строим график.

Не менее важные свечи - Range свечи. Особенностью данного графика является то что новые свечи строятся в зависимости не от таймфрейма, а от диапазона, который прошла цена. Соответственно пользователю удобнее отслеживать именно колебания цен.

И так же выстраиваем график.

Помимо выше перечисленных, достаточно привычных для трейдеров свечей и их графиков, Hydraпозволяет получать уникальные, но нужные в анализе данные.

Так например PnF свечи (крестик-нолик)

Или свечи Heiken Ashi Candles, применяемый для отслеживания тренда рынка.

Таким образом, S#.Data позволяет не просто получать готовые маркет данные, но и строить такие данные, получение которых не представляется возможным. Более того, она позволяет сразу строить графики, объединяя в себе все этапы для анализа рынка, сокращая финансовые и временные затраты трейдера.

На этом все. До Встречи в новых статьях.

Конвертация исторических файлов QScalp в формат StockSharp

2013-09-26T15:26:21Z

Привет всем алготрейдерам!

Хочу поделиться своим решение для тестирования скальперских и ХФТ стратегий. Долгое время я использую замечательный привод Морошкина (бесплатную версию [smile] ). И недавно решил автоматизировать несколько стратегий на базе StockSharp.

Но для этого нужны исторические данные, в частности стаканы. У StockSharp есть программа Гидра, которая по идее позволяет качать все необходимое, но ее нужно держать постоянно включенной. Для меня это не вариант, так как я постоянно занят, и интернет не всегда стабильный.

Но недавно я узнал, что QScalp сам пишет историю и бесплатно ее выкладывает через брокера IT Invest.

В итоге, я написал конвертор данных QScalp в формат StockSharp!

Просто установите программу и скачайте исторические данные формата QSH для QScalp по одной из ссылок ниже

http://www.itinvest.ru/software/spo/qscalp/history/

ftp://athistory.zerich.com/

Теперь осталось только указать в конвертере путь к скаченным файлам и к папке хранения исторических данных StockSharp, и нажать кнопку “Запустить”!

Вуаля, теперь у вас есть высококачественные исторические данные для тестирования своих стратегий!

PS Торопитесь пока бесплатно ;))

PPS Шутка))

Всем удачной торговли!

Присоединиться и редактировать код можно по https://github.com/stocksharp/Qsh2Bin

скомпилированную программу по https://github.com/StockSharp/Qsh2Bin/releases

Где и как скачать маркет-данные по американскому рынку. Решение.

2016-12-02T11:58:44Z

В нашей сегодняшней статье мы расскажем о том где можно бесплатно или за относительно небольшие деньги скачать исторические данные по американскому рынку, а также об универсальном способе скачивать, сохранять, анализировать и использовать в собственных алгоритмах любые типы рыночных данных. Прежде всего давайте коснемся основных источников маркет-даты по американским ценным бумагам с кратким их описанием. В целом можно выделить три типа источников:

Источники исторических данных, например биржи, которые поставляют историю торгов на собственной площадке (конечно оставляем за гранью прямые подключения которые относятся к типу 2).
Источники рыночных данных, например брокерские терминалы, через который конечно можно загрузить в том числе и определенную историю, но основной интерес представляет то, что происходит прямо сейчас.
Универсальные источники, которые объединяют в себе тип 1 и тип 2, и как правило представлены специализированными сервисами.

К первому типу источников можно смело отнести такие сайты как Google и Yahoo Finance: Несомненным достоинством этих сервисов является их полная бесплатность, однако, с другой стороны, интрадей маркет-данные скачать будет невозможно, также как невозможно получить, что либо кроме свечей. Под что-либо мы конечно подразумеваем такие данные как Level1, Order Log, Market Depth и т.д. Это практически исключает возможность использования полученных данных для тестирования стратегий, предполагающих торговлю внутри дня. С другой стороны, если ваша стратегия предполагает среднесрочную торговлю, например, основана на подходе “Черепах”, либо вы практикуете портфельное инвестирование без слишком частого перетряхивания портфеля, то использование данных с этих источников будет очень обоснованно и целесообразно.

К источникам рыночных данных как уже написано выше, относятся, прежде всего, брокерские терминалы или другие подключения к брокеру, которые есть у каждого практикующего трейдера. Например: Fusion/Blackwood, Rithmic, Gain Capital, OEC Trader, Sterling и т.д. Плюсы от использования данного источника видны практически сразу. Во-первых, это бесплатно (конечно без учета тех комиссий, которые вы платите брокеру). Во-вторых, это множество данных которые можно получить: некоторые типы свечей, тики, Level1, DOM и т.д. К минусам можно причислить отсутствие глубокой истории и необходимость хитрого сбора нужных данных, когда без специализированного ПО не обойтись. При таком подходе, ваши возможности для тестирования значительно расширяются. Появляется возможность создавать не только внутридневные стратегии, но и высокочастотные алгоритмы, основанные на найденных исторических закономерностях.

Универсальные источники - это в большинстве своем специализированные сервисы, которые поставляют как реал-тайм маркет-дату, так и любую запрошенную историю, например IQFeed. Главным плюсом подобного источника является его универсальность и наполненность данными, т.е. в любой момент по запросу пользователя можно получить любые нужные данные, тиковые, свечи, стаканы и т.п. Минусом такого подхода является платность данного сервиса, цена на который начинается от 50$ в месяц в базовой версии. Если возникает желание получить несколько больше, то потребуется подключить дополнительные функции, которые как вы уже поняли тоже будут стоить денег. Но, как и предыдущий вариант, вам потребуется специальная программа для сбора и хранения данных. Ведь по окончанию действия подписки вы потеряете все данные. Плюс глубина истории, хоть и больше, чем у предыдущего способа, но все равно она ограничена. Особенно для тиковых данных.

Теперь мы можем перейти к самому интересному, а как же нам оптимально получать историю и при этом не тратить много денег. На наш взгляд, здраво выглядит следующий подход:

скачать дневные свечи с бесплатного источника, и протестировать свою стратегию предварительно на этих данных;
скачать интрадей данные через своего брокера, и протестировать уже более детально стратегию
покупка подписки на платный сервис и выкачивание всего интересующего массива данных, Для того, чтобы реализовать подобное, потребуется специализированное ПО, которое будет за вас вначале загружать нужные данные с нужного сервиса, а затем в едином формате продолжит сбор их от вашего брокера. Таким образом, единство данных не будет утрачено и их можно будет легко использовать в дальнейшем анализе. Для таких задач мы создали программу S#.Data (Hydra) (ознакомиться с инструкцией и примерами по работе с программой можно здесь). Это бесплатная программа, доступная для скачивания. Hydra предоставляет множество различных функций, но основной ее задачей является скачивание и накопление данных. Hydra поддерживает загрузку не только свечей любого таймфрейма, но и тиков, ордер лога, level 1, стаканов по множеству инструментов. При этом программа умеет не только скачивать, но и накапливать данные, идущие от брокера, например из OEC Trader, Sterling и т.д.

Hydra хранит данные в форматах CSV или BIN (сверх компактный формат хранения данных - 7 байт на 1 снимок стакана или 2 байта на тик). Данные располагаются локально, как файлы, и к ним есть доступ из любых программных языков , а также позволяет в конечном итоге пользователю хранить и использовать огромный массив рыночных данных на домашнем компьютере, сервере или в облаке (поддерживается AWS).

Подводя итоги настоящей статьи, надеемся, что методы изложенные в ней позволят вам, получить маркет-дата за адекватные средства и немного приблизиться к профессиональным участникам. Они давно так делают! Желаем удачи на рынке!

S#.Data (Hydra) - инструкция и примеры по работе с программой.

2016-12-01T16:37:31Z

Гидра - программа для скачивания и накопления маркет-данных. В данной статье расскажем, как скачивать историю с Google Finance, брокера Gain Capital и сервиса IQFeed. Для начала расскажем немного об интерфейсе программы. После первого запуска вы увидите главное окно, которое предложит вам выбрать источники данных. Обратите внимание на описание каждого источника, если рядом с ним написано: Source is designed to get history data … - то это означает возможность скачивания исторических данных, а если написано: Source is designed to get market-data .. - то это означает возможность подключения к реалтайм источнику данных и самостоятельному сбору истории. Забегая вперед, подобный способ зачастую дешевле простой покупки данных у дата-вендора.

Теперь выберем ряд источников и попробуем получить маркет дату. В качестве таковых мы предлагаем использовать: Google (как источник исторических данных), OECTrader (как источник реал-тайм данных, который вам даст брокер при открытие счета), IQFeed (как источник реал-тайм данных с максимальным количеством одновременных подписок).

Ставим галочки напротив выбранных источников. После нажатия кнопки ОК, программа предложит вам включить дополнительные возможности.

Они достаточно полно описаны в самой программе, поэтому не будем здесь вдаваться в описание каждой из них. Для того, чтобы двигаться дальше достаточно будет просто нажать ОК, не выбирая в данном окне ничего. При необходимости всегда можно вернуть данную настройку через кнопку ADD -> Tools и выбрать необходимое. После всех проделанных процедур мы получаем в левом окне добавленные источники, каждый из которых теперь необходимо настроить.

Google Finance

Делается это простым нажатием на кнопку карандаша, которая открывает окно настроек.

Быстренько пробежимся по каждой из них, чтобы сложилось полное понимание. Итак: Start date - дата с которой Hydra будет получать рыночные данные Time Offset - смещение времени. В данном случае 1 означает, что данные за сегодняшний день скачаны не будут. Это нужно для того, чтоб не скачать половину дня, когда торги еще не завершены. Weekend - когда галочка установлена выходные дни игнорируются. Time interval - hydra скачивает данные по частям. Данный параметр позволяет указать насколько большие части будут использованы. При значении 30 программа будет скачивать данные пакетами по 30 дней. Header, work from, work until, work interval - настройки по работе самой программы, в течение какого времени она должна загружать данные (от и до) Data directory - папка в которой будут храниться скачанные данные, можно оставить по умолчанию, можно выбрать любую собственную. Рекомендуем создавать под каждый источник отдельную директорию, чтобы данные не перезаписывались. Format - формат сохраняемых данных. Поддерживается BIN - специальный формат Hydra позволяющий получать уникальную степень сжатия (2 байта на тик, 7 байтов на стакан) либо всем известный CSV (тут объем обычный) Max.errors - максимальное количество ошибок в источнике. Dependency - указывает на добавленную задачу, которая должна быть выполнена до текущей (в нашем случае это может быть либо IQFeed, либо OEC Trader) Logging level - уровень логирования.

Давайте оставим все данные по умолчанию и выберем бумаги по которым будет происходить скачивание данных. Допустим выберем штук 5 тикеров, входящих в S&P500 индекс, например: MMM, AFL, GOOG, AAPl, T.

Для этого все эти инструменты нужно добавить: Поскольку источник Google не поддерживает автоматическое добавление инструментов, то потребуется добавление их в базу вручную Далее повторяем процедуру для каждой бумаги и перемещаем их в раздел Selected После этого просто подключаем источник и нажимаем Start. По окончании скачивания вы должны получить вот такие результаты

OpenECry (Gain Futures)

Источник рыночных данных для клиентов Gain Capital, который вам дает брокер бесплатно при открытие счета. Ключевые настройки источника во многом аналогичны настройкам, которые мы сделали в Google с той лишь разницей, что теперь нужно вносить логин/пароль от вашего аккаунта для доступа к потоку данных и выбрать правильный адрес с которого эти данные будут идти. Предустановлено 3 возможности: тестовый сервер (к которому подключаемся мы и который предназначен для разработчиков), симулятор (сервер для демо счетов), реальный сервер (сервер, имеющий подключение к реальному рынку и реальным счетам). Если у вас открыт счет, то ваш выбор реальный сервер.

Параметр Candle from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде свечей. После того, как вы это сделаете добавляем инструменты данные по которым мы хотим получить, поскольку OEC поддерживает автоматическую загрузку и поиск инструментов, делаем это через кнопку Download Securities, с последующим добавлением их через код инструмента. Наш выбор ESZ6 (мини S&P) и NQZ6 (мини Nasdaq).

В результате добавления у вас должно получиться тоже самое, что представлено на картинке. Теперь обратите ваше внимание на нижнюю часть окна. В самом начале статьи мы говорили о том, что Hydra поддерживает загрузку и хранение множества типов рыночных данных, настройки о том какие данные загружать можно сделать с помощью соответствующей панели:

On Ticks - означает, что будут загружаться тики On Market Depth - означает, что будут загружаться стаканы Candles имеет дополнительную настройки при нажатии на кнопку можно выбрать типы свечей которые будут загружаться, вот как это выглядит:

On Level 1 - означает, что будут загружаться лучший бид/аск, а также ряд полей фундаментальной статистики тикера. Теперь достаточно нажать кнопку Start и Hydra начнет получать данные и сохранять их локально. При этом, получаться будут как исторические, так и рыночные данные по торгам, которые идут прямо сейчас! Таким образом, можно самостоятельно накапливать и сохранять рыночные данные, а затем использовать их при тестировании собственных стратегий.

IQFeed

IQFeed предоставляет, как и OpenECry, интрадей данные. Но, в отличие от OEC, IQFeed поддерживает очень большой диапазон параллельных подписок, а также значительно большую глубину истории, как по свечам, так и по тиковым данным. Настройки источника аналогичны OpenEcry:

Параметр Candle from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде свечей. Параметр Ticks from data нужен для указания начальной даты, с которой необходимо скачивать историю в виде тиков. Все остальные действия аналогичны описанным выше.

Работа с данными

Теперь после всех манипуляций, нужно понять, а как же с этими данными работать и что еще может программа. Напомним, что данные сохраняются в той папке, куда вы их скачали, но как посмотреть, что получилось. Для этого обратимся к источнику OEC Trader по которому было скачано множество данных, выделим его и нажмем правую кнопку мыши.

После этого из менюшки можно выбирать то, каким образом работать с инструментом. Давайте выберем Market Depths и затем в открывшемся окне нажмем кнопку с лупой. В результате мы получим подобную картинку

Далее аналогично выбираем Level 1, а потом Candles 1 min, только в окне работы со свечами выбираем не лупу, а кнопку “Построить график”. Результаты показаны на рисунках ниже

Вот таким образом можно просматривать данные и работать с ними прямо из программы. Надеемся наш продукт поможет вам в трейдинге и разработке прибыльных торговых систем.

WL источник для Гидры

2013-10-09T18:52:31Z

Источник загружает данные оттуда же, откуда и pro версия wealth-lab.

Поддерживаются свечки всех мастей.

Вроде как, с фиделити можно много разной инфы утянуть в том числе и макро, но в источнике нельзя.

Поддерживается Гидра версии 4.1.19.1

Установка (все почти также, как и для яху-гугл)

И снова идем на ГИТХАБ

Обращаем внимание на то, что б была включена ветка "master" и жмем "download zip".

После того, как скачали, идем в архиве в папку bin\Release или bin\Debug и ищем там Файлы:

WealthLab.DataProviders.Common.dll WealthLab.dll Fidelity.Components.dll StockSharp.Hydra.WLTask.dll

Копируем его в Hydra\Plugins

Также ищем папку в архиве log4net_1_2_10_0 или Log4Net_old Копируем оттуда log4net.dll и кидаем ее в корень Гидры с заменой.

Дело в том, что компоненты велс лаба собраны с более старой версией log4net, чем гидра. Выпилить оттуда эту библиотеку нельзя, равно как и из гидры. Но заменить в гидре можно, тем более что в они фактически и не используется.

Запускаем Гидру. В списке Источников должен был появиться WL-source. Если не появился, жмем добавить источник.

Настройки.

Есть два режима: обычный и перезагрузка.

В режиме перезагрузка, будут качаться все отсутствующие данные, начиная с указанной начальной даты.

Временной отступ - для обычного режима. При отступе равном, например, 50, будут качаться все отсутствующие данные за последние 50 дней.

Полезно, например, если вы считаете какой-нибудь индикатор за последние 50 дней, а все что раньше, вас не интересует.

Инструменты

При первом запуске, в главной директории Hydra появится текстовый файл WLSourceTickers.txt

Записываем в него id необходимых инструментов через пробел, например:

AAPL@SMART SPY@SMART APOL@NASDAQ GOOG@SMART

SMART это умная система роутинга ордеров по ECN'ам. Типа как exchange board. Можно не обращать внимания.

Для импорта инструментов в гидре жмем добавить.

Инструменты спарсятся и добавятся в базу.

Перед началом закачки нужно не забыть добавить желаемые данные - свечки нужного ТФ.

Укрощение Гидры в прямом эфире

2015-06-08T12:21:37Z

04 июня 2015 года наша команда провела вебинар, посвященный работе с одной из самых популярных программ - S#.Data (HYDRA).

Для тех кто впервые слышит об этой программе, она позволяет с легкостью скачивать, хранить и работать с историческими данными, а также находить нетривиальные закономерности с помощью встроенного анализа данных.

Сегодня мы выкладываем запись этого вебинара.

Скачать презентацию можно здесь

Аналитика - новая фича Гидры для квант анализа и дата майнинга

2014-03-17T18:08:58Z

В S#.Data (Гидра) появилась новая фича Аналитика. Она позволяет производить анализ над данными, что скачала Гидра. Стандартно входят 2 скрипта: Анализ объема с разбивкой по часам и анализ объема с разбивкой по цене:

Множество примеров о том, как делать красивые графики на компоненте SciChart.

Сам код так же пишется внутри Гидры:

Для того, чтобы пойти чуть дальше, и попробовать заместить R и Python, добавлена библиотека Math Numerics. В одной программе (Гидра) теперь можно и скачивать данные, и анализировать, и производить визуализацию.

Для тех, кто пользуется серверным режимом S#.Data, теперь можно анализировать данные, не закачивая их к себе на диск.

Гидра умерла, да здравствует Гидра 2.0

2012-10-22T02:06:00Z

Те, кто постоянно следят за изменениями в Гидре, сразу стали замечать происходящие изменения. Но мы не делали анонса перед большой аудиторией, потому-что хотели довести работу до логического завершения. И вот, наконец-то, мы официально объявляем о рождении Гидры 2.0 ! [biggrin]

Появление новой версии не означает, что мы остановимся на достигнутом. Наоборот, мы ждем от Вас отзывов, новых предложений, отчетов о возможных ошибках и другой обратной связи.

Старая Гидра честно выполняла все возложенные на нее задачи, но её дизайн был, что называется, не интуитивный. В какой-то момент мы поняли, что хотим помочь нашим пользователям в освоении программы, хотим сделать её более удобной и понятной. Поэтому летом 2012 года командой StockSharp было принято решение модернизировать Гидру.

Первая Гидра имела одно единственно окно, в котором отображались все возможные инструменты из различных источников. Все это приводило к некоторой неразберихе в данных. Как это выглядело, вы можете увидеть на картинке ниже.

Одно из первых изменений коснулось оформления основного окна программы. Вместо одного окна, мы создали отдельные вкладки, каждая из которых имела название источника. Внутри вкладки отображались инструменты, которые относятся именно к этому источнику.

Было сделано огромное количество мелких и средних изменений: все изменения перечислять нет смысла, но все они стали неотъемлемой частью Гидры 2.0

Вот некоторые из изменений:

Источники открываются в отдельных вкладках
Убрали избыточные настройки, как следствие - упростилась настройка источников
Добавился визуальный лог программы
Визуальное отображение статуса работы
Упростили добавление новых инструментов в источник
Упростили редактирование инструмента
Добавлена возможность автостарта
Убрали принудительное сворачивание в трей
Загрузка нового типа данных из QUIK - изменения инструментов

Произошли не только внешние изменения Гидры: мы доработали функциональную часть программы. Эта часть осталась незаметной пользователю, но повлияла на производительность Гидры и на её возможности.

Скачать последнюю сборку Гидры Если у Вас возникнут вопросы по работе с программой, вы можете ознакомиться с нашей документацией.