Блог. StockSharp

Почему супермассив данных никогда не заменит исследование рынка.

2014-10-31T11:52:30Z

:::right Опубликовано в рамках конкурса

Не легко быть исследователем в наши дни. В новостях и блогах нет недостатка в статьях доказывающих уход исследований рынка в прошлое или о том, как супермассивы данных превратят исследования в устаревший вид деятельности. Согласно этим экспертным мнениям, в то время как в прошлом мы страдали от недостатка данных - и, таким образом, была необходимость в исследовании рынка, чтобы заполнить пробелы в знаниях, сегодня нам посчастливилось иметь обилие информации. В результате, с правильными методами обработки гор данных и толикой таланта для их просеивания, на все наши вопросы будут даны ответы, и исследования рынка могут, наконец, поклониться и уйти со сцены.

Ерунда.

Для начала, позвольте мне сделать необходимую ремарку. Я ни в коем случае не выступаю против супермассивов данных. На самом деле, я очень взволнован крупными и богатыми наборами данных, которые, мы надеемся, приведут к новым знаниям и интересным идеям. Моя точка зрения состоит в том, что супермассивы данных не являются панацеей. Они могут рассказать нам, что произошло в прошлом, и, возможно, вывести будущие события, но они имеют ограниченные возможности объяснить, ПОЧЕМУ что-то произошло. Без понимания ПОЧЕМУ, супермассивы данных не обладают значительной практической ценностью.

Чтобы проиллюстрировать это, давайте сосредоточимся на двух компаниях обладающих крупнейшими массивами данных в мире.

Не существует никаких сомнений, что колоссальный рост Facebook, был вызван Супермассивом данных. Каждое фото, лайк, комментарий, и так далее, которые вы делаете, собираются, берутся на анализ и анализируются, чтобы создать высоко персонализированный профиль каждого пользователя. С такой огромной сокровищницей персональных данных, какая возможная необходимость могла заставить Facebook обращаться к методам старой школы исследований? Но, как сообщает Huffington Post, Facebook не только "регулярно опрашивает своих пользователей", но и создал панель обратной связи для подготовки данных для долгосрочных исследований, которые по утверждению многих скептиков уже давно ушли в прошлое. Несмотря на огромное количество пользовательских данных, Facebook видит ценность в непосредственном опросе своих пользователей.

Другим гигантом больших данных является Google, который объединяет личные данные из своих поисковых систем, электронной почты, карт, браузера и других продуктов, чтобы создать высокоточный портрет того, кто мы есть, с целью лучше таргетировать рекламу. С разнообразным и подробным объемом данных размером с гору Олимп, не говоря уже о команде супер-умных ученых, безусловно, Google не нуждается в том, чтобы задавать вопросы своим пользователям. Само упоминание о проведении таких исследований рынка, кажется таким старомодным, как телефон с диском. На самом деле, в соответствии с thenextweb, Google опрашивал своих пользователей чтобы лучше понять, почему пользователи реагируют определенным образом на различную рекламу. Супермассивы данных могут рассказать Google, что пользователи делают (отключение звука в объявлении, закрытие рекламы на полпути, и т.д.), но они не могут объяснить, почему пользователи реагируют именно таким образом. Отсюда, полагаю, что потребность в традиционных исследованиях рынка никуда не исчезла и не исчезнет в ближайшем будущем.

Если понравилось, не забудьте сказать "спасибо" [blush]

Конкурс "Спасибо"

2014-10-23T00:18:54Z

С завтрашнего дня и до 31 декабря 2014 года стартует конкурс "Спасибо".

Мы начинаем поощрять активное участие на нашем форуме, сайте или группах в соц. сетях. Каждый из вас, кто активно участвует в обсуждениях, отвечает на вопросы других участников сообщества, может получить «спасибо» за свои посты и ответы. Чем интереснее дискуссия и правильнее ответ, тем больше «спасибо» вы получите. Полученное Спасибо теперь можно, что говорится, "намазать на хлеб", а в нашем случае - расплатиться им за обучение:

Детали конкурса:

Отчет по набранным Спасибо будет производится в данном топике раз в неделю.
Вы можете сделать репост нашего конкурса на других сайтах (сразу получаете 5 Спасибо от StockSharp): вконтакте, смарт-лабе и т.п. После репоста необходимо отписаться в данном сообщении для получения награды.
Пишите статьи! За интересные статьи (набрала более 10 спасибо от пользователей) оценки удваиваются.
Репост своей же статьи. В конце репоста необходимо указать ссылку на конкурс. Оценивается в 5 спасибо.

IQFeed делает скидку в $50 пользователям StockSharp

2014-10-14T14:01:24Z

IQFeed делает скидку в $50 пользователям StockSharp. Для этого нужно зарегистрировать через нашу промо-страницу. Подробнее http://stocksharp.com/broker/12-iqfeed

Рассылка о новом

2014-09-28T14:50:45Z

Чтобы быть всегда в курсе последних новостей StockSharp, подписывайтесь на рассылку через Триттер https://twitter.com/stocksharp или группу в Контакте https://vk.com/stocksharp . Будем оповещать о:

Новых релизах.
Статьях.
Событиях.

Оповещения на Email, телефон, часы и очки.

О новом интерфейсе IMarketDataProvider

2014-09-25T21:47:11Z

Достаточно тихо прошло нововведение интерфейса IMarketDataProvider. Тем не менее, сама фича очень важна, так как она меняет использование самого старого класса - Security.

Как известно, класс Security, олицетворяющий собой финансовый инструмент, имеет просто огромное количество полей (классические OHLC, лучшие котировки, последную сделки, греки опционов и многое другое). Пользоваться этим получается достаточно удобно:

// получение цены последней сделки
var lastTradePrice = sber.LastTrade == null ? (decimal?)null : sber.LastTrade.Price;

// получение открытого интереса по РИ
var oi = ri.OpenIntereset;

И чудесным образом подключение к торговой системе через XXXConnector обновляет эти данные. Но в этой красоте скрывается один серьезный недостаток. А что если у нас 2, или даже, 3, поключения (причем, некоторые из них могут быть вполне виртуальными, как HistoryEmulationConnector)? И все они транслируют данные по многим одинаковым инструментам. Какое подключение будет обновлять данные?

Ответ простой - все одновременно. И мы получаем кашу, если мы используем единые объекты для разных подключений. По-умолчанию, подключения создают отдельные объекты Security. Тогда перезапись данных невозможно. Но получается другая проблема - разные объекты для одного и того же инструмента.

В итоге родилась идея, чтобы хранить изменяющиеся поля в подключении (точнее, реализации IMarketDataProvider), а константные (код, дата экспирации, шаг цены и т.д.) оставить в классе Security.

Спешу сразу успокоить - по-умолчанию все работает в классическом режиме. При обновлении вам не нужно "доводить напильником" старый и проверенный код. Но чтобы получить возможность использовать один объект в разных подключения - просто включите соответствующие режимы. Вот как будет выкглядеть старые код на новый лад:

// получение цены последней сделки
var lastTradePrice = myStrategy.GetSecurityValue<decimal?>(sber, Level1Fields.LastTradePrice);

// получение открытого интереса по РИ
var oi = myStrategy.GetSecurityValue<decimal?>(ri, Level1Fields.OpenIntereset);

Конечно же, это несколько сложнее, чем предыдущий код. Но тем самым будет упрощено взаимодействие с параллельным тестированием и работой стратегий. И да, в Студии нужно использовать, конечно же, последний вариант. Есть повод для осмысления и модернизации.

Как насчет помочь?

2014-08-20T20:07:36Z

Всех привествую!

Интересует помощь в обновлении документации по нашим программам. На данный момент интересует дописать документацию к новой версии Studio.

Что требуется от этой работы:

Разобраться в Студии (новая версия, по сравнению со старой все принципиально поменялось).
Начать тыкать мышкой в те участки Студии, которые необходимо задокументировать.
Писать нам о своем опыте, интуитивности или не очень каких-то участков.
Написать топики на форуме в соотвествии с разделом TOC (часть документации уже написана). Что вы можете требовать от StockSharp:
Деньги.
~~Получить курс обучения.~~
~~Получить саппорт.~~
Нучиться делать роботов в Студии забесплатно.

Заинтересованные пишите на почту info стокшарп ком

Аналитика - новая фича Гидры для квант анализа и дата майнинга

2014-03-17T18:08:58Z

В S#.Data (Гидра) появилась новая фича Аналитика. Она позволяет производить анализ над данными, что скачала Гидра. Стандартно входят 2 скрипта: Анализ объема с разбивкой по часам и анализ объема с разбивкой по цене:

Множество примеров о том, как делать красивые графики на компоненте SciChart.

Сам код так же пишется внутри Гидры:

Для того, чтобы пойти чуть дальше, и попробовать заместить R и Python, добавлена библиотека Math Numerics. В одной программе (Гидра) теперь можно и скачивать данные, и анализировать, и производить визуализацию.

Для тех, кто пользуется серверным режимом S#.Data, теперь можно анализировать данные, не закачивая их к себе на диск.

Многослойный персептрон! Грааль где то рядом!

2014-01-22T18:23:12Z

Начало здесь: http://www.stocksharp.com/forum/4136/Mnoghosloinyi-piersieptron--Vstriechaitie--Vpiervyie-na-arienie/

Первая часть: Для тех, кто верит в нейросети В вышеуказанном посте я описал работу персептрона, как он учится и торгует после обучения. Проблема в том, что я начитавшись постов в интернете сделал как все. То есть, собрал сеть, обучил, написал стратегию под сеть, и давай ее тестировать! Обучу на одних входных параметрах, тестирую стратеги, обучу на других, тестирую. И тут меня осенило! Когда сеть обучается идет подсчет ошибки, а что если вести параллельный подсчет еще и ошибки работы сети на данных не участвующих в обучении? После реализации чего, прогнав данные в которые я верил, окончательно разочаровался в персептроне. Но все по порядку.

Вторая часть: Что я поправил еще до этой идеи. Убрал позорный график и вставил родной от S# . Параметры персептрона теперь передаются в StatisticParameterPanel от S# . Обучается параллельно 5 нейросетей с одинаковыми параметрами, но с разными первоначальными весами. Сохраняется одна сеть на выбор пользователя, один раз при остановке обучения (раньше сохранялась при обновлении минимума). Еще по мелочи, кнопки убрал, перегруппировал и тп.

Третья часть: Что я поправил после этой идеи. Добавил еще график для вывода контрольной ошибки. Ошибка считается теперь не среднеквадратичная, а абсолютная. Так легче для понимания графика. Например, на рисунке видно, что образов для обучения 804 это значит, что сети предоставлено 804 единиц, минус единиц, и нулей. Если сеть на каждый образ выдаст ноль, то суммарная ошибка будет равна 804. Что мы и видим на нижнем графике рисунка, вначале обучения ошибка сети равна 804. Контрольная ошибка считается также, как и ошибка обучения, но на следующий день после последнего дня обучающей последовательности. И НИКАКИМ ОБРАЗОМ НЕ ВЛИЯЕТ НА ОБУЧЕНИЕ СЕТИ. На рисунке видно, что количество образов проверки 161, это значить что если сеть не нашла закономерность, то контрольная ошибка будет колебаться вокруг 161. По логике вещей если сеть нашла закономерность, то контрольная ошибка всех 5 сетей должна устремиться вниз. И дойти хотя бы до 100-110. Но такого я не видел. Прошу если кто-то этого добьется, опубликуйте скирин окошка, верните веру. [biggrin] В выложенном варианте входную последовательность, и эталон я менять не стал(ну не выкладывать же грааль [lol]). Все как первом моем посте на эту тему. И лежит там же.

Четвертая часть: Мой соображения Вместе с входными полезными данными мы подаем много мусора в надежде что сеть из мусора вытащит закономерности. А она подстраивается под мусор, и запоминая его, обучаясь до определенного момента. Вывод: на вход сети надо подавать обработанные данные в которых много полезной информации и мало мусора, вопрос зачем мне нейросеть если у меня есть такие данные?

Вот и все! Всем спасибо за внимание! Жду отзывов, и лайков! [biggrin]

На встречу 2014-ому

2013-12-31T14:49:27Z

Приветствую всех участников проекта StockSharp

Хочется поздравить всех с наступающим новым 2014 годом! Уходящий год был непростым для многих, кто-то в нем приобрел, кто-то потерял. Для граждан и живущих в России последние события омрачили новогоднее настроение, и надеемся, что ответственные за ужасные вещи в скором времени будут сурово наказа по закону.

Но, несмотря на все негативные вещи, жизнь продолжается, и нужно стремится к светлому и хорошему. Надеемся, в 2014-ом многие из вас покорят новые "вершины" в жизни и, конечно же, трейдинге.

Традиционно хотелось бы подвести итог по нашему проекту, что мы смогли сделать за уходящий год.

В начале про тех, кто сделал наш проект лучше:

К нам в команду присоединился Валентин, сделавший адаптер между нашей платформой и программой Wealth Lab.
Джеймс Bond (известный как просто Bond) показал всем, как виртуозно сделал оптимизатор-анализатор-профито-генератор.
Сергей (известный как Казай Трейдер) сделал для S#.Data (Гидра) источники Google, Yahoo Finance и Fidelity.

И про достижения самого проекта:

Мы сделали коннекторы к Interactive Brokers, LMAX, CFH, FinFX, Micex, Plaza 2 CGate, Fusion, IQFeed.
Обновили интерфейс программы S#.Data.
Выпустили публичную бета версию S#.Studio.
Сделали решение для компания S#.Enterprise.
Расширили линейку обучения S#.Edu новыми курсами.
Начали активно публиковать статьи про алго трейдинг (опять же, отдельное спасибо Bond, vlad1024, Николаю Флерову и Казай Трейдеру).
Сделали брокерские лицензии (= заставили поучаствовать брокеров в жизни S# =) ).
Много всего другого, что не видно, но положительно влияет на проект.

Надеемся, что в следующем году с нами будет еще больше участников. В свою очередь мы будет делать наш проект лучше и лучше.

Еще раз всех с новым годом!

Один день из жизни Ri. Баланс объема сделок.

2013-12-24T22:23:42Z

В предыдущей статье мы расмотрели, как выглядит рынок на микроуровне (ордер лог сделок). На этот раз мы углубим наш анализ, в следующем направлении. Как известно на рынке действует простое правило, если кто-то продает значит кто-то это покупает и наоборот, таким образом если сложить объемы всех сделок на покупку(+объем) и продажу(-объем) то получится ноль, то есть существует некоторое соотношение "баланса" которое никогда не нарушается. Как нам это может помочь в анализе? Очень просто, если классифицировать весь входящий поток сделок по некоторым группам, мы можем увидить как изменяется динамика баланса (поглащенного объема) между разными группами. Самый простой вариант - классифицировать сделки по группам, используя объем выставленный в заявке которая породила сделку, учитывая наш предыдущий анализ распределния объема, выберем следующую сегментацию на три группы по объему заявки 1-10, 10-100, 100-10000. Затем просуммируем выставленный объем на покупку со знаком '+', на продажу со знаком '-' для каждой из групп таким образом получим временной ряд отображающий изменение баланса объема между группами (если сделки происходили внутри группы, то они не приведут к изменению). Рассмотрим один из графиков построенных указанным способом(с добавлением графика цены Ri).

Как видно из графика, хотя динамика Ri и не определяется полностью динамикой группы крупных трейдеров (объем сделки 100-10000), видно что большинство крупных структур в цене движения актива (в том числе небольшие спайки) вызываются именно ей, в то время как остальные две более мелкие группы (в том числе HFT) выступают абсорберами этого дисбаланс сделок.

Рассмотрим такой же график за другой день.

Как видно из графика, в этот день взаимная динамика носит иной характер, баланс сделок группы (100-10000) носит более размытый по времени характер, и корреляция с активом возникает лишь в моменты возникновения более интенсивных "спайков" объема, в остальное время динамика скорее всего определяется внешними факторами.

И на последок еще одна торговая сессия, на этот раз динамика опять напоминает первый случай, с ярко выраженным влиянием на динамику Ri крупных трейдеров.

Продолжение следует.

Скидка 50 процентов на обучение!

2013-12-23T16:29:35Z

Если Вы весь год мечтали о том, чтобы научиться создавать торговых роботов, если Вам интересно, как делаются деньги на знаниях, как создаются таймфрейм роботы, высокочастотные роботы(HFT), арбитражные роботы, как можно создать торгового робота для парного трейдинга всего лишь за один день, как работать с S#.Shell или же Вы просто хотите освоить язык программирования C#, в контексте создания торговых роботов и многое-многое другое, то сейчас у Вас появилась уникальная возможность научиться всему этому за фантастически низкую цену!

В преддверии нового года, мы дарим Вам подарок в виде 50% скидки на все наши курсы!

Новогодние цены

50% скидка действует только до 31 декабря 2013г.

Рассказ нашего ученика 2

2013-12-18T00:50:55Z

В прошлой статье рассмотрели общую схему создания и проектирования системы для алгоритмической торговли на бирже. Рассмотрим более подробно работу каждого модуля.

Как получить исторические данные для работы мы уже знаем. Сейчас рассмотрим необходимый минимальный функционал для своего терминала визуализации.

Ниже буду приводить скриншоты моей последней версии «Анализатора», более раннюю версию можно скачать с серверов S#. Просто опишем, что из себя представляет система визуализации стратегий. Задаем диапазон тестирования, таймфрейм и тестируемый инструмент. Как дополнительно, но не обязательно можно задать комиссию, начальный депозит и др. настраиваемые параметры.

Строим свечной график, также выводим индикаторы. Снизу строим график Эквити. В данном примере для оценки стратегии я использую свой расчет Профита. В стандартной версии графика PnL от S# используется немного другой вариант, более приспособленный для торговли в реальном времени с расчетом вариационной маржи.

Выводим сделки на график в виде стрелок. Зеленая стрелка покупка, красная продажа. Это стандартная функция. Прикрутить к коду не сложно, главное округлить время сделки до времени свечки, а то она может выставиться некорректно. Что нам еще нужно? Не плохо бы знать, что и в какой последовательности делала наша стратегия. Нам нужно Логирование! В стандартных версиях полно разных видов окон логирования, но я как всегда не ищу легких путей и сделал свое логирование на базе ListView из WPF C#. Для удобства вывел на экран кнопки для запуска результатов тестирования и таблицу с расчетом статистических данных стратегии.

Статистика

Очень важно перед запуском стратегии для реальной торговли на бирже проверить ее на работоспособность – протестировать. Как нам узнать какая стратегия хорошая, а какая плохая? Оказывается итоговая прибыль в конце тестирования не единственно важный показатель нашего алгоритма. Для полной картины нам нужно изучить статистические показатели нашей стратегии.

Основные формулы для расчета показателей стратегии: 1. Profit factor (PF) Рассчитывается как отношение за определённый период суммы всех прибыльных сделок к сумме всех убыточных с положительным знаком. Большее значение соответствует меньшей вероятности разорения. Profit Factor = [Сумма прибылей всех прибыльных сделок] / [Сумма прибылей всех убыточных сделок]

2. Maximum Intraday Drawdown (MIDD) Максимально Нарастающий Убыток (MIDD — Maximum Intraday Drawdown). Он обозначает самую большую финансовую яму, в которую попадала наша система. Максимальный нарастающий убыток – это глубина максимальной просадки за период.

3. Вероятность выигрыша %W (P) %W(P) вероятность выигрыша (отношение количества выигрышных сделок к общему их количеству).

вероятность выигрыша > 0,5.

4. Математическое ожидание M[X] Математическое ожидание — понятие среднего значения случайной величины в теории вероятностей. В зарубежной литературе обозначается через Е[X], в русской M[X]. В статистике часто используют обозначение μ. Наиболее распространенные варианты расчета:

M Математическое ожидание = вероятность выигрыша * средняя величина выигрыша + вероятность проигрыша * средняя величина проигрыша (в качестве результата прирост на 1 сделку в абсолютных величинах)
M Математическое ожидание (1+( средняя величина выигрыша / средняя величина проигрыша))* вероятность выигрыша -1 (в качестве результата вероятность в % получения прибыли за период)

M > 0,6 верно для варианта 2.

5. Фактор восстановления (RF) RF (фактор восстановления, restoration factor) = отношение прибыли за период (Profit) к максимально нарастающему убытку (MIDD) за тот же период.

при тестировании RF должен быть > 2

6. Стандартное отклонение (σ) Стандартное отклонение σ или SD (sigma) — это широко используемая мера разброса или вариабельности (изменчивости) данных. Стандартное отклонение популяции определяется формулой: SD= [S(xi-m)2/N]1/2, где m — среднее популяции, N — размер популяции.

7. Z-счет Z-счет позволяет определить эффективность торговой системы одной цифрой, предоставляя более точные результаты при сравнении с другими ТС. Кроме того, положительный либо отрицательный результат Z-счета несет в себе дополнительную информацию об особенностях использования взятой торговой системы. Собственно, формула вычисления Z-счета имеет вид: Z-счет = (N*(R — 0.5) — X)/((X*(X — N))/(N -1))^(1/2) N – общее количество сделок; X – 2количество прибыльных сделокколичество убыточных сделок; R – количество серий (сколько раз после прибыльной сделки шла убыточная и наоборот); ^(1/2) – это квадратный корень. Для определения Z-счета необходимо иметь данные как минимум по 30 сделкам. Положительный либо отрицательный Z-счет несет в себе дополнительную информацию:

Положительный Z-счет означает, что практически после каждой прибыльной сделки следует убыточная, т.е. торговая система склонна к чередованию. И, чем больше число Z-счета, тем чаще происходит чередование. Основываясь на этом, следует после каждой убыточной сделки увеличивать размер лота (т.к. следующая сделка будет прибыльной), а после прибыльной – уменьшать лот.
Отрицательный Z-счет означает, что ТС имеет последовательные серии как прибыльных, так и убыточных сделок. Эти данные вырисовывают следующий сценарий – если система склонна к сериям, то после первой убыточной сделки следует прекратить торговлю и войти в рынок снова только после первой прибыльной сделки. Мы пропускаем одну прибыльную сделку, но, при этом, минуем серию убыточных.

Прочая статистическая информация: 8. Общее число сделок. 9. Число прибыльных сделок. 10. Число убыточных сделок. 11. Средняя прибыль от сделки. 12. Средний убыток от сделки. 13. Максимальная прибыль. 14. Максимальный убыток.

Есть, конечно, и другие показатели стратегии, но эти наиболее распространенные и информативные. Так выглядит статистика в сводной таблице стратегий: Подробнее о тестировании и простой оптимизации

Ранее мы рассмотрели на примерах как можно визуализировать свою стратегию: И рассчитать основные ее показатели: Но все эти приложения имеют графическую оболочку (англ. Graphical user interface, GUI), что сказывается на производительности таких приложений. Для того чтобы тестировать много стратегий и очень быстро нам нужно использовать более производительную архитектуру приложений.

Например, консольные приложения, хотя некоторые профессионалы умудряются обходиться вообще без GUI.

Рассмотрим простое консольное приложение для тестирования стратегий методом перебора. Для тестирования нам совсем не обязательно выводить графики, строить свечки, визуализировать таблицы. Все это можно оставить на заднем плане.

На примере стратегии из двух пересекающихся SMA (Simple Moving Average, простое скользящее среднее) постараемся выбрать лучшие варианты из сочетания длин периодов «короткой» и «длинной» скользящих средних.

Для этого создадим диапазон параметров «длинной» SMA от 20 до 120 и выберем шаг для этого диапазона равным 1. Итоговые данные сохраним в одномерном массиве {20, 21, 22, … ,120}. Аналогично для «короткой» SMA с диапазоном от 5 до 20 с тем же шагом 1 создадим одномерный массив {5, 6, 7, …, 20}.

Теперь сформируем массив всех возможных вариантов стратегий сочетанием значений массива «длинной» и «короткой» SMA. Получим следующий массив всех вариантов параметров нашей стратегии: {{20, 5}, {20, 6}, …, {20, 20}, {21, 5}, …, {120, 19}, {120, 20}}. Итого 1500 вариантов нашей стратегии. Не мало. Поэтому нам так важна скорость тестирования.

В S# есть простые примеры как провести такое тестирование. Я брал исходные параметры наших SMA из массива параметров стратегий и по очереди в цикле их тестировал. В итоге, после каждого теста получал массив []MyTrades в котором хранились данные времени совершения сделок, их направление (Покупка или Продажа), объем сделок (количество контрактов в сделке) и цены сделок за временной период тестирования.

В конце мы получили число массивов с результатами тестирования равное числу всех возможных параметров нашей стратегии. Сохраняем (сериализуем в бинарный файл) все наши параметры и результаты тестирования. Открываем эти файлы в рассмотренном ранее «Анализаторе», рассчитываем по этим данным статистику и получаем итоговую таблицу с результатами тестирования. Сортируем данные, например, по матожиданию и анализируем результаты. При этом можем сразу визуализировать заинтересовавшую нас стратегию. Примерно так проходит тестирование и оптимизация стратегий. Но оптимизация методом перебора зарекомендовала себя как неэффективная и ресурсоемкая при больших объемах данных. В следующей статье мы рассмотрим другие более производительные варианты оптимизации стратегий.

Всем восходящего тренда! С уважением, Bond. Бонд наш ученик!

Рассказ нашего ученика

2013-12-17T12:52:08Z

Как я стал алготрейдером

Год назад в Вконтаке я увидел скриншоты из Квика одного своего знакомого. На них была прибыль от сделки в 34 тысячи рублей. Потом он еще парочку выложил с прибылью в несколько десятков тысяч рублей. Парень учился на экономическом - гуманитарий, а я закончил технический факультет на инженера. И вот сидя на заводе с зарплатой в 25 тысяч рублей, я задумался… «А какого собственно хрена, я 6 лет учил сопромат, теормех, высшую математику? Когда обычный студент с эконома за пару минут заработал больше, чем я за месяц въе**** на заводе???» Эти мысли не давали мне покоя, и я решил разобраться с этой несправедливостью) Нет, я не пошел и не набил ему морду))) А полез в гугл читать, что такое акции и как торгуют на бирже!

После первых статей в интернете понял, что ничего сложно в этом нет. Ставишь Квик, регистрируешься у брокера и покупаешь и продаешь акции одним кликом мышки! Но тогда я еще не представлял на сколько глубока кроличья нора… После первых сделок на тестовом сервере, я понял, что с моими руками что-то не то))) Когда я видел, что график растет, я понимал, что нужно покупать, забивал настройки и периодически нажимал вместо «Покупать» на «Продавать». Или не ту цифру в суматохе прописывал! Пока все переустановишь и проверишь, уже собственно график туда и обратно три раза обернется. Ужас в общем! И как люди так торгуют?

Полез опять в интернет и нашел, что у Квика есть встроенный язык QPILE для совершения автоматических сделок по алгоритму. То, что мне нужно! Никакого бездумного клацанья по мышке, машина не ошибается! Полез в документы и руководства. Как же все сложно… Я в школе Паскаль с трудом сдавал на уроках информатики… И как это давно было… Но упорство сделало свое дело и через месяц не без помощи такой-то матери, смог запустить свой первый алгоритм! Радости моей не было предела!)

Постепенно код усложнялся и вскоре перевалил за тысячу строк! Я использовал кучу индикаторов и однажды заметил, перематывая свою программу, что собственно забыл, чего искал в том месте программы, пока перематывал код. Так разросся код и стал сложным в восприятии. Потом осознал, что-то, что я писал вчера, сегодня уже не работает. Рынок другой. Индикаторы ведут себя по-другому.

«Нужно сначала тестировать стратегии!» - подумал я. И опять начал гуглить. И чем больше я ковырялся в интернете, тем больше ухудшалось мое настроение. А в QPILE никаких тестеров то и нет. В Excele? Я еще не настолько отчаялся… Другие программы типа Wealth-Lab? Но там все на английском, платная, ничего не понятно и из него нельзя торговать… Как туда перевести стратегии? Опять по-новому переучиваться? Только не это…

Предпринял последнюю попытку написать рекурсивный цикл в QPILE для тестирования! Та еще порнография! Сделал замкнутый цикл и в нем обращался к историческим свечкам и индикаторам, и тестировал свои алгоритмы. Вы не поверите! Работало! Выставлялись заявки, логировались сделки, ставились метки входа и выхода на графике! Но… Протестировать можно было не глубже чем на неделю, и тестирование стратегии за один торговый день на одних параметрах занимало 10-15 минут. И таймфрейм нельзя было сделать меньше минуты, и стратегии выполнялись по очереди, а не параллельно, если их было много, то до последней выполнение могло не дойти. Все сыпалось на глазах, ничего не хотело работать так как я хотел… Я зашел в тупик. Понял, что зря потратил время и ничего у меня с моими алгоритмами не получается. Потом я узнал, что тот самый знакомый слил всю свою прибыль на паре неудачных сделок (хоть как-то приподняло настроение). Дурацкий трейдинг!..

Как я решил эти проблемы благодаря парням из S# и их платформе для алготрейдинга!

С чего начать алготорговлю

В итоге я полностью разочаровался в QPILE, не хотел извращаться с Excel и собственно не знал, что мне делать дальше. В общем, решил пока приостановить все работы пока не соберусь с собственными мыслями. Но идея о торговле меня не оставляла, люди же как-то зарабатывают на этом хорошие деньги? В интернете наткнулся на S#, посмотрел, почитал и пришел к выводу, что мне нужно двигаться в этом направлении. Русскоязычная платформа, специально заточенная под алготрейдинг, есть обучение, форум, техподдержка. После головной боли от QPILE напрочь отмел все остальные скриптовые языки и криворукие оболочки. Только низкоуровневый код, только тру алготрейдинг! Но вот незадача… Я c QPILE еле совладал, а в С# вообще полный 0. Да, и цена на обучение кусается. Решил сначала немного подготовиться, купил Герберта Шилдта «Полное руководство C# 4.0» и почитывал на работе, когда выдавалось свободное время. Мой мозг разрывался на маленькие кусочки, полиморфизм, инкапсуляция, наследование… Пару раз бросал с мыслью: «Зачем я во все это ввязался!».

Но через месяц заметил, что стал более-менее разбираться в элементарных вещах. Шилдт молодец! Не зря считается одним из лучших писателей книг по обучению программированию. Рекомендую! Начав в общих чертах разбираться в логике построения программ и поняв, что это все можно читать до бесконечности, и пора уже изучать применительно к алготорговле, купил обучающие курсы S#.

Сначала прошел курс C#, если честно он был тяжелый. Насколько я знаю, они сейчас его переделали и выпустили новые более адекватные и понятные уроки. Разобрался с Visual Studio. И начал потихоньку изучать примеры из уроков. Собственно первые буковки и циферки кода я начал писать с этих примеров. Потому что если еще с Шилдта примеры пробовать писать так это точно на все про все одной жизни не хватит. Сначала все шло очень тяжело, нехватка знаний в C# и специфика работы API S# давали о себе знать. Но постепенно, при возникновении проблем, я все реже и реже стал обращался в техподдержку, и научился решать задачи самостоятельно. Отельное спасибо Бухарину Ивану из техподдержки S# за помощь в изучении! Так что все реально, нужно идти от простого к сложному и все получится!

А теперь перейдем непосредственно к сути статьи. Что нам необходимо для алготорговли? Как вообще все это происходит? Какие модули и в какой очередности создавать? Оговорюсь сразу, в своих статьях я буду затрагивать чисто технические моменты алготорговли, супер профитных стратегий и граалей не будет. Ну, может если только в более поздних статьях. Ниже представлена общая комплексная схема работы моих приложений для анализа, тестирования и оптимизации стратегий:

"АНАЛИЗАТОР" - приложение с графическим интерфейсом WPF и графиками Chart для визуализации и анализа стратегий, проверки на работоспособность стратегий. "ОПТИМИЗАТОР" - консольное "производительное" приложение для тестирования стратегий. «РОБОТ» – непосредственно торговый робот в который передается уже готовая стратегия для торговли на Бирже. «Исторические данные» – хранилище исторических данных. «Хранилище стратегий» – хранилище результатов тестирования «Оптимизатора» и «Анализатора», готовых стратегий и других параметров.

Исторические данные

Алготрейдинг без бэктестинга не алготрейдинг! Прежде чем запускать алгоритм в работу его нужно проверить, протестировать. В этом огромное преимущество алгоритмической торговли! Что нужно для тестирования? Это, конечно, исторические данные. В S# есть готовое решение S#.Data. С ее помощью закачал с сайта Финама исторические данные в бинарном формате. Сейчас у меня в хранилище исторических данных лежит более 400 тысяч файлов по разным инструментам, в каждом файле хранится информация о тысячах сделок. И все это занимает не более 10-11Гб на жестком диске. Исторические данные заимели. Теперь нам нужно их как-то визуализировать, научиться строить по ним свечные графики разных таймфреймов, индикаторы, выводить сделки на график и т.д. Также нам нужно научиться тестировать стратегии, сохранять результаты тестирования и находить самую оптимальную стратегию. Обо всем этом и многом другом вы сможете прочитать в моих следующих статьях)

Всем восходящего тренда! С уважением, Bond.

Научиться алготрейдингу быстро

Приглашаем вас в чат алготрейдеров

2013-12-06T13:21:27Z

Мы создали чат алготрейдеров!

Чат открыт для всех желающих. Подробнее, как подключиться.

Ждем вас в онлайне!

Мы обновили каркас

2013-11-27T12:01:59Z

Дорогие коллеги. Спешу поделиться с вами интересной новостью. S#.Shell претерпел значительные имения. Узнать о новинках каркасы, а также, о работе с ним, вы можете из данного руководства. Новая версия уже находится на нашем сервере и доступна всем нашим ученикам. Основной фишкой данной версии является обновление S#.API идущей в комплект с каркасом.

Все дружно благодарим камрада Kazai Mazai. За проделанную титаническую работу.

Теперь Вы можете оплатить наши услуги через Интернет

2013-11-20T14:31:17Z

Обучение от S# стало ещё доступнее. Теперь Вы можете оплатить наши услуги через Интернет, не выходя из дома. Вам доступен огромный выбор способов оплаты.

Наши услуги

EduLive - от 3 900
Курсы S# - от 25 900
Курсы Wealth-Lab - от 23 900
Корпоративная лицензия - от 95 тыс.р.
Корпоративное обучение - от 150 тыс.р.

Способы оплаты

банковские карты
электронные деньги QIWI кошелек, Яндекс.Деньги, Webmoney, Деньги@Mail.ru
оплата через интернет-банкинг
оплата с баланса мобильного телефона
и множество других способов оплаты

Работа с TFS и EduLive

2013-11-18T14:13:32Z

Введение в работу с Microsoft Team Foundation Server

Темы урока:

Краткий обзор возможностей TFS
Преимушества TFS как системы версионного контроля кода
Начало работы с TFS репозиториями S# Education
Загрузка проектов, работа с зависимостями
Добавление нового проекта в TFS
Концепция ветвления версий

Описание: в этой лекции дается введение в системы версионного контроля, а также рассказано обо всём что необходимо знать, для работы с сервером TFS и нашим новым сервисом EduLive, показаны примеры работы с EduLive.

Полезные ссылки:

Управление жизненным циклом приложения с помощью Visual Studio и Team Foundation Server http://msdn.microsoft.com/ru-ru/library/vstudio/fda2bad5(v=vs.110).aspx

Разработка с использованием TFVC http://msdn.microsoft.com/ru-ru/library/vstudio/ms181382.aspx

Введение в использование TFS c Visual Studio 2010 (EN) http://blogs.msdn.com/b/jasonz/archive/2009/10/21/tutorial-getting-started-with-tfs-in-vs2010.aspx

Team Foundation Service переименован в Visual Studio Online (EN) http://www.visualstudio.com/products/visual-studio-online-overview-vs

Хранилище стратегий

2013-11-08T12:45:51Z

Готовые примеры роботов

Вебинар прошёл успешно, в основном рассказывал про новые примеры, как для учеников так и для всех желающих, а также всё что было предоставлено у нас на сервере по обучению. В основном рассматривали новый проект, который мы сделали специально для всех учеников и любых желающих:

А теперь подробнее для тех, кто хочет получить доступ к серверу, где лежат проекты (в том числе и к этому проекту). В основном наш сервер по обучению делится на две части:

StockSharp Lessons - здесь представлены все открытые коды по роботам и проектам принадлежащим видео-урокам. Есть много различных торговых стратегий, кластерных свечек, вообщем все проекты, относящиеся к этим урокам + много дополнительных закомментированных примеров. Бесплатно доступ к нему получают все ученики наших курсов, а также все желающие под услугой EduLive.

StockSharp Public - публичный сервер, куда мы накинули уже не мало всего готового. Более подробный разбор того, что есть сейчас в паблике:

Robots (на скриншоте) - 8 торговых стратегий. Исходные коды 3 самых сложных стратегий, находятся у нас в репозитории Lessons. Все остальные стратегии открыты, так что можете смотреть и изучать. Проект позволяет задавать настройки запускать и останавливать стратегии.
BestBuySell - реальный проект торгового робота на заказ. Что делает? Включается в определенное время, прописанное в xml настройках. Основная задача - изменение позиции по корзине инструментов (прописаны в настройках) с помощью котирования. К примеру при включении у RIZ3 текущая позиция 5, а должна быть 10. Он начинает с прописанными условиями и итерациями отправлять заявки, пока позиция по инструменту не станет правильной. Исходники безотказной стратегии котирования лежат в Lessons.
Analyzer - специальный анализатор стратегий. Более подробно.
MarketDepthAnalyzer - подгружает историю стаканов и выводит соответствующие индикаторы на график. Более подробно.
Data - сохраненные данные с помощью S#.Data. Сейчас на сервере бесплатно лежит 1 месяц Ордер Лога по 3 инструментам. Берите и изучайте, кстати ордерлог - это платная услуга от МБ.
NN_Developing - нейросеть. Простой проект для исследований и обучения нейросети.

Как скачать все текущие проекты?

Подключиться к нашему TFS (в любом случае надо будет сделать)
Скачать через Visual Studio (ссылка в первом пункте)
Скачать архивом всё что есть в StockSharp.Public (для ленивых)
Скачать архивом всё что есть StockSharp.Lessons (для ленивых)

P.S. В связи с большим объёмом вложений, лучше качать их напрямую из Visual Studio

использование PCA в торговле парами инструментов

2013-11-05T10:42:57Z

Всем доброго времени суток...сейчас занят в проекте создания нового алгоритма для маркет-мейкера, по этому почти нет времени для нормальных «исследований и тестирования» нашего рынка. Поэтому пришла идея выкладывать обзор разных статей из мира Quantitative Analysis, HFT, трейдинга и всего, что относится к нашему рынку. Сразу прошу извинить за вольность и не точность перевода. Основная цель просто передать суть, для любопытных – всегда есть ссылка на оригинал.

Начну с любопытной статьи про использование PCА.

Введение: PCA - Метод главных компонент (англ. Principal component analysis, PCA) очень-очень популярный метод преобразования исходных признаков в анализе данных. Его идея состоит в следующем пусть у нас есть N признаков, факторов или переменных (назовем их X1,X2,X3,X4…). Представим наши X (их может быть ооочень много) в виде матрицы. Применяя к этой матрице SVD-разложение, мы можем перейти к новым переменным, которые будут обладать рядом замечательным свойств:

первое - наши новые признаки (назовем их главными компонентами и будем обозначать Y) будут некоррелированы (в смысле линейной корреляции. второе – дисперсия главных компонент равна собственному числу ковариационной матрицы, а собственные числа у нас обладают упорядоченностью. Итого: DY1>DY2>DY3….

Лучше всего это проиллюстрировать картинкой. Рассмотрим 2х мерное облако данных в коррдинатах X1 X2, которые в свою очередь обладают ненулевым коэффициентом корреляции: После преобразования получаем Новые координаты Y1 Y2, которые не будут коррелированы между собой, и в тоже время первая компонента будет иметь наибольший вклад в общую дисперсию данных (красная стрелочка), а на вторую (черная полоска) придется остаток дисперсии.

Есть сотни случаев, где такой метод может понадобиться в анализе данных. Например вы хотите анализировать 100500 признаков и их влияние на какую-то величину Z. Применяя PCA вы получаете некоррелированные признаки (что уже хорошо в смысле оценок коэффициентов регрессии или что вам там надо) и упорядоченные признаки, что дает вам возможность отбросить хвост из признаков и использовать только 10 первых компонент с наибольшим вкладом в дисперсию (такой метод называется отбеливание данных). Есть и другие примеры.

Причем здесь рынок, спросите Вы?

Классическая торговля парами (спредами) обычно требует некоррелированности спреда с рынком..То есть нулевой корреляции между приращением спреда и приращением рынка (естественно нам также нужна ограниченность значений нашего спреда в каком-то смысле.

Обычно когда мы хотим начать торговать парой инструментов мы выбираем 2 сильно коррелированных актива, и используя «бета коэффициенты инструментов» образуем нейтральную к рынку пару. В случае конструкции синтетического инструмента состоящего из нескольких «ног» такой подход приносит трудности, и тут мы приходим к методу главных компонент: Используя PCA мы трансформируем наши данные при этом упорядоченность дисперсии дает следующий результат: 1-ая компонента, обладающая наибольшей волатильностью, зачастую очень сильно коррелирует с рынком. 2ая компонента, с одной стороны обладает наибольшей дисперсией после вычета из данных первой компоненты, с другой является нейтральной по отношению к первой. Соответственно портфель состоящий из компоненты Y2=a1X1+….anXn мы и будем рассматривать для нашей торговли.

На этой картинке даны 4 инструмента (X1..X4 в нашей терминологии) и 4 главных компоненты после преобразования. Налицо убывание волатильности от 1ой компоненты к 4ой.

Если взглянуть на оставшиеся компоненты после вычета первой, то можно увидеть что компоненты вполне торгуемы на той истории на которой проводилось исследование:

оригинал: http://matlab-trading.blogspot.ca/2012/12/using-pca-for-spread-trading.html

P.S. данный подход относится к классической торговле акциями, куда не стоит относить торговлю ставкой или связанами инструментами. P.P.S. недавно всвязи с переходом на Т2 рассматривал под микроскопом движение ставки в наших замечательных парах Акция-Фьючерс.. на лицо было заметна корреляция между движением нструмента (внутридневной масштаб) и микродвижением ставки. Пример:

никто не строил стратегий на внутридневной торговли ставкой (базисом) в сбербанке,лукойле,газе?[glare]

на след. Неделе раскажу про популярный подход VPIN и OrderFlow для анализа микро движений рынка.

Вебинар, разбираем стратегии S#

2013-10-30T14:48:21Z

Приглашаю всех на вебинар!

6 ноября 19:00. Время выбрано коллективно!

О чем будет вебинар (смотреть видео):

Хранилище стратегий. Будем разбираться с примерами стратегий от обучения.
Поработаем с TFS.

Вебинар обещает быть дружелюбным, будем использовать скорее всего Hangouts(чаты, запись и т.д), где каждый из участвующих сможет что-нибудь добавить от себя голосом[biggrin]

Чтобы записаться на вебинар, пожалуйста оставьте свою заявку здесь в группе "Вебинар", чтобы мы уведомили Вас об окончательной дате и сделали рассылку за час до вебинара.