Блог. StockSharp

Аналитика - новая фича Гидры для квант анализа и дата майнинга

2014-03-17T18:08:58Z

В S#.Data (Гидра) появилась новая фича Аналитика. Она позволяет производить анализ над данными, что скачала Гидра. Стандартно входят 2 скрипта: Анализ объема с разбивкой по часам и анализ объема с разбивкой по цене:

Множество примеров о том, как делать красивые графики на компоненте SciChart.

Сам код так же пишется внутри Гидры:

Для того, чтобы пойти чуть дальше, и попробовать заместить R и Python, добавлена библиотека Math Numerics. В одной программе (Гидра) теперь можно и скачивать данные, и анализировать, и производить визуализацию.

Для тех, кто пользуется серверным режимом S#.Data, теперь можно анализировать данные, не закачивая их к себе на диск.

Многослойный персептрон! Грааль где то рядом!

2014-01-22T18:23:12Z

Начало здесь: http://www.stocksharp.co...--Vpiervyie-na-arienie/

Первая часть: Для тех, кто верит в нейросети
В вышеуказанном посте я описал работу персептрона, как он учится и торгует после обучения. Проблема в том, что я начитавшись постов в интернете сделал как все. То есть, собрал сеть, обучил, написал стратегию под сеть, и давай ее тестировать! Обучу на одних входных параметрах, тестирую стратеги, обучу на других, тестирую. И тут меня осенило! Когда сеть обучается идет подсчет ошибки, а что если вести параллельный подсчет еще и ошибки работы сети на данных не участвующих в обучении? После реализации чего, прогнав данные в которые я верил, окончательно разочаровался в персептроне. Но все по порядку.

Вторая часть: Что я поправил еще до этой идеи.
Убрал позорный график и вставил родной от S# .
Параметры персептрона теперь передаются в StatisticParameterPanel от S# .
Обучается параллельно 5 нейросетей с одинаковыми параметрами, но с разными первоначальными весами.
Сохраняется одна сеть на выбор пользователя, один раз при остановке обучения (раньше сохранялась при обновлении минимума).
Еще по мелочи, кнопки убрал, перегруппировал и тп.

Третья часть: Что я поправил после этой идеи.
Добавил еще график для вывода контрольной ошибки.
Ошибка считается теперь не среднеквадратичная, а абсолютная. Так легче для понимания графика. Например, на рисунке видно, что образов для обучения 804 это значит, что сети предоставлено 804 единиц, минус единиц, и нулей. Если сеть на каждый образ выдаст ноль, то суммарная ошибка будет равна 804. Что мы и видим на нижнем графике рисунка, вначале обучения ошибка сети равна 804.
Контрольная ошибка считается также, как и ошибка обучения, но на следующий день после последнего дня обучающей последовательности. И НИКАКИМ ОБРАЗОМ НЕ ВЛИЯЕТ НА ОБУЧЕНИЕ СЕТИ. На рисунке видно, что количество образов проверки 161, это значить что если сеть не нашла закономерность, то контрольная ошибка будет колебаться вокруг 161. По логике вещей если сеть нашла закономерность, то контрольная ошибка всех 5 сетей должна устремиться вниз. И дойти хотя бы до 100-110. Но такого я не видел. Прошу если кто-то этого добьется, опубликуйте скирин окошка, верните веру. [biggrin]
В выложенном варианте входную последовательность, и эталон я менять не стал(ну не выкладывать же грааль [lol]). Все как первом моем посте на эту тему. И лежит там же.

Четвертая часть: Мой соображения
Вместе с входными полезными данными мы подаем много мусора в надежде что сеть из мусора вытащит закономерности. А она подстраивается под мусор, и запоминая его, обучаясь до определенного момента.
Вывод: на вход сети надо подавать обработанные данные в которых много полезной информации и мало мусора, вопрос зачем мне нейросеть если у меня есть такие данные?

Вот и все!
Всем спасибо за внимание! Жду отзывов, и лайков! [biggrin]

На встречу 2014-ому

2013-12-31T14:49:27Z

Приветствую всех участников проекта StockSharp

Хочется поздравить всех с наступающим новым 2014 годом! Уходящий год был непростым для многих, кто-то в нем приобрел, кто-то потерял. Для граждан и живущих в России последние события омрачили новогоднее настроение, и надеемся, что ответственные за ужасные вещи в скором времени будут сурово наказа по закону.

Но, несмотря на все негативные вещи, жизнь продолжается, и нужно стремится к светлому и хорошему. Надеемся, в 2014-ом многие из вас покорят новые "вершины" в жизни и, конечно же, трейдинге.

Традиционно хотелось бы подвести итог по нашему проекту, что мы смогли сделать за уходящий год.

В начале про тех, кто сделал наш проект лучше:

К нам в команду присоединился Валентин, сделавший адаптер между нашей платформой и программой Wealth Lab.
Джеймс Bond (известный как просто Bond) показал всем, как виртуозно сделал оптимизатор-анализатор-профито-генератор.
Сергей (известный как Казай Трейдер) сделал для S#.Data (Гидра) источники Google, Yahoo Finance и Fidelity.

И про достижения самого проекта:

Мы сделали коннекторы к Interactive Brokers, LMAX, CFH, FinFX, Micex, Plaza 2 CGate, Fusion, IQFeed.
Обновили интерфейс программы S#.Data.
Выпустили публичную бета версию S#.Studio.
Сделали решение для компания S#.Enterprise.
Расширили линейку обучения S#.Edu новыми курсами.
Начали активно публиковать статьи про алго трейдинг (опять же, отдельное спасибо Bond, vlad1024, Николаю Флерову и Казай Трейдеру).
Сделали брокерские лицензии (= заставили поучаствовать брокеров в жизни S# =) ).
Много всего другого, что не видно, но положительно влияет на проект.

Надеемся, что в следующем году с нами будет еще больше участников. В свою очередь мы будет делать наш проект лучше и лучше.

Еще раз всех с новым годом!

Один день из жизни Ri. Баланс объема сделок.

2013-12-24T22:23:42Z

В предыдущей статье мы расмотрели, как выглядит рынок на микроуровне (ордер лог сделок). На этот раз мы углубим наш анализ, в следующем направлении. Как известно на рынке действует простое правило, если кто-то продает значит кто-то это покупает и наоборот, таким образом если сложить объемы всех сделок на покупку(+объем) и продажу(-объем) то получится ноль, то есть существует некоторое соотношение "баланса" которое никогда не нарушается. Как нам это может помочь в анализе? Очень просто, если классифицировать весь входящий поток сделок по некоторым группам, мы можем увидить как изменяется динамика баланса (поглащенного объема) между разными группами. Самый простой вариант - классифицировать сделки по группам, используя объем выставленный в заявке которая породила сделку, учитывая наш предыдущий анализ распределния объема, выберем следующую сегментацию на три группы по объему заявки 1-10, 10-100, 100-10000. Затем просуммируем выставленный объем на покупку со знаком '+', на продажу со знаком '-' для каждой из групп таким образом получим временной ряд отображающий изменение баланса объема между группами (если сделки происходили внутри группы, то они не приведут к изменению). Рассмотрим один из графиков построенных указанным способом(с добавлением графика цены Ri).

Как видно из графика, хотя динамика Ri и не определяется полностью динамикой группы крупных трейдеров (объем сделки 100-10000), видно что большинство крупных структур в цене движения актива (в том числе небольшие спайки) вызываются именно ей, в то время как остальные две более мелкие группы (в том числе HFT) выступают абсорберами этого дисбаланс сделок.

Рассмотрим такой же график за другой день.

Как видно из графика, в этот день взаимная динамика носит иной характер, баланс сделок группы (100-10000) носит более размытый по времени характер, и корреляция с активом возникает лишь в моменты возникновения более интенсивных "спайков" объема, в остальное время динамика скорее всего определяется внешними факторами.

И на последок еще одна торговая сессия, на этот раз динамика опять напоминает первый случай, с ярко выраженным влиянием на динамику Ri крупных трейдеров.

Продолжение следует.

Скидка 50 процентов на обучение!

2013-12-23T16:29:35Z

Если Вы весь год мечтали о том, чтобы научиться создавать торговых роботов, если Вам интересно, как делаются деньги на знаниях, как создаются таймфрейм роботы, высокочастотные роботы(HFT), арбитражные роботы, как можно создать торгового робота для парного трейдинга всего лишь за один день, как работать с S#.Shell или же Вы просто хотите освоить язык программирования C#, в контексте создания торговых роботов и многое-многое другое, то сейчас у Вас появилась уникальная возможность научиться всему этому за фантастически низкую цену!

В преддверии нового года, мы дарим Вам подарок в виде 50% скидки на все наши курсы!

Новогодние цены

50% скидка действует только до 31 декабря 2013г.

Рассказ нашего ученика 2

2013-12-18T00:50:55Z

В прошлой статье рассмотрели общую схему создания и проектирования системы для алгоритмической торговли на бирже. Рассмотрим более подробно работу каждого модуля.

Как получить исторические данные для работы мы уже знаем. Сейчас рассмотрим необходимый минимальный функционал для своего терминала визуализации.

Ниже буду приводить скриншоты моей последней версии «Анализатора», более раннюю версию можно скачать с серверов S#. Просто опишем, что из себя представляет система визуализации стратегий.

Задаем диапазон тестирования, таймфрейм и тестируемый инструмент. Как дополнительно, но не обязательно можно задать комиссию, начальный депозит и др. настраиваемые параметры.

Строим свечной график, также выводим индикаторы. Снизу строим график Эквити. В данном примере для оценки стратегии я использую свой расчет Профита. В стандартной версии графика PnL от S# используется немного другой вариант, более приспособленный для торговли в реальном времени с расчетом вариационной маржи.

Выводим сделки на график в виде стрелок. Зеленая стрелка покупка, красная продажа. Это стандартная функция. Прикрутить к коду не сложно, главное округлить время сделки до времени свечки, а то она может выставиться некорректно.

Что нам еще нужно? Не плохо бы знать, что и в какой последовательности делала наша стратегия. Нам нужно Логирование! В стандартных версиях полно разных видов окон логирования, но я как всегда не ищу легких путей и сделал свое логирование на базе ListView из WPF C#.

Для удобства вывел на экран кнопки для запуска результатов тестирования и таблицу с расчетом статистических данных стратегии.

Статистика

Очень важно перед запуском стратегии для реальной торговли на бирже проверить ее на работоспособность – протестировать. Как нам узнать какая стратегия хорошая, а какая плохая? Оказывается итоговая прибыль в конце тестирования не единственно важный показатель нашего алгоритма. Для полной картины нам нужно изучить статистические показатели нашей стратегии.

Основные формулы для расчета показателей стратегии:
1. Profit factor (PF)
Рассчитывается как отношение за определённый период суммы всех прибыльных сделок к сумме всех убыточных с положительным знаком. Большее значение соответствует меньшей вероятности разорения.
Profit Factor = [Сумма прибылей всех прибыльных сделок] / [Сумма прибылей всех убыточных сделок]

2. Maximum Intraday Drawdown (MIDD)
Максимально Нарастающий Убыток (MIDD — Maximum Intraday Drawdown). Он обозначает самую большую финансовую яму, в которую попадала наша система.
Максимальный нарастающий убыток – это глубина максимальной просадки за период.

3. Вероятность выигрыша %W (P)
%W(P) вероятность выигрыша (отношение количества выигрышных сделок к общему их количеству).
* вероятность выигрыша > 0,5.

4. Математическое ожидание M[X]
Математическое ожидание — понятие среднего значения случайной величины в теории вероятностей. В зарубежной литературе обозначается через Е[X], в русской M[X]. В статистике часто используют обозначение μ.
Наиболее распространенные варианты расчета:
1) M[X] Математическое ожидание = вероятность выигрыша * средняя величина выигрыша + вероятность проигрыша * средняя величина проигрыша (в качестве результата прирост на 1 сделку в абсолютных величинах)
2) M[X] Математическое ожидание (1+( средняя величина выигрыша / средняя величина проигрыша))* вероятность выигрыша -1 (в качестве результата вероятность в % получения прибыли за период)
* M[X] > 0,6 верно для варианта 2.

5. Фактор восстановления (RF)
RF (фактор восстановления, restoration factor) = отношение прибыли за период (Profit) к максимально нарастающему убытку (MIDD) за тот же период.
* при тестировании RF должен быть > 2

6. Стандартное отклонение (σ)
Стандартное отклонение σ или SD (sigma) — это широко используемая мера разброса или вариабельности (изменчивости) данных. Стандартное отклонение популяции определяется формулой:
SD= [S(xi-m)2/N]1/2, где m — среднее популяции, N — размер популяции.

7. Z-счет
Z-счет позволяет определить эффективность торговой системы одной цифрой, предоставляя более точные результаты при сравнении с другими ТС. Кроме того, положительный либо отрицательный результат Z-счета несет в себе дополнительную информацию об особенностях использования взятой торговой системы.
Собственно, формула вычисления Z-счета имеет вид:
Z-счет = (N*(R — 0.5) — X)/((X*(X — N))/(N -1))^(1/2)
N – общее количество сделок;
X – 2*количество прибыльных сделок*количество убыточных сделок;
R – количество серий (сколько раз после прибыльной сделки шла убыточная и наоборот);
^(1/2) – это квадратный корень.
Для определения Z-счета необходимо иметь данные как минимум по 30 сделкам. Положительный либо отрицательный Z-счет несет в себе дополнительную информацию:
1) Положительный Z-счет означает, что практически после каждой прибыльной сделки следует убыточная, т.е. торговая система склонна к чередованию. И, чем больше число Z-счета, тем чаще происходит чередование. Основываясь на этом, следует после каждой убыточной сделки увеличивать размер лота (т.к. следующая сделка будет прибыльной), а после прибыльной – уменьшать лот.
2) Отрицательный Z-счет означает, что ТС имеет последовательные серии как прибыльных, так и убыточных сделок. Эти данные вырисовывают следующий сценарий – если система склонна к сериям, то после первой убыточной сделки следует прекратить торговлю и войти в рынок снова только после первой прибыльной сделки. Мы пропускаем одну прибыльную сделку, но, при этом, минуем серию убыточных.

Прочая статистическая информация:
8. Общее число сделок.
9. Число прибыльных сделок.
10. Число убыточных сделок.
11. Средняя прибыль от сделки.
12. Средний убыток от сделки.
13. Максимальная прибыль.
14. Максимальный убыток.

Есть, конечно, и другие показатели стратегии, но эти наиболее распространенные и информативные.
Так выглядит статистика в сводной таблице стратегий:

Подробнее о тестировании и простой оптимизации

Ранее мы рассмотрели на примерах как можно визуализировать свою стратегию:

И рассчитать основные ее показатели:

Но все эти приложения имеют графическую оболочку (англ. Graphical user interface, GUI), что сказывается на производительности таких приложений. Для того чтобы тестировать много стратегий и очень быстро нам нужно использовать более производительную архитектуру приложений.

Например, консольные приложения, хотя некоторые профессионалы умудряются обходиться вообще без GUI.

Рассмотрим простое консольное приложение для тестирования стратегий методом перебора.

Для тестирования нам совсем не обязательно выводить графики, строить свечки, визуализировать таблицы. Все это можно оставить на заднем плане.

На примере стратегии из двух пересекающихся SMA (Simple Moving Average, простое скользящее среднее) постараемся выбрать лучшие варианты из сочетания длин периодов «короткой» и «длинной» скользящих средних.

Для этого создадим диапазон параметров «длинной» SMA от 20 до 120 и выберем шаг для этого диапазона равным 1. Итоговые данные сохраним в одномерном массиве {20, 21, 22, … ,120}. Аналогично для «короткой» SMA с диапазоном от 5 до 20 с тем же шагом 1 создадим одномерный массив {5, 6, 7, …, 20}.

Теперь сформируем массив всех возможных вариантов стратегий сочетанием значений массива «длинной» и «короткой» SMA. Получим следующий массив всех вариантов параметров нашей стратегии: {{20, 5}, {20, 6}, …, {20, 20}, {21, 5}, …, {120, 19}, {120, 20}}. Итого 1500 вариантов нашей стратегии. Не мало. Поэтому нам так важна скорость тестирования.

В S# есть простые примеры как провести такое тестирование. Я брал исходные параметры наших SMA из массива параметров стратегий и по очереди в цикле их тестировал. В итоге, после каждого теста получал массив []MyTrades в котором хранились данные времени совершения сделок, их направление (Покупка или Продажа), объем сделок (количество контрактов в сделке) и цены сделок за временной период тестирования.

В конце мы получили число массивов с результатами тестирования равное числу всех возможных параметров нашей стратегии. Сохраняем (сериализуем в бинарный файл) все наши параметры и результаты тестирования. Открываем эти файлы в рассмотренном ранее «Анализаторе», рассчитываем по этим данным статистику и получаем итоговую таблицу с результатами тестирования. Сортируем данные, например, по матожиданию и анализируем результаты. При этом можем сразу визуализировать заинтересовавшую нас стратегию.

Примерно так проходит тестирование и оптимизация стратегий. Но оптимизация методом перебора зарекомендовала себя как неэффективная и ресурсоемкая при больших объемах данных. В следующей статье мы рассмотрим другие более производительные варианты оптимизации стратегий.

Всем восходящего тренда! С уважением, Bond.
Бонд наш ученик!

Рассказ нашего ученика

2013-12-17T12:52:08Z

Как я стал алготрейдером

Год назад в Вконтаке я увидел скриншоты из Квика одного своего знакомого. На них была прибыль от сделки в 34 тысячи рублей. Потом он еще парочку выложил с прибылью в несколько десятков тысяч рублей. Парень учился на экономическом - гуманитарий, а я закончил технический факультет на инженера. И вот сидя на заводе с зарплатой в 25 тысяч рублей, я задумался… «А какого собственно хрена, я 6 лет учил сопромат, теормех, высшую математику? Когда обычный студент с эконома за пару минут заработал больше, чем я за месяц въе**** на заводе???» Эти мысли не давали мне покоя, и я решил разобраться с этой несправедливостью) Нет, я не пошел и не набил ему морду))) А полез в гугл читать, что такое акции и как торгуют на бирже!

После первых статей в интернете понял, что ничего сложно в этом нет. Ставишь Квик, регистрируешься у брокера и покупаешь и продаешь акции одним кликом мышки! Но тогда я еще не представлял на сколько глубока кроличья нора…
После первых сделок на тестовом сервере, я понял, что с моими руками что-то не то))) Когда я видел, что график растет, я понимал, что нужно покупать, забивал настройки и периодически нажимал вместо «Покупать» на «Продавать». Или не ту цифру в суматохе прописывал! Пока все переустановишь и проверишь, уже собственно график туда и обратно три раза обернется. Ужас в общем! И как люди так торгуют?

Полез опять в интернет и нашел, что у Квика есть встроенный язык QPILE для совершения автоматических сделок по алгоритму. То, что мне нужно! Никакого бездумного клацанья по мышке, машина не ошибается! Полез в документы и руководства.
Как же все сложно… Я в школе Паскаль с трудом сдавал на уроках информатики… И как это давно было…
Но упорство сделало свое дело и через месяц не без помощи такой-то матери, смог запустить свой первый алгоритм! Радости моей не было предела!)

Постепенно код усложнялся и вскоре перевалил за тысячу строк! Я использовал кучу индикаторов и однажды заметил, перематывая свою программу, что собственно забыл, чего искал в том месте программы, пока перематывал код. Так разросся код и стал сложным в восприятии. Потом осознал, что-то, что я писал вчера, сегодня уже не работает. Рынок другой. Индикаторы ведут себя по-другому.

«Нужно сначала тестировать стратегии!» - подумал я. И опять начал гуглить. И чем больше я ковырялся в интернете, тем больше ухудшалось мое настроение. А в QPILE никаких тестеров то и нет. В Excele? Я еще не настолько отчаялся… Другие программы типа Wealth-Lab? Но там все на английском, платная, ничего не понятно и из него нельзя торговать… Как туда перевести стратегии? Опять по-новому переучиваться? Только не это…

Предпринял последнюю попытку написать рекурсивный цикл в QPILE для тестирования! Та еще порнография! Сделал замкнутый цикл и в нем обращался к историческим свечкам и индикаторам, и тестировал свои алгоритмы. Вы не поверите! Работало! Выставлялись заявки, логировались сделки, ставились метки входа и выхода на графике! Но… Протестировать можно было не глубже чем на неделю, и тестирование стратегии за один торговый день на одних параметрах занимало 10-15 минут. И таймфрейм нельзя было сделать меньше минуты, и стратегии выполнялись по очереди, а не параллельно, если их было много, то до последней выполнение могло не дойти. Все сыпалось на глазах, ничего не хотело работать так как я хотел…
Я зашел в тупик. Понял, что зря потратил время и ничего у меня с моими алгоритмами не получается. Потом я узнал, что тот самый знакомый слил всю свою прибыль на паре неудачных сделок (хоть как-то приподняло настроение). Дурацкий трейдинг!..

Как я решил эти проблемы благодаря парням из S# и их платформе для алготрейдинга!

С чего начать алготорговлю

В итоге я полностью разочаровался в QPILE, не хотел извращаться с Excel и собственно не знал, что мне делать дальше. В общем, решил пока приостановить все работы пока не соберусь с собственными мыслями. Но идея о торговле меня не оставляла, люди же как-то зарабатывают на этом хорошие деньги?
В интернете наткнулся на S#, посмотрел, почитал и пришел к выводу, что мне нужно двигаться в этом направлении. Русскоязычная платформа, специально заточенная под алготрейдинг, есть обучение, форум, техподдержка. После головной боли от QPILE напрочь отмел все остальные скриптовые языки и криворукие оболочки. Только низкоуровневый код, только тру алготрейдинг!
Но вот незадача… Я c QPILE еле совладал, а в С# вообще полный 0. Да, и цена на обучение кусается. Решил сначала немного подготовиться, купил Герберта Шилдта «Полное руководство C# 4.0» и почитывал на работе, когда выдавалось свободное время. Мой мозг разрывался на маленькие кусочки, полиморфизм, инкапсуляция, наследование… Пару раз бросал с мыслью: «Зачем я во все это ввязался!».

Но через месяц заметил, что стал более-менее разбираться в элементарных вещах. Шилдт молодец! Не зря считается одним из лучших писателей книг по обучению программированию. Рекомендую!
Начав в общих чертах разбираться в логике построения программ и поняв, что это все можно читать до бесконечности, и пора уже изучать применительно к алготорговле, купил обучающие курсы S#.

Сначала прошел курс C#, если честно он был тяжелый. Насколько я знаю, они сейчас его переделали и выпустили новые более адекватные и понятные уроки. Разобрался с Visual Studio. И начал потихоньку изучать примеры из уроков. Собственно первые буковки и циферки кода я начал писать с этих примеров. Потому что если еще с Шилдта примеры пробовать писать так это точно на все про все одной жизни не хватит.
Сначала все шло очень тяжело, нехватка знаний в C# и специфика работы API S# давали о себе знать. Но постепенно, при возникновении проблем, я все реже и реже стал обращался в техподдержку, и научился решать задачи самостоятельно. Отельное спасибо Бухарину Ивану из техподдержки S# за помощь в изучении!
Так что все реально, нужно идти от простого к сложному и все получится!

А теперь перейдем непосредственно к сути статьи. Что нам необходимо для алготорговли? Как вообще все это происходит? Какие модули и в какой очередности создавать?
Оговорюсь сразу, в своих статьях я буду затрагивать чисто технические моменты алготорговли, супер профитных стратегий и граалей не будет. Ну, может если только в более поздних статьях.
Ниже представлена общая комплексная схема работы моих приложений для анализа, тестирования и оптимизации стратегий:

"АНАЛИЗАТОР" - приложение с графическим интерфейсом WPF и графиками Chart для визуализации и анализа стратегий, проверки на работоспособность стратегий.
"ОПТИМИЗАТОР" - консольное "производительное" приложение для тестирования стратегий.
«РОБОТ» – непосредственно торговый робот в который передается уже готовая стратегия для торговли на Бирже.
«Исторические данные» – хранилище исторических данных.
«Хранилище стратегий» – хранилище результатов тестирования «Оптимизатора» и «Анализатора», готовых стратегий и других параметров.

Исторические данные

Алготрейдинг без бэктестинга не алготрейдинг! Прежде чем запускать алгоритм в работу его нужно проверить, протестировать. В этом огромное преимущество алгоритмической торговли!
Что нужно для тестирования? Это, конечно, исторические данные. В S# есть готовое решение S#.Data. С ее помощью закачал с сайта Финама исторические данные в бинарном формате. Сейчас у меня в хранилище исторических данных лежит более 400 тысяч файлов по разным инструментам, в каждом файле хранится информация о тысячах сделок. И все это занимает не более 10-11Гб на жестком диске.
Исторические данные заимели.
Теперь нам нужно их как-то визуализировать, научиться строить по ним свечные графики разных таймфреймов, индикаторы, выводить сделки на график и т.д.
Также нам нужно научиться тестировать стратегии, сохранять результаты тестирования и находить самую оптимальную стратегию.
Обо всем этом и многом другом вы сможете прочитать в моих следующих статьях)

Всем восходящего тренда! С уважением, Bond.

Научиться алготрейдингу быстро

Приглашаем вас в чат алготрейдеров

2013-12-06T13:21:27Z

Мы создали чат алготрейдеров!

Чат открыт для всех желающих. Подробнее, как подключиться.

Ждем вас в онлайне!

Мы обновили каркас

2013-11-27T12:01:59Z

Дорогие коллеги. Спешу поделиться с вами интересной новостью.
S#.Shell претерпел значительные имения. Узнать о новинках каркасы, а также, о работе с ним, вы можете из данного руководства. Новая версия уже находится на нашем сервере и доступна всем нашим ученикам. Основной фишкой данной версии является обновление S#.API идущей в комплект с каркасом.

Все дружно благодарим камрада Kazai Mazai. За проделанную титаническую работу.

Теперь Вы можете оплатить наши услуги через Интернет

2013-11-20T14:31:17Z

Обучение от S# стало ещё доступнее. Теперь Вы можете оплатить наши услуги через Интернет, не выходя из дома. Вам доступен огромный выбор способов оплаты.

Наши услуги

EduLive - от 3 900
Курсы S# - от 25 900
Курсы Wealth-Lab - от 23 900
Корпоративная лицензия - от 95 тыс.р.
Корпоративное обучение - от 150 тыс.р.

Способы оплаты

банковские карты
электронные деньги QIWI кошелек, Яндекс.Деньги, Webmoney, Деньги@Mail.ru
оплата через интернет-банкинг
оплата с баланса мобильного телефона
и множество других способов оплаты

Работа с TFS и EduLive

2013-11-18T14:13:32Z

Введение в работу с Microsoft Team Foundation Server

Темы урока:
1. Краткий обзор возможностей TFS
2. Преимушества TFS как системы версионного контроля кода
3. Начало работы с TFS репозиториями S# Education
4. Загрузка проектов, работа с зависимостями
5. Добавление нового проекта в TFS
6. Концепция ветвления версий

Описание: в этой лекции дается введение в системы версионного контроля, а также рассказано обо всём что необходимо знать, для работы с сервером TFS и нашим новым сервисом EduLive, показаны примеры работы с EduLive.

Полезные ссылки:

Управление жизненным циклом приложения с помощью Visual Studio и Team Foundation Server
http://msdn.microsoft.co...ibrary/vstudio/fda2bad5(v=vs.110).aspx

Разработка с использованием TFVC
http://msdn.microsoft.co...y/vstudio/ms181382.aspx

Введение в использование TFS c Visual Studio 2010 (EN)
http://blogs.msdn.com/b/...with-tfs-in-vs2010.aspx

Team Foundation Service переименован в Visual Studio Online (EN)
http://www.visualstudio....tudio-online-overview-vs

Хранилище стратегий

2013-11-08T12:45:51Z

Готовые примеры роботов

Вебинар прошёл успешно, в основном рассказывал про новые примеры, как для учеников так и для всех желающих, а также всё что было предоставлено у нас на сервере по обучению. В основном рассматривали новый проект, который мы сделали специально для всех учеников и любых желающих:

А теперь подробнее для тех, кто хочет получить доступ к серверу, где лежат проекты (в том числе и к этому проекту). В основном наш сервер по обучению делится на две части:

StockSharp Lessons - здесь представлены все открытые коды по роботам и проектам принадлежащим видео-урокам. Есть много различных торговых стратегий, кластерных свечек, вообщем все проекты, относящиеся к этим урокам + много дополнительных закомментированных примеров. Бесплатно доступ к нему получают все ученики наших курсов, а также все желающие под услугой EduLive.

StockSharp Public - публичный сервер, куда мы накинули уже не мало всего готового. Более подробный разбор того, что есть сейчас в паблике:

Robots (на скриншоте) - 8 торговых стратегий. Исходные коды 3 самых сложных стратегий, находятся у нас в репозитории Lessons. Все остальные стратегии открыты, так что можете смотреть и изучать. Проект позволяет задавать настройки запускать и останавливать стратегии.
BestBuySell - реальный проект торгового робота на заказ. Что делает? Включается в определенное время, прописанное в xml настройках. Основная задача - изменение позиции по корзине инструментов (прописаны в настройках) с помощью котирования. К примеру при включении у RIZ3 текущая позиция 5, а должна быть 10. Он начинает с прописанными условиями и итерациями отправлять заявки, пока позиция по инструменту не станет правильной. Исходники безотказной стратегии котирования лежат в Lessons.
Analyzer - специальный анализатор стратегий. Более подробно.
MarketDepthAnalyzer - подгружает историю стаканов и выводит соответствующие индикаторы на график. Более подробно.
Data - сохраненные данные с помощью S#.Data. Сейчас на сервере бесплатно лежит 1 месяц Ордер Лога по 3 инструментам. Берите и изучайте, кстати ордерлог - это платная услуга от МБ.
NN_Developing - нейросеть. Простой проект для исследований и обучения нейросети.

Как скачать все текущие проекты?

Подключиться к нашему TFS (в любом случае надо будет сделать)
Скачать через Visual Studio (ссылка в первом пункте)
Скачать архивом всё что есть в StockSharp.Public (для ленивых)
Скачать архивом всё что есть StockSharp.Lessons (для ленивых)

P.S. В связи с большим объёмом вложений, лучше качать их напрямую из Visual Studio

использование PCA в торговле парами инструментов

2013-11-05T10:42:57Z

Всем доброго времени суток...сейчас занят в проекте создания нового алгоритма для маркет-мейкера, по этому почти нет времени для нормальных «исследований и тестирования» нашего рынка. Поэтому пришла идея выкладывать обзор разных статей из мира Quantitative Analysis, HFT, трейдинга и всего, что относится к нашему рынку. Сразу прошу извинить за вольность и не точность перевода. Основная цель просто передать суть, для любопытных – всегда есть ссылка на оригинал.

Начну с любопытной статьи про использование PCА.

Введение:
PCA - Метод главных компонент (англ. Principal component analysis, PCA) очень-очень популярный метод преобразования исходных признаков в анализе данных. Его идея состоит в следующем пусть у нас есть N признаков, факторов или переменных (назовем их X1,X2,X3,X4…).
Представим наши X (их может быть ооочень много) в виде матрицы. Применяя к этой матрице SVD-разложение, мы можем перейти к новым переменным, которые будут обладать рядом замечательным свойств:

первое - наши новые признаки (назовем их главными компонентами и будем обозначать Y) будут некоррелированы (в смысле линейной корреляции.
второе – дисперсия главных компонент равна собственному числу ковариационной матрицы, а собственные числа у нас обладают упорядоченностью. Итого: DY1>DY2>DY3….

Лучше всего это проиллюстрировать картинкой. Рассмотрим 2х мерное облако данных в коррдинатах X1 X2, которые в свою очередь обладают ненулевым коэффициентом корреляции:
После преобразования получаем Новые координаты Y1 Y2, которые не будут коррелированы между собой, и в тоже время первая компонента будет иметь наибольший вклад в общую дисперсию данных (красная стрелочка), а на вторую (черная полоска) придется остаток дисперсии.

Есть сотни случаев, где такой метод может понадобиться в анализе данных. Например вы хотите анализировать 100500 признаков и их влияние на какую-то величину Z. Применяя PCA вы получаете некоррелированные признаки (что уже хорошо в смысле оценок коэффициентов регрессии или что вам там надо) и упорядоченные признаки, что дает вам возможность отбросить хвост из признаков и использовать только 10 первых компонент с наибольшим вкладом в дисперсию (такой метод называется отбеливание данных). Есть и другие примеры.

Причем здесь рынок, спросите Вы?

Классическая торговля парами (спредами) обычно требует некоррелированности спреда с рынком..То есть нулевой корреляции между приращением спреда и приращением рынка (естественно нам также нужна ограниченность значений нашего спреда в каком-то смысле.

Обычно когда мы хотим начать торговать парой инструментов мы выбираем 2 сильно коррелированных актива, и используя «бета коэффициенты инструментов» образуем нейтральную к рынку пару.
В случае конструкции синтетического инструмента состоящего из нескольких «ног» такой подход приносит трудности, и тут мы приходим к методу главных компонент: Используя PCA мы трансформируем наши данные при этом упорядоченность дисперсии дает следующий результат:
1-ая компонента, обладающая наибольшей волатильностью, зачастую очень сильно коррелирует с рынком. 2ая компонента, с одной стороны обладает наибольшей дисперсией после вычета из данных первой компоненты, с другой является нейтральной по отношению к первой. Соответственно портфель состоящий из компоненты Y2=a1X1+….anXn мы и будем рассматривать для нашей торговли.

На этой картинке даны 4 инструмента (X1..X4 в нашей терминологии) и 4 главных компоненты после преобразования. Налицо убывание волатильности от 1ой компоненты к 4ой.

Если взглянуть на оставшиеся компоненты после вычета первой, то можно увидеть что компоненты вполне торгуемы на той истории на которой проводилось исследование:

оригинал: http://matlab-trading.blogspot....-for-spread-trading.html

P.S. данный подход относится к классической торговле акциями, куда не стоит относить торговлю ставкой или связанами инструментами.
P.P.S. недавно всвязи с переходом на Т2 рассматривал под микроскопом движение ставки в наших замечательных парах Акция-Фьючерс..
на лицо было заметна корреляция между движением нструмента (внутридневной масштаб) и микродвижением ставки.
Пример:

никто не строил стратегий на внутридневной торговли ставкой (базисом) в сбербанке,лукойле,газе?[glare]

на след. Неделе раскажу про популярный подход VPIN и OrderFlow для анализа микро движений рынка.

Вебинар, разбираем стратегии S#

2013-10-30T14:48:21Z

Приглашаю всех на вебинар!

6 ноября 19:00. Время выбрано коллективно!

О чем будет вебинар (смотреть видео):

Хранилище стратегий. Будем разбираться с примерами стратегий от обучения.
Поработаем с TFS.

Вебинар обещает быть дружелюбным, будем использовать скорее всего Hangouts(чаты, запись и т.д), где каждый из участвующих сможет что-нибудь добавить от себя голосом[biggrin]

Чтобы записаться на вебинар, пожалуйста оставьте свою заявку здесь в группе "Вебинар", чтобы мы уведомили Вас об окончательной дате и сделали рассылку за час до вебинара.

S# на конференции!

2013-10-23T15:28:57Z

S# выступит на конференции Инновационный взгляд на финансовые рынки, которая будет проходить совместно с online trading expo 1 ноября. Ждем всех желающих!

Обновление. Как это было:

Наш ученик - Alexey Bond [biggrin]

Конференция:

Прочие фотки/движуха с форекс экспо:

Стенд МБ [wink]

Если бы я хотел открыть счёт форекс, наверно я бы пошёл к ним!

"Ковбойша стайл" детектид

В целом было неплохо, тем более, что мы и так не часто выбираемся в оффлайн, но слушателей было маловато. Думаю, что в следующий раз будет поболее..

Один день из жизни Ri. Или введение в микроструктурный анализ

2013-10-10T11:26:28Z

Для большинства трейдеров свечные графики различного таймфрейма это и есть рынок, там скрывается все - и тренд и боковик и хитрый маркет мэйкер с глобальным кукловодом. Начнем с простых фактов, за одну сессию 2012.11.07 на фьючерсе Ri ядро биржи обработало 10 449 043 транзакций или примерно 12 000 транзакций в минуту, одна свечка самого "высоко частотного" минутного таймфрема скрывает за собой огромное количество более элементарных действий. Поэтому мы спустимся на самый низкий уровень того, что происходит на бирже и начнем оттуда.

Можно долго рассказывать про то как устроена биржа, про промежуточные сервера и другие части "транспортной" инфракстуры, какие задержки они вносят при путешествии заявки, но в конце пути любая заявка попадает в ядро биржие, где непосредственно происходит то ради чего все собственно и затевалось - сведение(matching). И на этом уровне, в смысле формата данных и производимых элементарных действий, FORTS мало чем отличается от той же CME или любой другой современной биржи. Входной поток состоит из заявко двух типов, на вставку(insert) и отмену(cancel). Бьете вы по рынку или выставляете заявку в глубь стакана - для ядра нет разницы, все это в конечном итоге преобразуется в заявку на вставку, которой присваивается свой уникальный идентификатор. Другой тип заявок - на отмену, позволяет убрать часть(или всю) предшествующей заявки на вставку. Ядро принимая на входе поток состоящий из заявок на вставку и отмену, создает поток сведенных сделок, каждая сведенная сделка связана с двумя заявками участвующих в сделке. Исходя из полученного потока, затем строятся стаканы, и тиковые данные(сведенные сделки), которые рассылаются пользователям(к примеру на RTS срезы стаканов строятся с периодичностью 30 миллисекунд), и лишь затем тики преобразуются в красивые свечки, отображаемые на экране. Поток данных содержащий заявки на вставку, отмену и сведенные сделки, на FORTS называется Full Order Log.

Рассмотрим более подробно формат данных Full Order Log. Возьмем для примера маленький, кусочек:

Код

 QUOTE  TYPE    TIMESTAMP      SESSION    ORDER_ID  STATUS ACTION PRICE  VOL  DEAL_ID DEAL_PRICE
['riz2',  1, 1352315357375000, 20121107, 9368447574, 101401, 1, 141870.0, 1,,]
['riz2', -1, 1352315357380000, 20121107, 9368447558, 100001, 0, 141900.0, 3,,]
['riz2', -1, 1352315357380000, 20121107, 9368447580, 101401, 1, 141890.0, 3,,]
['riz2', -1, 1352315357381000, 20121107, 9368447559, 100001, 0, 141890.0, 2,,]
['riz2', -1, 1352315357381000, 20121107, 9368447581, 101401, 1, 141880.0, 2,,]
['riz2',  1, 1352315357381000, 20121107, 9368447507, 100001, 0, 141840.0, 4,,]
['riz2',  1, 1352315357381000, 20121107, 9368447582, 101401, 1, 141860.0, 4,,]
['riz2',  1, 1352315357384000, 20121107, 9368447522, 100001, 0, 141850.0, 8,,]
['riz2',  1, 1352315357384000, 20121107, 9368447586, 101401, 1, 141860.0, 8,,] <- A
['riz2',  1, 1352315357386000, 20121107, 9368447255, 201401, 0, 141850.0, 2,,]
           .... 
['riz2', 1, 1352315358149000, 20121107, 9368447396,      1, 2, 141860.0, 2, 657525271, 141860.0]
['riz2', 1, 1352315358149000, 20121107, 9368447454,      1, 2, 141860.0, 2, 657525272, 141860.0]
['riz2', 1, 1352315358149000, 20121107, 9368447586,      1, 2, 141860.0, 1, 657525273, 141860.0] <- B
['riz2',-1, 1352315358149000, 20121107, 9368447766,    402, 1, 134840.0, 5, ,,] <- C
['riz2',-1, 1352315358149000, 20121107, 9368447766,      2, 2, 134840.0, 2, 657525271, 141860.0]
['riz2',-1, 1352315358149000, 20121107, 9368447766,      2, 2, 134840.0, 2, 657525272, 141860.0]
['riz2',-1, 1352315358149000, 20121107, 9368447766,   1002, 2, 134840.0, 1, 657525273, 141860.0] <- D
['riz2', 1, 1352315358189000, 20121107, 9368447761, 100001, 0, 141840.0, 4, ,,]
['riz2', 1, 1352315358189000, 20121107, 9368447770, 101401, 1, 141860.0, 4, ,,]

QUOTE - содержит название инструмента, TYPE - направление заявки (+1 - bid, -1 - ask), TIMESTAMP - временная метка в микросекундах, SESSION - идентификатор сессии, ORDER_ID - идентификатор заявки, STATUS - флаги заявки, ACTION - тип заявки (0 - отмена, 1 - вставка, 2 - сведенная сделка), PRICE - цена, VOL - объем заявки, DEAL_ID - идентификатор сделки, DEAL_PRICE - цена сделки.
На примере выше показан цикл жизни заявки, вставка заявки c идентификатором 9368447586 в поток (A), вставка встречно заявки (C), первая сторона сведенной сделки (B) и вторая сторона (D).

Теперь, немного разобравшись в формате данных, можно приступить к статистическому анализу. Всего за сессию было произведено 10 449 043 транзакций, из них 4 990 732 на вставку, и 4 362 829 на отмену, а сведено сделок - 1 095 482. То есть "в среднем по больнице" на каждую сделку приходилось 4 перестановки. Следующий вопрос, который возникает - каким образом данная активность распределена по объемам. Для этого посчитаем следующие факторы - количестов вставок и отмен для заданного объема, отношение отмененых заявок к выставленным, чем меньше это соотношение тем больше количество сделок сведено на каждую вставленную заявку, тогда умножив соотношение на количество вставленных заявок, мы получим количество проторгованных заявок для данного объема заявки. В результате получим следующую табличку, отсортированную по столбцу проторгованного объема(для анализа использовался python + scipy):

Код

   cancel_count  cancel_volume  insert_count  insert_volume     ratio    trade_volume  
        1176407              1       1452121              1  0.810130      275714  
         272998              5        327113              5  0.834568      270575  
        1257775              2       1369794              2  0.918222      224038  
          39698             10         55877             10  0.710453      161790  
         432361              4        470513              4  0.918914      152608  
         668395              3        718625              3  0.930103      150690  
          15002             20         20662             20  0.726067      113200  
           1455             50          3608             50  0.403271      107650  
            453            100          1404            100  0.322650       95100  
         201295              8        212359              8  0.947900       88512  
          21651             15         27185             15  0.796432       83010   
          99168              6        110608              6  0.896572       68640  
           1989             30          4107             30  0.484295       63540  
           4926             25          7438             25  0.662275       62800  
           1025            200          1310            200  0.782443       57000  
          37216             12         41715             12  0.892149       53988  
             68            500           172            500  0.395349       52000  
          17857              7         25274              7  0.706536       51919

cancel_volume, insert_volume - объем в заявке на вставку или отмену, cancel_count - количество отмен, insert_count - количество вставок, ratio - соотношение, trade_volume - оценка проторгованного объема в контрактах.

Как видно, объемы заявок на вставку, можно условно разделить на две группы, small-volume traders с диапазоном объема 1-10 - высокочастотные трейдеры и скальперы, и всех остальных, как видно во второй группе, значения проторгованного объема кучкуются вокруг "психологических" уровней заявок - 15, 20, 25, 30, 50, 100, 200, 500.

код на питоне
Продолжение следует...

Анализируем стаканы из плазы

2013-10-09T18:40:31Z

Анализируем стаканы из Plaza!
несложный проект по выводу стаканам на чарты S#

Открываю серию простых ботов/проектов (S#.Api). Простые и сложные версии будут лежать у нас на сервере по обучению. Как это было:

Собрались с алго-пацанами, стали обсуждать какие темы "тяжело" проходят у стокшарповцев. В итоге был реализован такой простой проект:

Подгружает хранилище стаканов, закаченное из плазы, с помощью гидры
Выводит простые индикаторы с расчетом по стаканам на чарт
Можно поменять формулу и сделать свой аналайзер стакана.

Проект простенький, данные сразу лежат в готовом варианте:

Скачать исходники можно через наше хранилище на TFS (бесплатно), подключиться к публичному серверу! Скачать exe.

Скоро на всех экранах страны. Исполнитель стратегий для Wealth-Lab.

2013-10-08T14:50:18Z

Как вы все наверное знаете Wealth-Lab это отличная штука для создания и тестирования торговых роботов. Он позволяет визуализировать, протестировать и оптимизировать вашу стратегию. Но к сожалению, Wealth-Lab очень плохо дружит с российским рынком. Мы конечно же решили эту проблему нашим адаптером S#.Wealth-Lab но перед вами встаёт другая проблема, это то что для запуска адаптера необходимо лицензионная версия Wealth-Lab которая к слову сказать стоит 800$ плюс 150$ за продление лицензии на следующий год, а это порой непозволительная роскош для российского человека. Плюс при проторговке системы мы столкнёмся с тем что Wealth-Lab не позволяет запускать тиковые и секундные стратегии через свой Strategy Monitor, а также в велсе отсутствует стакан. Мы решили все эти проблемы программой Wealth Script Executer.

Что же из себя представляет Wealth Script Executer? Wealth Script Executer это отдельная программа которая позволяет запускать велсовские стратегии и при этом подключаться к большинству российских и зарубежных площадок без переписывания роботов. Плюс у вас будет возможность работать с любым типом графиков которые поддерживает S# и пользоваться стаканом, отслеживать статистику по стратегиям и запускать их по расписанию, что полностью исключит человеческий фактор из торговли!

И так как происходит процесс работы с Wealth Script Executer. Вы берёте Wealth Lab создаёте и оптимизируете в нём стратегию можно использовать даже Wealth Lab 5.6 сохраняете стратегию стандартными средствами и отрываете её в Wealth Script Executer настраиваете параметры и запускаете в торговлю и наслаждаетесь результатом.

Так же вы сможете использую Visual studio отнаследовавшись от специальной библиотеки создать и скомпилировать стратегию, а потом просто открыть её в Wealth Script Executer.

Сейчас Wealth Script Executer находится в состоянии закрытого бета тестирования и совсем скоро будет доступен нашим подписчикам. Ждите анонса.

Ещё один способ определения пробоя уровня

2013-10-02T11:05:10Z

Доброго времени суток. Я зная, что в предыдущей статье я обещал развить тему методов определения отскока от уровня, но я решил немного дополнить предыдущую статью, добавив ещё один метод определения пробоя уровня.

Суть данного метода заключается в том, что мы дожидаемся пока цена начнёт консолидироваться вокруг нашего уровня. Тестируя его в разные стороны. После того как цена некоторое время, а точнее некоторое количество баров тестирует наш уровень, мы откладываем от нашего уровня канал на заданный процент и только после того как цена пробьет наш канал мы входим в позицию. Суть определения того что цена тестирует наш уровень заключается в том что предыдущие свечки должны полностью оставаться в канале.

В наглядном виде всё это выглядит примерно так.

Входим в длинную позицию

Входим в короткую позицию

Результаты

Вы можете сравнить результаты данного метода с результатами методов из прошлой статьи и убедиться, что данный метод намного лучше определяет точки входа чем предыдущие.
Конечно такую торговую систему не в коем случае не стоит использовать на реальной торговли, она годится лишь для тестирования различных методик определения пробоя и отбоя от уровня. Так как если кто не помнит мы строим уровень на основе вчерашней цены закрытия.

Думаю, результаты будут намного лучше, если мы будем использовать нормальный алгоритм определения уровней. К примеру, камарилья или уровни мюррея. Также можно попробовать строить канал на основе волатильности что позволит ему более динамически подстраиваться под текущее состояние рынка. Исходные коды данного метода, как и всегда лежат у нас на сервере. В свою очередь жду от вас предложений по улучшению данной методики.

HFT изнутри

2013-09-25T10:21:25Z

Очень интересное видео про реально бота HFT, про опыт в алготрейдинге.
Смотрим, обсуждаем [biggrin]