Источник данных TrueFX

Продукты Стоимость Обучение Магазин Фриланс Разработка Сообщество
Все Мои Новости Статьи Поиск Пользователи ТехПоддержка

Источник данных TrueFX
Atom Ответить
22.03.2014


Небольшой баг с автопоиском инструментов в Гидре 4.2.2.21. Для данного источника все валютные пары после поиска имеют шаг цены 0,0001. Соответственно если не исправить его для не JPY пар на 0,00001, то качаться они не будут и появятся ошибки.
Для пар с валютой котировки JPY точность 0,0001 избыточна. Правильно - 0,001. Впрочем, возможно, это не проблема.

Теги:


Спасибо:




46 Ответов
1 2  >
Architectus

Фотография
Дата: 26.04.2014
Ответить


Обновился до версии S# Data 4.2.3.0.

После старта закачки, данные не загружаются. Вместо этого появляются ошибки раз в 7-10 минут.

Code

15:03:43.738|       |TrueFX    |Инициализируется.
15:03:43.754|       |TrueFX    |Перешел в состояние Starting.
15:03:43.755|       |TrueFX    |Перешел в состояние Started.
15:12:28.567|Error  |TrueFX    |Ionic.Zip.BadReadException: Could not read block - no data!  (position 0x0294A1ED)
   at Ionic.Zip.SharedUtilities._ReadFourBytes(Stream s, String message)
   at Ionic.Zip.ZipEntry.HandleUnexpectedDataDescriptor(ZipEntry entry)
   at Ionic.Zip.ZipEntry.ReadEntry(ZipContainer zc, Boolean first)
   at Ionic.Zip.ZipFile.ReadIntoInstance_Orig(ZipFile zf)
   at Ionic.Zip.ZipFile.ReadIntoInstance(ZipFile zf)
   at Ionic.Zip.ZipFile.Read(Byte[] buffer, TextWriter statusMessageWriter, Encoding encoding)
   at StockSharp.Algo.History.Forex.TrueFXSource.#=qmWdy_jATEBUa49BvNpa5EdYHjduRa5MVBivZi8A9jE0=.#=qwP6BMvI3rwdKiXw7iN5xskY6ek5VztJ3XP_X4QXznXQ=()
   at Ecng.Common.Converter.DoInCulture[T](CultureInfo cultureInfo, Func`1 func)
   at StockSharp.Algo.History.Forex.TrueFXSource.LoadTicks(Security security, DateTime date)
   at StockSharp.Hydra.TrueFX.TrueFXTask.OnProcess()
   at StockSharp.Hydra.Core.BaseHydraTask.<Start>b__0()
15:21:16.679|Error  |TrueFX    |Ionic.Zip.BadReadException: Could not read block - no data!  (position 0x0294A1ED)
   at Ionic.Zip.SharedUtilities._ReadFourBytes(Stream s, String message)
   at Ionic.Zip.ZipEntry.HandleUnexpectedDataDescriptor(ZipEntry entry)
   at Ionic.Zip.ZipEntry.ReadEntry(ZipContainer zc, Boolean first)
   at Ionic.Zip.ZipFile.ReadIntoInstance_Orig(ZipFile zf)
   at Ionic.Zip.ZipFile.ReadIntoInstance(ZipFile zf)
   at Ionic.Zip.ZipFile.Read(Byte[] buffer, TextWriter statusMessageWriter, Encoding encoding)
   at StockSharp.Algo.History.Forex.TrueFXSource.#=qmWdy_jATEBUa49BvNpa5EdYHjduRa5MVBivZi8A9jE0=.#=qwP6BMvI3rwdKiXw7iN5xskY6ek5VztJ3XP_X4QXznXQ=()
   at Ecng.Common.Converter.DoInCulture[T](CultureInfo cultureInfo, Func`1 func)
   at StockSharp.Algo.History.Forex.TrueFXSource.LoadTicks(Security security, DateTime date)
   at StockSharp.Hydra.TrueFX.TrueFXTask.OnProcess()
   at StockSharp.Hydra.Core.BaseHydraTask.<Start>b__0()
Автор топика
Спасибо:
Mikhail Sukhov

Фотография
Дата: 27.04.2014
Ответить


Architectus Go to
Обновился до версии S# Data 4.2.3.0.

После старта закачки, данные не загружаются. Вместо этого появляются ошибки раз в 7-10 минут.


Не удается найти проблему. Видимо это какой-то единичный инструмент. Можете попробовать локализовать его? Надо попеременно менять с ALL на какой-то конкретный инструмент. Или посмотреть по датам, какой инструмент не качается.
Спасибо:
Architectus

Фотография
Дата: 27.04.2014
Ответить


У меня по парам EURUSD и GBPUSD уже закачаны данные с 2010 г. по февраль 2014. Соответственно из-за них и была проблема. Запустил закачку по другой паре, она успешно стартовала с 2010 г. Если в источнике еще не появились новые данные (за март), то ошибка только в непонимании Гидрой конца закачки по инструменту.
Автор топика
Спасибо:
Mikhail Sukhov

Фотография
Дата: 28.04.2014
Ответить


Не уверен что понял. Если данные пары не качаются то откуда данные?
Спасибо:
Architectus

Фотография
Дата: 28.04.2014
Ответить


Качать данные с TrueFX можно. По парам EURUSD и GBPUSD я качал данные ранее. Тогда все закачалось. Теперь соответственно ошибка (при том что данные по 28.02.2014 уже есть). Я попробовал другую пару (по которой не было данных) - по ней все качается. Если в TrueFX данные есть только по февраль 2014, то ошибка связана с непониманием Гидры, что качать по тому или иному инструменту больше нечего. И она вместо перехода к следующему инструменту кидает эту ошибку раз за разом.
Автор топика
Спасибо:
Architectus

Фотография
Дата: 04.05.2014
Ответить


Проверил www.truefx.com, данные и за март, и за апрель уже есть.

А дело похоже в следующем. У меня в TemporaryFiles лежал файл EUR_USD_201403.zip c 0 размером. Об него собственно Гидра и спотыкалась, пытаясь загрузить из него данные за март 2014. Я его удалил и все наладилось. Также стало ясно, откуда он взялся. После загрузки за март и за апрель данных, в TemporaryFiles появился файл EUR_USD_201405.zip с 0 размером. Т.е. после загрузки данных за предыдущий месяц появляется битый архив за месяц текущий. После старта источника этот битый архив каждый раз появляется снова (если его удалить) (сейчас за май 2014). А так конец загрузки проходит корректно.

Также у меня перестал работать поиск инструментов в данном источнике.
Автор топика
Спасибо:
Architectus

Фотография
Дата: 06.05.2014
Ответить


Обновился до S# Data 4.2.3.3.

Поиск инструментов заработал.

По-поводу ошибки "Ionic.Zip.BadReadException: Could not read block - no data!" могу сказать следующее. Она возникает при попытке чтения битого файла архива. Для пользователя тут 2 варианта - найти и удалить соответствующий архив из TemporaryFiles или зачистить все в TemporaryFiles. Вариант для разработчиков - перекачивать нужный архив при возникновении такой ошибки. Помимо архива за последний месяц (когда данных в источнике еще нет) с нулевым размером, бывает и что какой-либо архив скачивается не полностью.
Автор топика
Спасибо:
Architectus

Фотография
Дата: 10.06.2014
Ответить


Обновился до S# Data 4.2.3.9.

Были закачаны данные по EURUSD по апрель 2014. Хотел докачать за май. После старта Гидры в TemporaryFiles появились пустые архивы за каждый месяц периода 01.2010-06.2014. После чего произошло окончание итерации.
Автор топика
Спасибо:
devruss

Фотография
Дата: 10.06.2014
Ответить


Попробовал закачать данные с TrueFX - во-первых, нигде не спрашивает пароль на аккаунт, это так надо? А во-вторых данные в импорте помечены как D (дневные?) и они вообще не скачиваются (поставил скачивать с начала 2014 года)

UPDATE: В /TemproraryFiles/ все файлы размером в 0 байт.
Спасибо:
devruss

Фотография
Дата: 12.06.2014
Ответить


Несмотря на новый билд, все равно ничего не скачивается. Файлы с 0 размером пропали, теперь вообще нет никаких файлов.
В логах есть запись "Старт загруки сделок за xx.xx.xxxx для xx/xx@TRUEFX", но никакой информации не скачивается, прошло 3 часа, никаких данных вообще не скачалось
Спасибо:
Mikhail Sukhov

Фотография
Дата: 12.06.2014
Ответить


devruss Go to
никаких данных вообще не скачалось


Может скачивать нечего.
Спасибо:
Architectus

Фотография
Дата: 12.06.2014
Ответить


Обновился до S# Data 4.2.3.10

После запуска источника в логе появились следующие строки:

23:22:12.510| |TrueFX |Старт загрузки сделок за 01.01.2010 для EUR/USD@TRUEFX.
23:22:13.680| |TrueFX |Старт загрузки сделок за 02.01.2010 для EUR/USD@TRUEFX.
23:22:14.162| |TrueFX |Старт загрузки сделок за 09.01.2010 для EUR/USD@TRUEFX.
23:22:14.644| |TrueFX |Старт загрузки сделок за 16.01.2010 для EUR/USD@TRUEFX.
23:22:15.119| |TrueFX |Старт загрузки сделок за 23.01.2010 для EUR/USD@TRUEFX.
...

И так за каждый день от начала периода скачивания до сегодня.
При этом TemporaryFiles оставался пустым, и никаких новых данных не закачалось. У меня данные по апрель закачаны. Сейчас уже на http://truefx.com/ выложены данные за май. Они должны бы докачаться, но этого не происходит.
Ну а файлов с размером 0 действительно нет.
Автор топика
Спасибо:
Mikhail Sukhov

Фотография
Дата: 12.06.2014
Ответить


Architectus Go to
выложены данные за май.


В логах есть сообщение про май?
Спасибо:
devruss

Фотография
Дата: 13.06.2014
Ответить


Architectus Go to
Обновился до S# Data 4.2.3.10

После запуска источника в логе появились следующие строки:

23:22:12.510| |TrueFX |Старт загрузки сделок за 01.01.2010 для EUR/USD@TRUEFX.
23:22:13.680| |TrueFX |Старт загрузки сделок за 02.01.2010 для EUR/USD@TRUEFX.
23:22:14.162| |TrueFX |Старт загрузки сделок за 09.01.2010 для EUR/USD@TRUEFX.
23:22:14.644| |TrueFX |Старт загрузки сделок за 16.01.2010 для EUR/USD@TRUEFX.
23:22:15.119| |TrueFX |Старт загрузки сделок за 23.01.2010 для EUR/USD@TRUEFX.
...


абсолютно аналогичная ситуация.
Я поставил закачку только 2014 года, сообщение о старте есть на каждый торговый день, а данных нет
Спасибо:
Architectus

Фотография
Дата: 13.06.2014
Ответить


Михаил Сухов Go to
Architectus Go to
выложены данные за май.


В логах есть сообщение про май?


Да

Code

23:24:52.878|       |TrueFX    |Старт загрузки сделок за 01.05.2014 для EUR/USD@TRUEFX.
23:24:53.346|       |TrueFX    |Старт загрузки сделок за 02.05.2014 для EUR/USD@TRUEFX.
23:24:53.814|       |TrueFX    |Старт загрузки сделок за 03.05.2014 для EUR/USD@TRUEFX.
23:24:54.285|       |TrueFX    |Старт загрузки сделок за 04.05.2014 для EUR/USD@TRUEFX.
23:24:55.027|       |TrueFX    |Старт загрузки сделок за 05.05.2014 для EUR/USD@TRUEFX.
23:24:55.499|       |TrueFX    |Старт загрузки сделок за 06.05.2014 для EUR/USD@TRUEFX.
23:24:55.966|       |TrueFX    |Старт загрузки сделок за 07.05.2014 для EUR/USD@TRUEFX.
23:24:56.432|       |TrueFX    |Старт загрузки сделок за 08.05.2014 для EUR/USD@TRUEFX.
23:24:56.899|       |TrueFX    |Старт загрузки сделок за 09.05.2014 для EUR/USD@TRUEFX.
23:24:57.365|       |TrueFX    |Старт загрузки сделок за 10.05.2014 для EUR/USD@TRUEFX.
23:24:57.825|       |TrueFX    |Старт загрузки сделок за 11.05.2014 для EUR/USD@TRUEFX.
23:24:58.294|       |TrueFX    |Старт загрузки сделок за 12.05.2014 для EUR/USD@TRUEFX.
23:24:58.766|       |TrueFX    |Старт загрузки сделок за 13.05.2014 для EUR/USD@TRUEFX.
23:24:59.234|       |TrueFX    |Старт загрузки сделок за 14.05.2014 для EUR/USD@TRUEFX.
23:24:59.699|       |TrueFX    |Старт загрузки сделок за 15.05.2014 для EUR/USD@TRUEFX.
23:25:00.158|       |TrueFX    |Старт загрузки сделок за 16.05.2014 для EUR/USD@TRUEFX.
23:25:00.631|       |TrueFX    |Старт загрузки сделок за 17.05.2014 для EUR/USD@TRUEFX.
23:25:01.115|       |TrueFX    |Старт загрузки сделок за 18.05.2014 для EUR/USD@TRUEFX.
23:25:01.585|       |TrueFX    |Старт загрузки сделок за 19.05.2014 для EUR/USD@TRUEFX.
23:25:02.051|       |TrueFX    |Старт загрузки сделок за 20.05.2014 для EUR/USD@TRUEFX.
23:25:02.520|       |TrueFX    |Старт загрузки сделок за 21.05.2014 для EUR/USD@TRUEFX.
23:25:02.989|       |TrueFX    |Старт загрузки сделок за 22.05.2014 для EUR/USD@TRUEFX.
23:25:03.457|       |TrueFX    |Старт загрузки сделок за 23.05.2014 для EUR/USD@TRUEFX.
23:25:03.925|       |TrueFX    |Старт загрузки сделок за 24.05.2014 для EUR/USD@TRUEFX.
23:25:04.386|       |TrueFX    |Старт загрузки сделок за 25.05.2014 для EUR/USD@TRUEFX.
23:25:04.855|       |TrueFX    |Старт загрузки сделок за 26.05.2014 для EUR/USD@TRUEFX.
23:25:05.318|       |TrueFX    |Старт загрузки сделок за 27.05.2014 для EUR/USD@TRUEFX.
23:25:05.779|       |TrueFX    |Старт загрузки сделок за 28.05.2014 для EUR/USD@TRUEFX.
23:25:06.239|       |TrueFX    |Старт загрузки сделок за 29.05.2014 для EUR/USD@TRUEFX.
23:25:06.582|       |TrueFX    |Старт загрузки сделок за 30.05.2014 для EUR/USD@TRUEFX.
23:25:07.055|       |TrueFX    |Старт загрузки сделок за 31.05.2014 для EUR/USD@TRUEFX.


Других сообщений, о факте загрузки или ошибок, нет
Автор топика
Спасибо:
Mikhail Sukhov

Фотография
Дата: 14.06.2014
Ответить


Architectus Go to
Михаил Сухов Go to
Architectus Go to
выложены данные за май.


В логах есть сообщение про май?


Да

Code

23:24:52.878|       |TrueFX    |Старт загрузки сделок за 01.05.2014 для EUR/USD@TRUEFX.
23:24:53.346|       |TrueFX    |Старт загрузки сделок за 02.05.2014 для EUR/USD@TRUEFX.


Других сообщений, о факте загрузки или ошибок, нет


А вот за эти даты были удалены файлы из TempData? Те, что нулевую длину имеют.
Спасибо:
Architectus

Фотография
Дата: 15.06.2014
Ответить


Михаил Сухов Go to
Architectus Go to
Михаил Сухов Go to
Architectus Go to
выложены данные за май.


В логах есть сообщение про май?


Да

Code

23:24:52.878|       |TrueFX    |Старт загрузки сделок за 01.05.2014 для EUR/USD@TRUEFX.
23:24:53.346|       |TrueFX    |Старт загрузки сделок за 02.05.2014 для EUR/USD@TRUEFX.


Других сообщений, о факте загрузки или ошибок, нет


А вот за эти даты были удалены файлы из TempData? Те, что нулевую длину имеют.


Если речь про TemporaryFiles, то никаких файлов там нет и я не видел, чтобы они там были. Файлы с нулевой длиной появлялись в 4.2.3.9, в 4.2.3.10 не появляются.
Автор топика
Спасибо:
devruss

Фотография
Дата: 15.06.2014
Ответить


Михаил Сухов Go to
Architectus Go to
Михаил Сухов Go to
Architectus Go to
выложены данные за май.


В логах есть сообщение про май?


Да

Code

23:24:52.878|       |TrueFX    |Старт загрузки сделок за 01.05.2014 для EUR/USD@TRUEFX.
23:24:53.346|       |TrueFX    |Старт загрузки сделок за 02.05.2014 для EUR/USD@TRUEFX.


Других сообщений, о факте загрузки или ошибок, нет


А вот за эти даты были удалены файлы из TempData? Те, что нулевую длину имеют.


Пока я руками не удалил все данные из TempData у меня вообще закачка не начиналась
Спасибо:
Mikhail Sukhov

Фотография
Дата: 16.06.2014
Ответить


Architectus Go to

Если речь про TemporaryFiles, то никаких файлов там нет и я не видел, чтобы они там были. Файлы с нулевой длиной появлялись в 4.2.3.9, в 4.2.3.10 не появляются.


А вы уверен что нет файлов? Может быть данные все таки скачались уже ранее? Потому что я вот сейчас проверил - за май закачалось.
Спасибо:
Architectus

Фотография
Дата: 16.06.2014
Ответить


Михаил Сухов Go to
Architectus Go to

Если речь про TemporaryFiles, то никаких файлов там нет и я не видел, чтобы они там были. Файлы с нулевой длиной появлялись в 4.2.3.9, в 4.2.3.10 не появляются.


А вы уверен что нет файлов? Может быть данные все таки скачались уже ранее? Потому что я вот сейчас проверил - за май закачалось.


Вряд ли они могли скачаться ранее. И в указанной папке данных нет.

Для эксперимента попробовал скачать данные по AUDJPY. Ранее данные не скачивал по этой паре. Даже папка не появилась. Никаких данных во временной директории тоже нет.
По данным Process Monitor Hydra.exe делала WriteFile только в логи.
Есть также записи типа ...\HydraData\TemporaryFiles\AUD__JPY_marketdepth_2014_05.zip с типом QueryOpen и результатом NAME NOT FOUND. Т.е. гидра посмотрела есть ли временные файлы, обнаружила что их нет и все.
Автор топика
Спасибо:
Mikhail Sukhov

Фотография
Дата: 16.06.2014
Ответить


Architectus Go to


Инструмент и точная дата.
Спасибо:
Architectus

Фотография
Дата: 16.06.2014
Ответить


Михаил Сухов Go to
Architectus Go to


Инструмент и точная дата.


EURUSD Начальная дата - 2010-01-01. Данные закачаны по 2014-04-30.
GBPUSD Начальная дата - 2014-01-01. Данные закачаны по 2014-02-28.
AUDJPY Начальная дата - 2014-01-01. Данные не закачаны.

Сегодня запускал закачку (отдельно по каждому из инструментов) с версией Гидры 4.2.3.10. В папке TemporaryFiles до и после работы Гидры пусто.
Автор топика
Спасибо:
Mikhail Sukhov

Фотография
Дата: 16.06.2014
Ответить


Architectus Go to


Мне лишь одна дата нужна. Попробуйте выставить 5-ый месяц. Закачивать с мая. По какому-то одному инструменту.
Спасибо:
Architectus

Фотография
Дата: 16.06.2014
Ответить


Михаил Сухов Go to
Architectus Go to


Мне лишь одна дата нужна. Попробуйте выставить 5-ый месяц. Закачивать с мая. По какому-то одному инструменту.


Не совсем понял, что именно нужно. Поставил начальную дату на 2014-05-01. Инструмент AUDJPY. Поведение такое же.
Автор топика
Спасибо:
Mikhail Sukhov

Фотография
Дата: 17.06.2014
Ответить


Architectus Go to




Видимо что-то с текущим состоянием на диске. Попробуйте запустить Гидру еще где-то у себя. Будут ли там такие проблемы.
Спасибо:
1 2  >

Добавить файлы через драг-н-дроп, , или вставить из буфера обмена.

loading
Сообщение оформляется с помощью bb кодов
clippy

© 2010 - 2021 Торговые роботы StockSharp
О компании Контакты Партнеры Условия и положения