Источник данных TrueFX. StockSharp

Источник данных TrueFX

22.03.2014

Architectus

Небольшой баг с автопоиском инструментов в Гидре 4.2.2.21. Для данного источника все валютные пары после поиска имеют шаг цены 0,0001. Соответственно если не исправить его для не JPY пар на 0,00001, то качаться они не будут и появятся ошибки.
Для пар с валютой котировки JPY точность 0,0001 избыточна. Правильно - 0,001. Впрочем, возможно, это не проблема.

Теги:

Hydra

Спасибо:

1 2 3 > >>

Architectus

Дата: 26.04.2014

Обновился до версии S# Data 4.2.3.0.

После старта закачки, данные не загружаются. Вместо этого появляются ошибки раз в 7-10 минут.

Код


15:03:43.738|       |TrueFX    |Инициализируется.
15:03:43.754|       |TrueFX    |Перешел в состояние Starting.
15:03:43.755|       |TrueFX    |Перешел в состояние Started.
15:12:28.567|Error  |TrueFX    |Ionic.Zip.BadReadException: Could not read block - no data!  (position 0x0294A1ED)
   at Ionic.Zip.SharedUtilities._ReadFourBytes(Stream s, String message)
   at Ionic.Zip.ZipEntry.HandleUnexpectedDataDescriptor(ZipEntry entry)
   at Ionic.Zip.ZipEntry.ReadEntry(ZipContainer zc, Boolean first)
   at Ionic.Zip.ZipFile.ReadIntoInstance_Orig(ZipFile zf)
   at Ionic.Zip.ZipFile.ReadIntoInstance(ZipFile zf)
   at Ionic.Zip.ZipFile.Read(Byte[] buffer, TextWriter statusMessageWriter, Encoding encoding)
   at StockSharp.Algo.History.Forex.TrueFXSource.#=qmWdy_jATEBUa49BvNpa5EdYHjduRa5MVBivZi8A9jE0=.#=qwP6BMvI3rwdKiXw7iN5xskY6ek5VztJ3XP_X4QXznXQ=()
   at Ecng.Common.Converter.DoInCulture[T](CultureInfo cultureInfo, Func`1 func)
   at StockSharp.Algo.History.Forex.TrueFXSource.LoadTicks(Security security, DateTime date)
   at StockSharp.Hydra.TrueFX.TrueFXTask.OnProcess()
   at StockSharp.Hydra.Core.BaseHydraTask.<Start>b__0()
15:21:16.679|Error  |TrueFX    |Ionic.Zip.BadReadException: Could not read block - no data!  (position 0x0294A1ED)
   at Ionic.Zip.SharedUtilities._ReadFourBytes(Stream s, String message)
   at Ionic.Zip.ZipEntry.HandleUnexpectedDataDescriptor(ZipEntry entry)
   at Ionic.Zip.ZipEntry.ReadEntry(ZipContainer zc, Boolean first)
   at Ionic.Zip.ZipFile.ReadIntoInstance_Orig(ZipFile zf)
   at Ionic.Zip.ZipFile.ReadIntoInstance(ZipFile zf)
   at Ionic.Zip.ZipFile.Read(Byte[] buffer, TextWriter statusMessageWriter, Encoding encoding)
   at StockSharp.Algo.History.Forex.TrueFXSource.#=qmWdy_jATEBUa49BvNpa5EdYHjduRa5MVBivZi8A9jE0=.#=qwP6BMvI3rwdKiXw7iN5xskY6ek5VztJ3XP_X4QXznXQ=()
   at Ecng.Common.Converter.DoInCulture[T](CultureInfo cultureInfo, Func`1 func)
   at StockSharp.Algo.History.Forex.TrueFXSource.LoadTicks(Security security, DateTime date)
   at StockSharp.Hydra.TrueFX.TrueFXTask.OnProcess()
   at StockSharp.Hydra.Core.BaseHydraTask.<Start>b__0()

Спасибо:

Mikhail Sukhov

Дата: 27.04.2014

Architectus

Не удается найти проблему. Видимо это какой-то единичный инструмент. Можете попробовать локализовать его? Надо попеременно менять с ALL на какой-то конкретный инструмент. Или посмотреть по датам, какой инструмент не качается.

Спасибо:

Architectus

Дата: 27.04.2014

У меня по парам EURUSD и GBPUSD уже закачаны данные с 2010 г. по февраль 2014. Соответственно из-за них и была проблема. Запустил закачку по другой паре, она успешно стартовала с 2010 г. Если в источнике еще не появились новые данные (за март), то ошибка только в непонимании Гидрой конца закачки по инструменту.

Спасибо:

Mikhail Sukhov

Дата: 28.04.2014

Не уверен что понял. Если данные пары не качаются то откуда данные?

Спасибо:

Architectus

Дата: 28.04.2014

Качать данные с TrueFX можно. По парам EURUSD и GBPUSD я качал данные ранее. Тогда все закачалось. Теперь соответственно ошибка (при том что данные по 28.02.2014 уже есть). Я попробовал другую пару (по которой не было данных) - по ней все качается. Если в TrueFX данные есть только по февраль 2014, то ошибка связана с непониманием Гидры, что качать по тому или иному инструменту больше нечего. И она вместо перехода к следующему инструменту кидает эту ошибку раз за разом.

Спасибо:

Architectus

Дата: 04.05.2014

Проверил www.truefx.com, данные и за март, и за апрель уже есть.

А дело похоже в следующем. У меня в TemporaryFiles лежал файл EUR_USD_201403.zip c 0 размером. Об него собственно Гидра и спотыкалась, пытаясь загрузить из него данные за март 2014. Я его удалил и все наладилось. Также стало ясно, откуда он взялся. После загрузки за март и за апрель данных, в TemporaryFiles появился файл EUR_USD_201405.zip с 0 размером. Т.е. после загрузки данных за предыдущий месяц появляется битый архив за месяц текущий. После старта источника этот битый архив каждый раз появляется снова (если его удалить) (сейчас за май 2014). А так конец загрузки проходит корректно.

Также у меня перестал работать поиск инструментов в данном источнике.

Спасибо:

Architectus

Дата: 06.05.2014

Обновился до S# Data 4.2.3.3.

Поиск инструментов заработал.

По-поводу ошибки "Ionic.Zip.BadReadException: Could not read block - no data!" могу сказать следующее. Она возникает при попытке чтения битого файла архива. Для пользователя тут 2 варианта - найти и удалить соответствующий архив из TemporaryFiles или зачистить все в TemporaryFiles. Вариант для разработчиков - перекачивать нужный архив при возникновении такой ошибки. Помимо архива за последний месяц (когда данных в источнике еще нет) с нулевым размером, бывает и что какой-либо архив скачивается не полностью.

Спасибо:

Architectus

Дата: 10.06.2014

Обновился до S# Data 4.2.3.9.

Были закачаны данные по EURUSD по апрель 2014. Хотел докачать за май. После старта Гидры в TemporaryFiles появились пустые архивы за каждый месяц периода 01.2010-06.2014. После чего произошло окончание итерации.

Спасибо:

devruss

Дата: 10.06.2014

Попробовал закачать данные с TrueFX - во-первых, нигде не спрашивает пароль на аккаунт, это так надо? А во-вторых данные в импорте помечены как D (дневные?) и они вообще не скачиваются (поставил скачивать с начала 2014 года)

UPDATE: В /TemproraryFiles/ все файлы размером в 0 байт.

Спасибо:

devruss

Дата: 12.06.2014

Несмотря на новый билд, все равно ничего не скачивается. Файлы с 0 размером пропали, теперь вообще нет никаких файлов.
В логах есть запись "Старт загруки сделок за xx.xx.xxxx для xx/xx@TRUEFX", но никакой информации не скачивается, прошло 3 часа, никаких данных вообще не скачалось

Спасибо:

1 2 3 > >>

Добавить файлы через драг-н-дроп, , или вставить из буфера обмена.