Я уже заводил тему о том, что скачивание тиков с финама является весьма проблематичным из-за тайм-ау...

2014-06-29T22:17:21Z

Я уже заводил тему о том, что скачивание тиков с финама является весьма проблематичным из-за тайм-аутов в три минуты, по истечение которых гидра пропускает дату и переходит к следующей с ошибкой. Далее, когда набирается 11 ошибок, источник останавливается.

На протяжении 10 дней я постоянно руками перезапускал скачивание всякий раз, когда финам останавливался после очередных 11 ошибок - в итоге скачались все тики с 2005 года по RI, осталось 4 даты, тики с которых не скачиваются ни в какую, сделано уже несколько десятков попыток (может и сотня).

Вот даты с названиями контрактов и с текстом ошибок из лога: 01:48:02.109|Error |Finam |System.InvalidOperationException: Ошибка загрузки сделок за 04.10.2011 для RIZ1@FORTS. ---> System.Net.WebException: The operation has timed out at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request) at System.Net.WebClient.DownloadString(Uri address) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=q2mxpNDIALQkzQ4W0HvZi4A==(Uri #=q1vbPyY25lj1Ppb2nFgKnFQ==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qJCC2iuxkg7G7WgqKPPVz7FDyY8dVCF5JO3DAsZbqZcQ=.#=qMA6W84H15nNe3smqznGGSTxzMVgDDCNTcnjOQ6NHBWM=() at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func1 download) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qzYaf66ldV85BQNGTzUiU8g==(Security #=qBjB37rnV38IqDfnl1h0wwg==, DateTime #=qVnUw8$uIkVzjhg9vht1Dng==, DateTime #=q7o6QLM0qNcYEPHjIf5xldQ==, Type #=qv9hsuH4N_cBBZWVCJtEKSA==, Object #=q8SBCOX2p9x7TU$Ek52xlgA==, Func1 #=q0MKizFayjBkzu5d5jtMXnA==, Func2 #=qSIlWOzItGD4To7PemEhlwQ==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to) at StockSharp.Hydra.Finam.FinamTask.OnProcess() --- End of inner exception stack trace --- 01:51:02.383|Error |Finam |System.InvalidOperationException: Ошибка загрузки сделок за 17.11.2011 для RIZ1@FORTS. ---> System.Net.WebException: The operation has timed out at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request) at System.Net.WebClient.DownloadString(Uri address) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=q2mxpNDIALQkzQ4W0HvZi4A==(Uri #=q1vbPyY25lj1Ppb2nFgKnFQ==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qJCC2iuxkg7G7WgqKPPVz7FDyY8dVCF5JO3DAsZbqZcQ=.#=qMA6W84H15nNe3smqznGGSTxzMVgDDCNTcnjOQ6NHBWM=() at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func1 download) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qzYaf66ldV85BQNGTzUiU8g==(Security #=qBjB37rnV38IqDfnl1h0wwg==, DateTime #=qVnUw8$uIkVzjhg9vht1Dng==, DateTime #=q7o6QLM0qNcYEPHjIf5xldQ==, Type #=qv9hsuH4N_cBBZWVCJtEKSA==, Object #=q8SBCOX2p9x7TU$Ek52xlgA==, Func1 #=q0MKizFayjBkzu5d5jtMXnA==, Func2 #=qSIlWOzItGD4To7PemEhlwQ==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to) at StockSharp.Hydra.Finam.FinamTask.OnProcess() --- End of inner exception stack trace --- 01:54:32.007|Error |Finam |System.InvalidOperationException: Ошибка загрузки сделок за 17.05.2012 для RIM2@FORTS. ---> System.Net.WebException: The operation has timed out at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request) at System.Net.WebClient.DownloadString(Uri address) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=q2mxpNDIALQkzQ4W0HvZi4A==(Uri #=q1vbPyY25lj1Ppb2nFgKnFQ==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qJCC2iuxkg7G7WgqKPPVz7FDyY8dVCF5JO3DAsZbqZcQ=.#=qMA6W84H15nNe3smqznGGSTxzMVgDDCNTcnjOQ6NHBWM=() at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func1 download) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qzYaf66ldV85BQNGTzUiU8g==(Security #=qBjB37rnV38IqDfnl1h0wwg==, DateTime #=qVnUw8$uIkVzjhg9vht1Dng==, DateTime #=q7o6QLM0qNcYEPHjIf5xldQ==, Type #=qv9hsuH4N_cBBZWVCJtEKSA==, Object #=q8SBCOX2p9x7TU$Ek52xlgA==, Func1 #=q0MKizFayjBkzu5d5jtMXnA==, Func2 #=qSIlWOzItGD4To7PemEhlwQ==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to) at StockSharp.Hydra.Finam.FinamTask.OnProcess() --- End of inner exception stack trace --- 01:54:32.007| |Finam |Старт загрузки сделок за 18.05.2012 для RIM2@FORTS. 01:57:32.021|Error |Finam |System.InvalidOperationException: Ошибка загрузки сделок за 18.05.2012 для RIM2@FORTS. ---> System.Net.WebException: The operation has timed out at System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request) at System.Net.WebClient.DownloadString(Uri address) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=q2mxpNDIALQkzQ4W0HvZi4A==(Uri #=q1vbPyY25lj1Ppb2nFgKnFQ==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qJCC2iuxkg7G7WgqKPPVz7FDyY8dVCF5JO3DAsZbqZcQ=.#=qMA6W84H15nNe3smqznGGSTxzMVgDDCNTcnjOQ6NHBWM=() at StockSharp.Algo.History.BaseDumpableHistorySource.Process(Security security, DateTime from, DateTime to, Type dataType, Object arg, Func1 download) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.#=qzYaf66ldV85BQNGTzUiU8g==(Security #=qBjB37rnV38IqDfnl1h0wwg==, DateTime #=qVnUw8$uIkVzjhg9vht1Dng==, DateTime #=q7o6QLM0qNcYEPHjIf5xldQ==, Type #=qv9hsuH4N_cBBZWVCJtEKSA==, Object #=q8SBCOX2p9x7TU$Ek52xlgA==, Func1 #=q0MKizFayjBkzu5d5jtMXnA==, Func2 #=qSIlWOzItGD4To7PemEhlwQ==) at StockSharp.Algo.History.Russian.Finam.FinamHistorySource.GetTrades(Security security, DateTime from, DateTime to) at StockSharp.Hydra.Finam.FinamTask.OnProcess() --- End of inner exception stack trace ---

Я пробовал скачивать данные за одну из этих дат с финама руками, всё скачалось без проблем (думало чуть больше двух минут), ничего "особенного" в полученных через браузер тиках нет (дат с таким же количеством тиков полно).

Я не знаю, как работа источника устроена изнутри, но по-моему здесь точно есть какая-то проблема:

Непонятно, почему браузер даёт ответ на запрос гораздо быстрее, чем за три минуты, тогда как гидра думает все три и выдаёт ошибку.
В свете (1), возможно, мои просьбы дать возможность настраивать величину тайм-аута может быть и бессмысленны - если через браузер ответ приходит всегда быстрее, чем за три минуты, то значит дело не в тайм-ауте как таковом.

Господа разработчики, это реальная проблема, а данный форум, как пояснил Михаил, как раз для изложения оных и сделан. Примите меры, пожалуйста.

4 даты, которые не скачиваются с финама даже с 100-й попытки

Я уже заводил тему о том, что скачивание тиков с финама является весьма проблематичным из-за тайм-ау...