hydra. StockSharp

Сборка Гидры 4.0.23 из сорцов не работоспособна

2012-05-11T21:59:03Z

Сборка Гидры 4.0.23 не срабатывает поскольку разъехались название проекта и названия файлов прописанных в солюшене.

Прямая сборка Гидры из транка тоже не проходит - не хватает собранных коннекторов.
Последнее лечится через сборку всего транка целиком. Затем Гидра уже может быть собрана как отдельный солюшен.

Гидра + источник SmartCOM

2012-05-11T08:23:41Z

Пробую запускать экспорт тиков из источника SmartCOM.

Полный лог:

В инструментах настроено только GAZP и SBER.

Уже полученные тики по ним были закачены до этого через Finam.

sqlite база повредилась

2012-05-05T14:35:06Z

При запросах к базе пишет "The database disk image is malformed; database disk image is malformed" что сделать можно, подскажите. Дамп както реально вытащить? (нашел как вытащить на linux..)

Ошибка при формированиии списка сделок

2012-05-01T15:02:52Z

Добрый день господа!

Гидра заработала хорошо, закачал GAZP c Финама за период с 24.04.2011г. по 28.05.2012г.
Однако при попытке отобразить сделки за период больше полгода (например с 01.10.2011г.) заполняет память до 3Гб выдает ошибку, а список сделок соответственно не показывает.
За меньший период все работает отлично.

Также Гидра освобождает занимаемую память (1-2 Гб) только после закрытия программы, даже при закрытой таблице сделок.

Это особенность программы или проблема в объеме памяти?
Windows 7 Ultimate, х64, ОЗУ 4Гб.

Интересно сколько желательно иметь памяти за работы с Гидрой и Stocksharp?
И есть ли способы принудительного освобождения памяти.

System.TypeLoadException WPFToolkit.Extended

2012-04-18T12:46:41Z

На dev версии получаю при запуске гидры следующее сообщение:

Гидра System.TypeLoadException: Could not load type 'Xceed.Wpf.Toolkit.PropertyGrid.Attributes.ExpandableObjectAttribute' from assembly 'WPFToolkit.Extended, Version=1.6.0.0, Culture=neutral, PublicKeyToken=3e4669d2f30244f4'.
at System.ModuleHandle.ResolveType(RuntimeModule module, Int32 typeToken, IntPtr* typeInstArgs, Int32 typeInstCount, IntPtr* methodInstArgs, Int32 methodInstCount, ObjectHandleOnStack type)
at System.ModuleHandle.ResolveTypeHandleInternal(RuntimeModule module, Int32 typeToken, RuntimeTypeHandle[] typeInstantiationContext, RuntimeTypeHandle[] methodInstantiationContext)
at System.ModuleHandle.ResolveTypeHandle(Int32 typeToken, RuntimeTypeHandle[] typeInstantiationContext, RuntimeTypeHandle[] methodInstantiationContext)
at System.Reflection.RuntimeModule.ResolveType(Int32 metadataToken, Type[] genericTypeArguments, Type[] genericMethodArguments)
at System.Reflection.CustomAttribute.FilterCustomAttributeRecord(CustomAttributeRecord caRecord, MetadataImport scope, Assembly& lastAptcaOkAssembly, RuntimeModule decoratedModule, MetadataToken decoratedToken, RuntimeType attributeFilterType, Boolean mustBeInheritable, Object[] attributes, IList derivedAttributes, RuntimeType& attributeType, IRuntimeMethodInfo& ctor, Boolean& ctorHasParameters, Boolean& isVarArg)
at System.Reflection.CustomAttribute.GetCustomAttributes(RuntimeModule decoratedModule, Int32 decoratedMetadataToken, Int32 pcaCount, RuntimeType attributeFilterType, Boolean mustBeInheritable, IList derivedAttributes, Boolean isDecoratedTargetSecurityTransparent)
at System.Reflection.CustomAttribute.GetCustomAttributes(RuntimePropertyInfo property, RuntimeType caType)
at Ecng.Common.AttributeHelper.<>c__DisplayClass1`1.<GetAttribute>b__0(Tuple`2 key)
at Ecng.Common.AttributeHelper.SafeAdd[K,V](IDictionary`2 dictionary, K key, Func`2 handler)
at Ecng.Common.AttributeHelper.GetAttribute[TAttribute](ICustomAttributeProvider provider, Boolean inherit)
at Ecng.Common.AttributeHelper.GetAttribute[TAttribute](ICustomAttributeProvider provider)
at Ecng.Serialization.TypeSchemaFactory.<>c__DisplayClass6.<GetMembers>b__1(MemberInfo member)
at System.Linq.Enumerable.WhereArrayIterator`1.MoveNext()
at System.Linq.Buffer`1..ctor(IEnumerable`1 source)
at System.Linq.OrderedEnumerable`1.<GetEnumerator>d__0.MoveNext()
at System.Linq.Enumerable.WhereSelectEnumerableIterator`2.MoveNext()
at System.Linq.Buffer`1..ctor(IEnumerable`1 source)
at System.Linq.OrderedEnumerable`1.<GetEnumerator>d__0.MoveNext()
at Ecng.Collections.CollectionHelper.AddRange[T](ICollection`1 source, IEnumerable`1 items)
at Ecng.Serialization.TypeSchemaFactory.CreateSchema(Type entityType)
at Ecng.Serialization.SchemaManager.<>c__DisplayClass5.<GetSchema>b__4(Type key)
at Ecng.Collections.CollectionHelper.SafeAdd[TKey,TValue](IDictionary`2 dictionary, TKey key, Func`2 handler)
at Ecng.Serialization.SchemaManager.GetSchema(Type entityType, SchemaFactory factory)
at Ecng.Serialization.SchemaManager.GetSchema(Type entityType)
at Ecng.Serialization.SchemaManager.GetSchema[TEntity]()
at Ecng.Serialization.RelationManyList`1.get_Schema()
at Ecng.Data.HierarchicalPageLoadList`1.CreateScope(Query query)
at Ecng.Data.HierarchicalPageLoadList`1.OnGetCount()
at Ecng.Serialization.RelationManyList`1.get_Count()
at Ecng.Serialization.RelationManyList`1.RelationManyListEnumerator.ProcessMove(Boolean& canProcess)
at Ecng.Collections.BaseEnumerator`2.System.Collections.IEnumerator.MoveNext()
at StockSharp.Hydra.SecurityStorage..ctor(HydraStorage storage) in C:\StockSharp\stocksharp-16385\dev\Hydra\Hydra\SecurityStorage.cs:line 27
at StockSharp.Hydra.MainWindow..ctor() in C:\StockSharp\stocksharp-16385\dev\Hydra\Hydra\MainWindow.xaml.cs:line 103

Пара вопросов по закачиванию данных

2012-04-15T06:52:03Z

1) Изначально для источника данных установил начальную дату 01.09.2011. Сделки по фьючерсу ртс успешно закачались. Решил подкачать историю с 2009 года, меняю начальную дату, но более ранние сделки не качаются. Как я понимаю гидра смотрит на дату последних закачанных сделок и продолжает качать с этой даты. Пробовал удалить все логи, удалить уже закачанные сделки - не помогает.
2) Добавил в инструменты Газпром и Сбербанк (акции), Сбер закачивается без проблем, а Газпром начал качаться с 01.08.2011. Подозрения, что это связано с иземенением кол-ва акций в лоте в прошлом году, пробовал менять в настройках это значение - не помогает.
3) Что за тестовая биржа в списке бирж?

Тиковые данные из Hydra

2012-04-09T17:04:34Z

Добрый вечер,возник вопрос
у меня есть данные сделок и стаканов, загруженные гидрой и хранящиеся в папке (допустим папка dates а в ней папки с ID инструментов)
чтобы получить данные по какому-либо инструменту нужно использовать TradingStorage.GetTradeStorage(Security)
а как мне получить список инструментов, по которым имеются данные в папке, чтобы предоставить пользователю выбор инструмента из имеющихся, на котором он будет тестировать стратегию?

я думал будет коллекция инструментов хранится в TradingStorage.Securities но при загрузке из данных RIU9@RTS (которые идут в стандартном архиве с s#) эта коллекция пуста
может я чего не правильно делаю?

хранилище создаю так

Код

storage = new TradingStorage(new InMemoryStorage())
                {
                    BasePath = "путь к данным"
                };

securityComboBox.ItemsSource = storage.Securities; //пусто (

не обновляются инструменты Smart

2012-04-06T07:44:41Z

Доброго дня.
Гидра 4.0.23
первый запуск. Настроен смартконнект. Смартком последний февральский.
Кнопка Обновить приводит к следующей ошибке:

в чем может быть причина?

Формат данных для Гидры

2012-04-03T12:31:46Z

В версии S# 4.0 формат данных был 1.XXX. В версии S# 4.1 было два формата, 2.0 и 3.0. Ниже два скрипта. Первый переводит 1.XXX в 2.0. Второй переводит из 2.0 в 3.0. Кто использует Гидру 4.0, нужно использовать оба скрипта, и прогнать их друг за другом. Кто уже использовал 4.1, то прогнать только второй. Пути, естественно, заменить в коде.

Конвертация в формат 2.0:

Код

foreach (var secDir in Directory.EnumerateDirectories(@"d:\SS\D\HydraRi3"))
{
	if (Directory.EnumerateFiles(secDir).Any())
		continue;
				
	var dateDirs = Directory.GetDirectories(secDir);

	var prefixes = new[] { "trades", "quotes" };
	foreach (var prefix in prefixes)
	{
				
		var metaInfo = new Dictionary<DateTime, IDictionary<string, object>>();



		foreach (var dir in dateDirs)
		{
			var date = Path.GetFileName(dir).ToDateTime("yyyy_MM_dd");

			var files = Directory.GetFiles(dir);


			var meta = files.FirstOrDefault(f => Path.GetFileName(f) == prefix+".xml");
			var data = files.FirstOrDefault(f => Path.GetFileName(f) == prefix+".bin");
			if (null != meta)
			{
				CultureInfo.InvariantCulture.DoInCulture(() => metaInfo.Add(date, new XmlSerializer<IDictionary<string, object>>().Deserialize(meta)));

				File.Move(data, Path.Combine(secDir, prefix + "_" + Path.GetFileName(dir) + ".bin"));
			}
		}
		CultureInfo.InvariantCulture.DoInCulture(() => new XmlSerializer<IDictionary<DateTime, IDictionary<string, object>>>().Serialize(metaInfo, Path.Combine(secDir, prefix+".xml")));
	}

	foreach (var dir in dateDirs)
	{
		Directory.Delete(dir, true);
	}

	Console.WriteLine(Path.GetFileName(secDir));
}

Конвертация в формат 3.0:

Код

var input = @"d:\SS\D\HydraRi3";
var output = @"d:\SS\D\HydraRi5.1";

foreach (var secDir in Directory.EnumerateDirectories(input))
{
	var prefixes = new[] { "quotes", "trades", "orderLog" };
	var secId = Path.GetFileName(secDir);
	Directory.CreateDirectory(Path.Combine(output,secId));
	foreach (var prefix in prefixes)
	{
		var metafile = secDir + "\\" + prefix + ".xml";
		if (File.Exists(metafile))
		{
			IDictionary<DateTime, IDictionary<string, object>> data=null; 
			CultureInfo.InvariantCulture.DoInCulture(() => data = new XmlSerializer<IDictionary<DateTime, IDictionary<string, object>>>().Deserialize(metafile));
			//Directory.EnumerateFiles(secDir);
			foreach (var date in data.Keys)
			{
				var fileName = "{0}_{1}.bin".Put(prefix, date.ToString("yyyy_MM_dd"));
				fileName = Path.Combine(secDir,fileName);
				if (File.Exists(fileName))
				{
					var outSecDir = Path.Combine(output, secId, date.ToString("yyyy_MM_dd"));
					Directory.CreateDirectory(outSecDir);

					var outFile = Path.Combine(outSecDir, prefix + ".bin");
					using (var s = new FileStream(outFile, FileMode.Create, FileAccess.Write))
					{
						var dict = data[date];

						s.WriteByte(3); s.WriteByte(0);
						s.Write((int)dict["count"]);
						s.Write((decimal)dict["minStepSize"]);
						s.Write((decimal)0);
						s.Write(new DateTime(dict["firstTime"].To<long>()));
						s.Write(new DateTime(dict["prevTime"].To<long>()));

						if (prefix.Equals("trades"))
						{
							s.Write((long)dict["firstId"]);
							s.Write((long)dict["prevId"]);
							s.Write((decimal)dict["firstPrice"]);
							s.Write((decimal)dict["prevPrice"]); 
						}
						else if (prefix.Equals("quotes"))
						{
							s.Write((decimal)dict["firstPrice"]);
							s.Write((decimal)dict["prevPrice"]); 									
						}
						else if (prefix.Equals("orderLog"))
						{
							s.Write((long)dict["firstOrderId"]);
							s.Write((long)dict["firstTradeId"]);
							s.Write((long)dict["prevOrderId"]);
							s.Write((long)dict["prevTradeId"]);
							s.Write((decimal)dict["firstPrice"]);
							s.Write((decimal)dict["prevPrice"]);
						}

						s.WriteRaw(File.ReadAllBytes(fileName));
					}
				}
			}
		}
	}
}

Какой теперь формат у файлов гидры?

2012-04-03T11:34:55Z

Был S# 4.1 - 15891

Данные для 4.1 конвертировал из 4.0 с помощью этого

Обновился до 4.1 - 15979. Формат данных поменялся

Чем теперь конвертировать? И из какого формата? Из 4.0 или из старого 4.1?

Requested Clipboard operation did not succeed

2012-04-03T03:59:50Z

Вылетает при запуске гидры на слабых машинах под win2k3.. жалуется на:

Код

Securities.ForEach(_trader.Trader.RegisterQuotes)

Можно как-то вылечить?

последняя dev-версия, ошибка

2012-04-02T18:40:47Z

В TradesWindow.xaml.cs возникает ошибка. Подробнее на скриншоте:

Finam: не загружаются тики по склееному фьючерсу RTS (SPFB.RTS@RTS)

2012-04-01T06:03:10Z

Перестали загружаться тики по склеенному фьючерсу RTS с Финама:

Код


Finam 11:36:41.2794157 Старт с 06.03.2012 для SPFB.RTS@RTS.
Finam 11:39:41.3397145 System.Net.WebException: Время ожидания операции истекло
   в System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request)
   в System.Net.WebClient.DownloadString(Uri address)
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qScP2Jc5w3eE90Y3dMpNLtw==(Uri #=qZSDCjTj6KYNNBniIIdPPPQ==, String #=qHmykUNvDW$qFhELcRzT0Ng==)
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qn1OPeZc93j2GhsdQKUey_6Ehp2xoxSdxs$IDWvwRkq0=.#=qOA1sEbu9QMIYlXz6sSXkbeVCmXbX87YQ7_rOo2GmXVE=()
   в StockSharp.Algo.History.Finam.FinamHistorySource.#=qHbifJmfBUsQDj7cUJ1Q4LQ==[T](String #=qHgafCQS_YPdZsvZe9MyC5w==, Func`1 #=qLVCqCWlkOQwpBKQB0NxVFw==, Func`2 #=qiCxwInTpjqGgLS8ZVOzDGw==)
   в StockSharp.Algo.History.Finam.FinamHistorySource.GetTrades(Security security, DateTime time)
   в StockSharp.Hydra.Finam.FinamSource.Load() в F:\Sources\StockSharpReleases\StockSharp_4.0.23\Hydra\Plugins\Finam\FinamSource.cs:строка 151
   в StockSharp.Hydra.Worker.<>c__DisplayClass13.<Download>b__10(IMarketDataSource source) в F:\Sources\StockSharpReleases\StockSharp_4.0.23\Hydra\Hydra\Worker.cs:строка 187

По другим склеенным фьючерсам данные загружаются:

Код


Finam 11:43:48.3688438 Старт с 06.03.2012 для SPFB.SBRF@RTS.
Для SPFB.SBRF@RTS загружено 97232 сделок.
Finam 11:44:18.3735600 Дата 30.03.2012 вне диапазона для SPFB.GAZR@RTS.
Finam 11:44:18.3735600 Старт с 07.03.2012 для SPFB.SBRF@RTS.
Для SPFB.SBRF@RTS загружено 77533 сделок.

Hydra 4.0.23

Ошибка System.Net.WebException: Требуется проверка подлинности посредника

2012-03-30T02:50:34Z

Не обновляется список инструментов в Гидре.
Нажимаю на "Инструменты", выбираю "Finam" нажимаю обновить, возникает ошибка:
"System.Net.WebException: Удаленный сервер возвратил ошибку (407). Требуется проверка подлинности посредника"

При этом закачка данных с РТС при нажатии на "Старт" в начальном окне осуществляется, значит подключиться к интернету получается.
Выход в инет через прокси MS ISA.
Почему так происходит? Как решить проблему?

Проблемы экспорта

2012-03-18T14:50:48Z

Появилась потребность экспорта тиков в текстовый формат для загрузки в Amibroker.
Использовал версию гидры 4.0.22
Обнаружил такие проблемы и неточности.
1) Солюшн не собирается из-за постбилда плагина Plaza. Не находит какой-то файл. Мне не надо. Отключил.
2) Экспорт не возможен без загрузки данных в грид. Это косяк, потому что на большое количество строк грид памяти жрёт немеряно.
Нет информации об окончании экспорта, кроме отвисания формы. Поправил. И то, и другое и зависание. Раз доступ мне не дали, берите файлы отсюда.

Hydra и Full_orders_log

2012-03-16T10:11:12Z

Позволяет ли гидра формировать стаканы из фуллордерлога?
Нужно для бэктеста.

4.0.21 не закачиваются сделки/стаканы

2012-03-12T10:38:13Z

Включил источник финам, добавил инструменты VTBR@EQNL и VTBR1@finam.
После того как нажимаю "старт" счетчик времени растет, а количество сделок и стаканов остается 0.
OC windows7

Hydra + MS SQL server

2012-03-07T11:35:28Z

Приветствую господа алготрейдеры!

Насколько я понял гидра теперь работает только с SQLite?
Попробовал ей подставить в конфиге параметры для MS SQL,
но фокус не удался. В коде жестко вшита проверка каталога
для скулайта и прочее...
Хочу для себя переделать сохранение в MS SQL, мне с ним проще
разобраться.

Может есть здесь те, кто это уже делал. Подскажите в какую сторону
копать, с каких модулей начать изменять, какие там подводные камни?

Долная загрузка гидры

2012-02-26T14:11:07Z

У меня у одного гидра запускается долго? у меня в диспетчере она появляется сразу и память по мере загрузки растет (использование точнее памяти) потом падает и только потом запускается

Данные по опционам

2012-02-23T14:22:54Z

Где можно взять тиковые данные по опционам? Искал на ртс но не нашел по названиям.[blink]