Out of memory и правильная работа с памятью

[evg_m]

Весь ступор происходит при заполнении Dictionary

А dictionary то же выделяет себе память.(ему же надо хранить все это) И тоже много раз. И тоже хапаем много. при отсутствии повторов!

И тоже много раз. Можно попробовать заставить его выделить сразу много.

Set Capacity to the number of pointers the list will need to contain. When setting the Capacity property, an EOutOfMemory exception occurs if there is not enough memory to expand the list to its new size.

Read Capacity to learn number of objects the list can hold without reallocating memory. Do not confuse Capacity with the Count property, which is the number of entries in the list that are in use. The value of Capacity is always greater than or equal to the value of Count. When Capacity is greater than Count, the unused memory can be reclaimed by setting Capacity to Count.

When an object is added to a list that is already filled to capacity, the Capacity property is automatically increased. Setting Capacity before adding objects can reduce the number of memory reallocations and thereby improve performance. For example,

Delphi example:

  List.Clear;
  List.Capacity := Count; // хотим сразу много
  for I := 1 to Count do List.Add(...);

А вообще-то для таких задач и используются БД.

[Freimaks]

Да, эту инфу я тоже нашел вчера поздно вечером.
В общем как я понял из всего происходящего - дело именно в самой Dictionary, которая вообще не может хранить много ключей как таковых. При этом если честно не совсем понятно - почему же она в какие-то моменты становится на это способной? Но это все мусор и бред, т.к. стабильности не добиться.
Есть у меня вариант и проще по памяти - основанный не на записях, а на классах, когда точки хранятся в листе (нет проблем и для моих 34 млн), а в качестве ключа генерится простой хэшкод.
Там происходит все немного иначе - из листа, в котором уже есть все точки, удаляются ненужные. Выпадает Out of Memory именно на заполнении Dictionary, примерно на 3 млн. - специально вчера проверил:

  Dictionary := TDictionary<TBinPoints, Integer>.Create(Comparer);
    Form1.Memo2.Lines.Add('Dictionary is ready');
  try
    for I := Points.Count - 1 downto 0 do //
      begin
        if Dictionary.ContainsKey(Points[I]) then
           Points.Delete(I)
        else
          Dictionary.Add(Points[I], 0);
      end;
    Dictionary.Free;
  except
    On E : EOutOfMemory do
    begin
      ShowMessage(IntToStr(Dictionary.Count));
      Dictionary.Free;
    end;
  end;

Вообще сама задача решается как-то и без БД и без Dictionary, есть у меня пример этого (готовая прога), но как там это реализовано - одному Богу известно. Просто в отличии от ее создателя я не являюсь продвинутым программистом с весомым багажом знаний.
Будет время - попробую на БД, потом отпишусь как результат.

[Freimaks]

Что самое прикольное - прога отлично заработала при компиляции 64-битным компилятором... спокойно обрабатываются файлы более гигабайта...

[Slym]

у тебя 2 буфера зачем? чтение позаписьно медленно?

procedure WorkWithCoordTimes(FileName: String);
var i, TotalCount, Count, ControlCount:integer;
BinKey: SizeBinKey; //переменная для формирования ключа
BinItem: SizeBinItem; //переменная для формирования значения
BinPoint:SizeBinPoints; //запись
const MAX_BUFFER_SIZE = 10000000; //В массив за один раз загоняется не более 10 млн. записей, каждая 24 байта
begin
  with TBinaryReader.Create(FileName) do
    try
      Dictionary := TDictionary<SizeBinKey, SizeBinItem>.Create;
      BaseStream.Read(BinHeader, SizeOf(BinHeader));
      TotalCount:=BinHeader.PntCnt;
      while TotalCount > 0 do
        begin
          BaseStream.Read(BinPoint, SizeOf(BinPoint));
          BinKey.X:=BinPoint.X;
          BinKey.Y:=BinPoint.Y;
          BinKey.Z:=BinPoint.Z;
          BinKey.Time:=BinPoint.Time;
          BinItem.Code:=BinPoint.Code;
          BinItem.Echo:=BinPoint.Echo;
          BinItem.Flag:=BinPoint.Flag;
          BinItem.Mark:=BinPoint.Mark;
          BinItem.Line:=BinPoint.Line;
          BinItem.Int:=BinPoint.Int;
          Dictionary.AddOrSetValue(BinKey,BinItem);
          Dec(TotalCount);
        end;
        Form1.Memo1.Lines.Add(IntToStr(Dictionary.Count)) ;
      end;
    finally
      Free;
    end;
  end;
end.

[Freimaks]

Я специально для экспериментов вынес размер буфера в переменные и задаю его из отдельного поля.
Если читать по одной записи, то чтение файла 655 Мб и прогон в Dictionary проходит за 34757 мсек.
Если читать по 1000 записей за раз, то такая же операция проходит за 10983 мсек. Если по 10000, то 9422 мсек.