Чтение большого файла.

[greenisius]

Добрый день.
Нужно реализовать программу, открывающую файл (~15 ГБ) и выводящую количество символов в нём на форму раз в секунду посредством таймера.

procedure TForm1.Button2Click(Sender: TObject);
var
 inputFile: TextFile;
 List: TStringList;
 Buffer: String;
begin
  SYM_COUNT := 0;
  Timer1.Enabled := true;
  List := TStringList.Create;
  AssignFile(inputFile, Edit1.Text);
  Reset(inputFile);
  Readln(inputFile, Buffer);
  List.Add(Buffer);
  while not Eof(inputFile) do
  begin
    Readln(inputFile, Buffer);
    if  Pos('****', Buffer) <> 0 then
    begin
      Process(List);
      List.Clear;
      SYM_COUNT := SYM_COUNT + Buffer.Length;
      List.Add(Buffer);
    end
    else
    begin
      List.Add(Buffer);
      SYM_COUNT := SYM_COUNT + Buffer.Length;
    end;
  end;
  Process(List);

  CloseFile(inputFile);
  List.Free;
end;

procedure TForm1.Timer1Timer(Sender: TObject);
begin
  Label1.Caption := 'Символов пройдено: ' + IntToStr(SYM_COUNT);
  Application.ProcessMessages;
end;

На форму выводится примерное 17МБ, после чего таймер затихает. Насколько я понял, прерывается чтение файла. Может кто подсказать причину?

[Pavia]

Application.ProcessMessages; надо поместить в цикл, а из таймера убрать.

  while not Eof(inputFile) do
  begin
    Readln(inputFile, Buffer);
    Application.ProcessMessages;

Таймер работает на сообщениях.
Application.ProcessMessages; - переведём дословно, что получится?
Получиться команда "Приложение, обработай сообщения."
Эта команда заставляет приложение обработать очередь сообщения извлечь из неё все сообщения и если там встретиться сообщение для таймера, то вызвать его.

[greenisius]

Сделал по вашему, выставил интервал таймера 1мс. Прогресс виден, однако работа всё равно прерывается на 17МБ. Возможно, ReadLn не подходит для чтения больших файлов?

[Slym]

Сообщение от greenisius

Добрый день.
файл (~15 ГБ) и выводящую количество символов в нём на форму раз в секунду.

изобрели носитель со скоростью чтения 15гб/с?
раз в секунду никак...
кроме того смущает List.Add(Buffer); если не найдет '****' - памяти есть 15гб и 64бит сборка?

на пальцах объясни что с файлом делаешь, кроме подсчета символов, и что за магия со звездочками...
и как часто звездочки встречаются

[greenisius]

Открываю очень большой файл на начинаю читать из него.
В какой то момент чтение прерывается, будто бы файл окончился, однако читать из него дальше можно.

Как работает eof? Получает какой то символ конца программы? Каким образом прочитать весь файл в моей ситуации?

var
 inputFile: TextFile;
 List: TStringList;
 Buffer: String;
 i: integer;
begin
  SYM_COUNT := 0;
  Timer1.Enabled := true;
  List := TStringList.Create;
  AssignFile(inputFile, Edit1.Text);
  Reset(inputFile);
  Readln(inputFile, Buffer);
  List.Add(Buffer);
  while (not Eof(inputFile)) do
  begin
    Readln(inputFile, Buffer);
    Application.ProcessMessages;
    if  Pos('****', Buffer) <> 0 then
    begin
//      Process(List);
      List.Clear;
      List.Add(Buffer);
      SYM_COUNT := SYM_COUNT + Buffer.Length;
    end
    else
    begin
      List.Add(Buffer);
      SYM_COUNT := SYM_COUNT + Buffer.Length;
    end;
  end;
//  Process(List);


  CloseFile(inputFile);
  List.Free;
end;

[greenisius]

Сообщение от Slym

если не найдет '****'
и как часто звездочки встречаются

Найдёт. Какой-то софт генерирует базу формата

***************
данные
данные
данные

***************
данные
данные
данные

Надо всё это дело обработать. Я не пытаюсь всё мгновенно пробежать, мне нужно просто оценивать прогресс.

[greenisius]

Как оказалось, работа прерывается всегда на одной и той же строчке, будто бы eof() принимает завершающий символ. Но дальше читать можно и нужно. Можно сотворить костыль и зациклить eof(), но это как-то дико.

[Serge_Bliznykov]

Забудьте уже про TextFile.
Читайте через TFileStream (говорят, ещё можно работать с большими файлами через отображение файла в память, но у меня нет такого опыта).

[greenisius]

Сообщение от Serge_Bliznykov

Забудьте уже про TextFile.
Читайте через TFileStream (говорят, ещё можно работать с большими файлами через отображение файла в память, но у меня нет такого опыта).

А чем мне поможет это в данном случае? Полагаю, там будет тот же системный вызов, что и для eof(), и проблема никуда не уйдет.

[Serge_Bliznykov]

Сообщение от greenisius

А чем мне поможет это в данном случае? Полагаю, там будет тот же системный вызов, что и для eof(), и проблема никуда не уйдет.

а Вы не думайте, Вы делайте.
тем более, что в TFileStream нет никакого eof()!
там есть размер (size) обрабатываемых записей.

p.s.
лирического отступление.
TextFile предназначен для обработки текстовых файлов. Текстовые файлы - это файлы, которые состоят ИСКЛЮЧИТЕЛЬНО из печатных символов.
Допускаются некоторые непечатные (служебные, переводы строк, например).
Но именно допускаются и именно некоторые.
создайте файлик, поместите туда символы с кодом 26 и 27 а потом текст и попробуйте прочитать.