Удаление пустых и повторяющихся строк

[Marsel737]

Всем доброго времени суток.

Есть необходимость удалять все повторяющиеся и пустые строки в текстовом файле, подскажите кто-нибудь как это можно сделать.

Пробывал вот так не получилось:

var
  i: integer;
  Find: string;
begin
  Find:='';
  Memo1.Lines.LoadFromFile('1.txt');
  for i:=0 to Memo1.Lines.Count-1 do
    If Pos(FIND, Memo1.Lines.Text)<>0 Then
    Begin
      Memo1.Lines.Clear;
    End;
  Memo1.Lines.SaveToFile('1.txt');
end;

И так тоже не получилось:

var
  i: integer;
begin
  Memo1.Lines.LoadFromFile('1.txt');
  for i:=0 to Memo1.Lines.Count-1 do
  if Memo1.Lines.Text='' then  
    Begin
      Memo1.Lines.Clear;
    End;
  Memo1.Lines.SaveToFile('1.txt');
end;

[Voody]

алгоритм (на горА):
1) в StringList-1 загоняем исходные строки
2) берем по очереди строки из StringList-1:
а) если пустая, берем следующую
б) если не пустая, то смотрим, есть ли такая строка в StringList-2. если есть, то берем следующую
в) если такой строки в StringList-2 нет, то записываем ее туда
3) повторяем до конца StringList-1

Такой алгоритм обрабатывает 100 тыс. строк ~ за 25 секунд

[Marsel737]

Voody, спс за подсказку, если не сложно примерный код не могли бы представить?

[notHaker]

Ну скажем так...

procedure DelClearStr(memo : TMemo);
var
  i : integer;
  bufstr : string;
begin
  i := 0;
  while i <= memo.lines.count - 1 do
  begin
    bufstr := memo.lines.strings[i];
    bufstr := trim(bufstr);
    if length(bufstr) <= 0 then
    memo.lines.delete(i)
    else
    inc(i);
  end;
end;

а насчёт повторяющихся строк сча соображу... чё нить получше. Соображать не буду... А нито тут мне глаза открыли, оказывается сейчас оператива измеряется гигами

1) в StringList-1 загоняем исходные строки
2) берем по очереди строки из StringList-1:
а) если пустая, берем следующую
б) если не пустая, то смотрим, есть ли такая строка в StringList-2. если есть, то берем следующую
в) если такой строки в StringList-2 нет, то записываем ее туда
3) повторяем до конца StringList-1

не хорошо так делать, быстро (не всегда, но в большинстве случаев), но не экономично. эх... застали бы вы те времена, когда кодеры каждый байт экономили...

[Voody]

Сообщение от notHaker

не хорошо так делать, быстро (не всегда, но в большинстве случаев), но не экономично. эх... застали бы вы те времена, когда кодеры каждый байт экономили...

а что экономить. не так уж и много жрет этот код. сейчас в компьютерах гигабайты памяти, а вы хотите экономить пару мегабайт))
как раз мне кажется, в такой задаче важно время выполнения


вот код (кнопку делал в своей программе для такой функции):

procedure TForm1.ClearButtonClick(Sender: TObject);
var Accounts, AccountsNew:TStringList;
    i:integer;
begin
 Accounts:=TStringList.Create;
 Accounts.LoadFromFile('accounts.txt');

 AccountsNew:=TStringList.Create;

 for i := 0 to Accounts.Count-1 do
   if (Accounts[i]<>'') and (AccountsNew.IndexOf(Accounts[i])=-1) // если строка не пустая и ее нет в AccountsNew, то добавляем ее туда
   then  AccountsNew.Add(Accounts[i]);

 AccountsNew.SaveToFile('new.txt');  
 Accounts.Free;
 AccountsNew.Free;
end;

[Marsel737]

Всем большое спасибо, реально помогли