Потоки и парсинг. Как воплотить

[Зод]

В двух словах. Если ставить критическую секцию то ВСЕ потоки будут ожидать пока завершится один. Если основная идея программы парсинг то потоки скорости не прибавят в таком случае.
Вопрос: как сделать полноценный поток с парсингом?
В идеале я вижу это так: Поток как копия программы, выполняет все действия и ни в чем не ограниченна. Но блин пока у меня скорости не чувствуется)

[evg_m]

Поток как копия программы, выполняет все действия

все потоки выполняют ОДНИ и те же действия с ОДИНАКОВЫМИ данными?

1.потоки должны работать с разными данными.
2.по возможности эти данные не должны пересекаться. Пересечение данных = критическая секция.

[Человек_Борща]

Организуйте хранилищеп отоков на основе TList, или напишите свой пул потоков.

[prey2009]

Всем привет, возник тот же вопрос. Пытаюсь сделать многопоточный парсер, но не получается синхронизировать потоки между собой, поэтому программа берет одну и ту же ссылку несколько раз (грузятся из стринг листа). Вот мой примерный код:

type
  TNewThread = class(TThread)
  private
    http: TIdHTTP;
    URL, Response: String;
    procedure ParseData;
  protected
    procedure Execute; override;
  public
    procedure Sync;
  end;

var
  CurIndex: Integer;
  URLList, ParsedData: TStringList;

procedure TNewThread.Sync;
begin
  Form1.StaticText1.Caption := 'Пропарсено: ' + IntToStr(CurIndex) + ' страниц';
end;

procedure TNewThread.ParseData;
begin
  // здесь инструкции парсинга страницы;
  ParsedData.Add('распарсенные данные');
end;

procedure TNewThread.Execute;
begin
   while (not Terminated) do
    begin
      URL := URLList[CurIndex];
      http := TIdHTTP.Create(nil);
      try
       Response := http.Get(URL);
      except
      end;
      ParseData;
      Inc(CurIndex);
      Synchronize(Sync);
      http.Free;
    end;
end;

Про критические секции читал, но правильно применить их не могу (потоки наоборот только еще больше рассинхронизируются). Причина скорее всего в глобальной переменной CurIndex, т.к. она используется всеми потоками одновременно.

[Пепел Феникса]

я бы сделал(при такой системе) еще один метод для синхрониз, и именно он будет брать строку из листа и увеличивать индекс.

[prey2009]

Сообщение от Пепел Феникса

я бы сделал(при такой системе) еще один метод для синхрониз, и именно он будет брать строку из листа и увеличивать индекс.

Спасибо за ответ. Попробовал так:

procedure TNewThread.Sync2;
begin
  URL := URLList[CurIndex];
  Inc(CurIndex);
end;

procedure TNewThread.Execute;
begin
   while (not Terminated) do
    begin
      Synchronize(Sync2);
      http := TIdHTTP.Create(nil);
      try
       Response := http.Get(URL);
      except
      end;
      Synchronize(Sync);
      ParseData;
      http.Free;
    end;
end;

Теперь ссылки одинаковые не берутся, но данные добавляются не по порядку (один поток опережает другой и добавляет свои данные первым), и отсчет строк сразу начинается с количества потоков (все потоки при создании выполняют синхронизацию и каждый увеличивает индекс)

[Пепел Феникса]

они не обязаны завершаться в том порядке в котором начали.

[prey2009]

Сообщение от Пепел Феникса

они не обязаны завершаться в том порядке в котором начали.

Мне как раз это и нужно И как сделать, чтобы потоки при запуске не увеличивали индекс на их количество?

[Пепел Феникса]

Мне как раз это и нужно

сделайте грамотную привязку потока, например если в гриде таблица, где первый столбец адрес прокси, а второй это состояние, то номер ячейки/адреса(должен храниться в потоке) будет использован для сообщения информации именно об этом потоке.
или же храните адрес и после парсинга используйте его чтоб дать понять что инфа именно об этом адресе.
а если же нужно строго по порядку, то один поток будет всего.

И как сделать, чтобы потоки при запуске не увеличивали индекс на их количество?

при запуске поток тут же берет себе адрес, логично же что индекс растет?

[prey2009]

Пепел Феникса, можете поподробнее о привязке потоков рассказать?А именно, как ее использовать в этом случае

Пока я вижу решение проблемы так: сделать, чтобы потоки ждали друг друга, пока у всех их не закончится получение страницы, а после этого каждый поток по очереди парсит свою страницу и записывает данные. Надеюсь, я в правильном направлении копаю?