Проблема с потоками (парсинг всех ссылок сайта)

[chex01]

Доброго времени суток дорогие форумчане!
Делаю программу для сбора всех ссылок с сайта. Есть список ссылок для обработки и N-ое количество потоков, а так же критическая секция(КС). При выходе из КС у потока есть номер строки(CurLnk) которую нужно обрабатывать.

Изначально в списке одна ссылка, соответственно её обрабатывает поток получивший CurLnk:=0, т.е. самый первый поток. Пока поток не обработал эту самую ссылку список пуст (*После обработки в список добавляются новые ссылки полученные с обработанной ранее ссылки) и для остальных потоков попросту нет данных для обработки, но свой номер строки они получают, а это чревато пропуском количеству ссылок равному количеству потоков с пустым значением.

Как можно В ПОТОКЕ подождать входных данных, т.е. чтобы например у второго потока (с CurLnk:=1) пустая строка получила ссылку после того как появятся ссылки необработанные в первом потоке.

procedure TForm1.Button2Click(Sender: TObject);
begin
  Lnk := -1;
  Work:=true;

  Form1.Memo_List.Lines.Add(Form1.url_link.Text); // для самой первой ссылки

for Thread := 1  to StrToInt(Edit1.Text) do
  TNewThread.Create(false);

  Thread := StrToInt(Edit1.Text);
end;

procedure TNewThread.Execute;
var
  CurLnk: integer;
  HTTP: TIdHTTP;
begin
 while Work do
  begin
   CS.Enter;
     Inc(Lnk);
     if Form1.Memo_List.Lines.Count <> Form1.Memo_Ok.Lines.Count + Form1.Memo_Error.Lines.Count
     then CurLnk := Lnk else Work := false;
   CS.Leave;

   if Work then
    begin
    //// как же подождать входных данных??? ////////
     while Form1.Memo_List.Lines[CurLnk] = '' do Sleep(5000);
    /////////////////////////////////////////////////////////

     URL := Form1.Memo_List.Lines[CurLnk];

     HTTP := TIdHTTP.create(nil);
     HTTP.HandleRedirects := true;

       try
        Page := HTTP.Get(URL);
        Rez := 1;
       except
        if pos(URL,Form1.Memo_Error.Text) = 0 then
        Rez := 0;
       end;

     HTTP.Free;
     Synchronize(Sync);
    end;
  end;

 dec(Thread);
 if Thread = 0 then ShowMessage('Все ссылки найдены!');
end;

procedure TNewThread.Sync;
var
  link : string;
  reg: TRegExpr;
begin
 case Rez of
   0:begin  // Ошибка HTTP
          Form1.Memo_Error.Lines.Add(URL);
     end;
   1:begin  // добавляем в список проверенных после проверки на повторение
          if pos(URL,Form1.Memo_OK.Text) = 0 then
          Form1.Memo_OK.Lines.Add(URL);

          reg := TRegExpr.Create;
          try
            reg.Expression:='<a[^>]+href=([^ >]+)';
            if reg.Exec(Page) then
            begin
              repeat
                link:=reg.Match[0];
                // Обрезка ссылки
                if (ord(link[length(link)])=39) or (link[length(link)]='"')
                or (link[length(link)]=' ') or (link[length(link)]='>') then
                  delete(link,length(link),1);
                delete(link,1,pos('href=',link)+4);
                if (ord(link[1])=39) or (link[1]='"')
                or (link[1]=' ') or (link[1]='>') then
                  delete(link,1,1);
                // Редактирование ссылки (если нет полного адреса)
                if (pos('http://',link)=0) and ((link[1]='\') or (link[1]='/')) then link:=Form1.url_link.Text + link;
                if (pos('http://',link)=0) and (link[1]<>'\') and (link[1]<>'/') and (Form1.url_link.Text[length(Form1.url_link.text)]<>'/') then link:=Form1.url_link.Text+'/'+link;
                if (pos('mailto:',link)=0) and (pos(Form1.url_link.text,link)<>0) then
                // Если не проверена добавляем в очередь
                if (pos(link,Form1.Memo_Ok.Lines.Text)=0) and (pos(link,Form1.Memo_List.Text)=0) then
                   Form1.Memo_List.Lines.Add(link);
              until not reg.ExecNext;
                end;
                finally
                  reg.Free;
                  Page := '';
                end;
              end;
          end;
end;

[eval]

это пять !

[chex01]

Сообщение от eval

это пять!

Предложите другой вариант реализации парсинга в потоке?

Строка ниже только для того что-бы не забивать список ошибок пустыми строками:

//// как же подождать входных данных??? ////////
     while Form1.Memo_List.Lines[CurLnk] = '' do Sleep(5000);
/////////////////////////////////////////////////////////

[eval]

при чем тут парсинг, тут до парсинга еще далеко, тут надо начинать с вопроса а зачем и для чего нужны потоки?

[chex01]

Сообщение от eval

надо начинать с вопроса а зачем и для чего нужны потоки?

Будьте так любезны объяснить в чём моя ошибка.

[Человек_Борща]

Предложите другой вариант реализации парсинга в потоке?

Угу, регулярные выражения и без гемороя.

при чем тут парсинг, тут до парсинга еще далеко, тут надо начинать с вопроса а зачем и для чего нужны потоки?

Список сайтов опрашивается.

[eval]

Угу, регулярные выражения и без гемороя.

там они и применяются, токо странно, мягко говоря, как и все остальное

вопрос не в том что автор хочет сделать, а в том что он не понимает что делает

[chex01]

Сообщение от Человек_Борща

регулярные выражения и без гемоРроя

Сообщение от eval

там они и применяются

Как уже заметил многоуважаемый eval, который не поленился посмотреть "код", Я их использую.

Сообщение от eval

он не понимает что делает

Как я понимаю, то что я написал:
1) Создаём потоки. Кол-во указываем в Edit1.Text
2) Каждый поток берет адрес из списка
3) Загоняем в Page код страницы (если нет ошибки)
4) Регулярными выражениями вытягиваем со страницы ссылки
5) Добавляем ссылки в конец списка
6) переходим к пункту 2...

[Человек_Борща]

Я их использую.

Даже в TestRegExprStudio есть спец. выражение для поиска ссылок ftp:// http:// попробуйте его.

[chex01]

Сообщение от Человек_Борща

попробуйте его.

Я чётко поставил вопрос. У меня, как я считаю, нет проблем с парсингом ссылок. Проблема подробно описана в первом посте.
Огромная просьба, действительно знающих людей, помочь.