Рекурсивный сбор внутренних ссылок с сайта

[ZolanPro]

необходимо собрать все ссылки что есть на сайте (которые ведут к веб странциам - исключаем картинки и файлы). решил использовать рекурсию и регулярные выражения. с одной страницы ещё как-то поулчаеться собрать, а когда включаю рекурсивный сбор прога виснет. вот мой исходник. понимаю что всё достаточно криво риму любые предложения по улучшению и оптимизации кода

unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, IdBaseComponent, IdComponent, IdTCPConnection, IdTCPClient,
  IdHTTP, StdCtrls, RegExpr,XPMan;

type
  TForm1 = class(TForm)
    Edit1: TEdit;
    Memo1: TMemo;
    Button1: TButton;
    IdHTTP1: TIdHTTP;
    Label1: TLabel;
    procedure Linker(URL:String);
    procedure Button1Click(Sender: TObject);
    procedure FormCreate(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}
var
  Checked,Remain:TStringlist;

procedure TForm1.Linker(URL:String);
var
  Cache,link: string;
  n,i:integer;
  reg: TRegExpr;
begin
  Cache:=IdHttp1.Get(URL);
  Checked.Add(url);
  Memo1.Lines.Add(url);
  reg:=TRegExpr.Create;
  memo1.Clear;
  n:=0;
  try
    reg.Expression:='<a[^>]+href=([^ >]+)';
    if reg.Exec(Cache) then begin
      repeat
        link:=reg.Match[0];
        //Äîðàáàòûâàåì ññûëêó
        if (ord(link[length(link)])=39) or (link[length(link)]='"')
        or (link[length(link)]=' ') or (link[length(link)]='>') then
          delete(link,length(link),1);
        delete(link,1,pos('href=',link)+4);
        if (ord(link[1])=39) or (link[1]='"')
        or (link[1]=' ') or (link[1]='>') then
          delete(link,1,1);
        //Äîáàâëÿåì íà÷àëî ñàéòà
        if (pos('http://',link)=0) and ((link[1]='\') or (link[1]='/')) then link:=Edit1.Text+link;
        if (pos('http://',link)=0) and (link[1]<>'\') and (link[1]<>'/') and (Edit1.Text[length(edit1.text)]<>'/') then link:=Edit1.Text+'/'+link;
        //Ïîñëåäíÿÿ ïðîâåðêà è äîáàâëÿåì â ìåìî
        if (pos('mailto:',link)=0) and (pos(edit1.text,link)<>0) then
          if (pos(link,checked.Text)=0) and (pos(link,remain.Text)=0) then
            Remain.Add(link);
        n:=n+1;
      until not reg.ExecNext;
    end else
      Memo1.Lines.Add('Ññûëêè íå íàéäåíû!');
  finally
    reg.Free;
  end;
  Label1.Caption:=IntToStr(n);
  Cache:='';
if remain.Count<>0 then
  for i:=0 to remain.Count-1 do
   Memo1.Lines.Add(remain[i]);
    //linker(remain[i]);
end;

procedure TForm1.Button1Click(Sender: TObject);
begin
linker(edit1.text);
end;

procedure TForm1.FormCreate(Sender: TObject);
begin
Checked:=TStringList.create;
Remain:=TStringList.create;
end;

end.

[mihali4]

А где у вас то, что вы называете рекурсией ?
Я вижу только закомментированную строку, которая просто организует бесконечный цикл...
Вы проанализируйте свой код - begin..end еще никто не отменял.

[ZolanPro]

//linker(remain[i]);
мм по сути это и есть рекурсия сорь просто кидал исходник где тестил сам сбор ссылок.

[mihali4]

Я так и не понял - дошло или нет ?

if remain.Count<>0 then
  for i:=0 to remain.Count-1 do
begin
   Memo1.Lines.Add(remain[i]);
   linker(remain[i]);
end;

[ZolanPro]

Да не в этом дело! Бегин и энд убраны потому что тестил с добавлением найденных ссылок либо в Мемо либо их обработка этойже функцией - рекурсия. Оба варианта не предусмотрены! Поэтмуо и нет операторных скобок.

[evg_m]

обычно страницы сайта имеют такую функцию как НА ГЛАВНУЮ (вернуться) (при чистой рекурсии мы и получим бесконечный цикл

Главная страница -> какая-то страница ->вернуться снова главная

вы как-то учитываете это (да и вообще перекрестные ссылки на страницвх) в своей программе.

[ZolanPro]

да учитывал я это
if (pos(link,checked.Text)=0) and (pos(link,remain.Text)=0) then
Если уже проверена ссылка но не лезем