Универсальный парсер

[gamer123]

Добрый вечер. Делаю парсер с многими функциями и застопорился на нескольких моментах. Использовал компонент IEParser, документации ненашел. Прошу помощи. Суть программы пока что - вбиваем в едит запрос, и по этому запросу парсит гугл и выводит напарсенное в мемо. Тут возникло 2 вопроса.
1. При старте проги ошибка undeclared identifier 'Go', ругается на строчку IEParser1.Go;
2. Данный код позволяет парсить только 100 результатов выдачи, не до конца понял, как сделать чтобы парсило все (там вроде не больше 10000). По моему через цикл както...

Код:

unit Unit1;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls, Buttons, ExtCtrls, ComCtrls, IEParser;

type
  TForm1 = class(TForm)
    IEParser1: TIEParser;
    Memo1: TMemo;
    Edit1: TEdit;
    StatusBar1: TStatusBar;
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
    procedure IEParser1Anchor(Sender: TObject; hRef, Target, Rel, Rev, Urn,
      Methods, Name, Host, HostName, PathName, Port, Protocol, Search,
      Hash, AccessKey, ProtocolLong, MimeType, NameProp: String;
      Element: TElementInfo);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}

procedure TForm1.Button1Click(Sender: TObject);
begin
IEParser1.URL:='http://www.google.com/ie?q='+Edit1.Text+'&num=100&hl=en&lr=&newwindow=1&c2coff=1';
IEParser1.Go;
end;

procedure TForm1.IEParser1Anchor(Sender: TObject; hRef, Target, Rel, Rev,
  Urn, Methods, Name, Host, HostName, PathName, Port, Protocol, Search,
  Hash, AccessKey, ProtocolLong, MimeType, NameProp: String;
  Element: TElementInfo);
begin
if Pos('google', href) = 0 then Memo1.Lines.Add(href);
StatusBar1.SimpleText:='Find links: '+IntToStr(Memo1.Lines.Count+1);
end;

end.

Тогда хрен с этим компонентом, посоветуйте пожалуйста что нибуть более адекватное для достижения моей цели

[Пепел Феникса]

Pos,PosEx,Copy
сойдет?))

[DomiNick]

Хм... Не слышал об таком компоненте...
Дополню - получать текст страницы через IdHTTP.Get() - из вкладки Indy Clients (на иконке глобус такой синеватый)...

[gamer123]

Сообщение от DomiNick

Хм... Не слышал об таком компоненте...
Дополню - получать текст страницы через IdHTTP.Get() - из вкладки Indy Clients (на иконке глобус такой синеватый)...

спасибо сам пытался седня с помощью indy сделать. делфи 7. ккойто уг-сайт открывается норм а гугл и другие подобные сайты не хочет - выбивает программы ошибка exconverterror, пишут что изза устаревшей версии инди в делфи 7, пытался обновить, запарол д7 и забил на это качаю 2010 версию. как думаете в ней не должно быть проблем?

И снова таки добрый вечер) Хочется все таки доделать до конца. Скачал таки делфи 2010, 2 дня не хотеола вставать на хр, на висте только завелась..ну да ладно. Вобщем теперь сам разбираюсь в своем коде...

procedure TForm1.Button1Click(Sender: TObject);
var
s:string;
a:string;
begin
s:=IdHTTP1.Get('http://www.google.com/search?q=123');
a:=Copy(s, pos('<a href="',s)+9, pos('" class',s)-pos('<a href="',s)-9);
Memo1.Lines.Add(a);
end;

end.

пока что минимум функций, есть сложность в несккольких вопросах. Во первых, переменная s подозреваю должна быть массивом? Второе - это чтото нетак написал при парсинге..кусок дергает непонятно что там. Ссылки которые нужно парсить выглядят в выдаче гугла так - <a href="http://www.123greetings.com/" class=l><em>123</em> Greetings</a>, само собой, нужно чтобы выдергивало http://www.123greetings.com/. 10 ссылок на странице. Подскажите как организовать цикл для парсинга всех 10 ссылок со страницы

[Пепел Феникса]

строка это массив символов
второе см мой пост.

[gamer123]

Сообщение от Пепел Феникса

строка это массив символов
второе см мой пост.

имею ввиду нужен двумерный массив, чтобы в мемо разместить ссылки столбиком?

[Пепел Феникса]

Lines.Add добавляет строку каждый раз как вызывается(вызовите 10 раз, будет 10 строк)

[gamer123]

a:=Copy(s,PosEx('>',s,Pos('<a href=',s))+1,PosEx('class',s,PosEx( '>',s,Pos('<a href=',s)-1))-PosEx('>',s,Pos('<a href=',s))-1); правильно будет? только почемуто PosEx пишет undeclared identifier. По поводу Lines.Add - логично. А как сделать чтобы каждую ссылку забил в мемо? В данном коде 1ю ссылку впишет и все

все проблемы решил. осталась теперь проблема чтобы после того как спармил 10 линков перелистывал страницу. страниц всего 1000 максимум, но в действительности может быть меньше и если это не учесть то может быть плохо )

выглядит таким образом:

http://www.google.com/search?hl=en&q=ЗАПРОС&start=0

после того как спарсили значение 0 меняем на 1, спарсили, на 2..и так поехали до 1000. с учетом того что может 1000 и не быть.

Пытался делать таким образом

procedure TForm1.Button1Click(Sender: TObject);
var
i:integer;
s:string;
a:string;
begin
for i:=0 to 1000 do begin
s:=IdHTTP1.Get('http://www.google.com/search?hl=en&q=ЗАПРОС&start='+i+'');
a:=Copy(s, pos('<a href="',s)+9, pos('" class',s)-pos('<a href="',s)-9);
Memo1.Lines.Add(a);
end;
end;

end.

Но ругается на i - несооствествие типов string и integer. В принципе логично. Но как сделать чтобы листало страницы

[AlDelta]

Но ругается на i - несооствествие типов string и integer.

http://www.delphibasics.ru/StrToInt.php

[gamer123]

Сообщение от AlDelta

http://www.delphibasics.ru/StrToInt.php

сделал, но страницы не листает. парсит 10 раз одно и тоже

procedure TForm1.ParseClick(Sender: TObject);
var
  i:integer;
  a:string;
  s:string;
  urls:string;
begin
for i:= 0 to 10 do begin
a:=IntToStr(i);
  s:=IdHTTP1.Get('http://www.google.'+Zone.Text+'/search?hl=en&q='+Keyword.Text+'&start='+a+'');
  while pos('<h3 class="r"><a href',s) <> 0 do begin
    s := copy(s,pos('<h3 class="r"><a href=',s)+23,length(s));
    urls:= copy(s,0,pos('class',s)-3);
    Memo1.Lines.Add(urls);
    s:=copy(s,pos('">',s),length(s));
  end;  //цикл
  end;
end;
end.