Парсинг страницы с кривой кодировкой

[gamer123]

Не получается никак распарсить, нужна помощь. В едит указываем ссыылку, по ней парсим линки в мемо1, с мемо1 берем линк, заходим на страницу и распарсиваем номер, ложим в мемо2 и так циклом. Номер не распарсивается потмоу что русский текст не может найти в коде страницы, т.к. кодировка кривая. UTFEncode, UTFDecode не помогли

unit Unit1;



interface



uses

  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,

  Dialogs, StdCtrls, IdBaseComponent, IdComponent, IdTCPConnection, IdTCPClient,

  IdHTTP, IdAntiFreezeBase, IdAntiFreeze;



type

  TForm1 = class(TForm)

    IdHTTP1: TIdHTTP;

    Button1: TButton;

    Memo1: TMemo;

    Edit1: TEdit;

    Button2: TButton;

    Memo2: TMemo;

    procedure Button1Click(Sender: TObject);

    procedure Button2Click(Sender: TObject);

  private

    { Private declarations }

  public

    { Public declarations }

  end;



var

  Form1: TForm1;



implementation



{$R *.dfm}



procedure TForm1.Button1Click(Sender: TObject);

var

  i:integer;

  page:string;

  load:string;

  url:string;

  ps:integer;

begin



      for i:=1 to 1000 do begin

        page:=IntToStr(i);

        load:=IdHTTP1.Get(''+Edit1.Text+'-p-'+page+'');

        load:=IdHTTP1.Get(Edit1.Text);

        ps:=Pos('>Следующая</a></div>',load);

        if ps=0 then

          begin

            break;

          end;

            while Pos(''+#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32+'<a href="',load) <> 0 do begin

              load:=copy(load,pos(''+#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32#32+'<a href="',load)+33,length(load));

              url:= copy(load,0,pos('"',load)-1);

              Memo1.Lines.Add(url);

            end;

    end;

    end;



procedure TForm1.Button2Click(Sender: TObject);

var

i:integer;

num:string;

load:string;

begin



for i:=0 to Memo1.Lines.Count do begin



load:=IdHTTP1.Get(Memo1.Lines[i]);

load:=AnsiToUTF8(load);



while Pos(':'+#32+'<strong>',load) <> 0 do begin

load:=copy(load,pos('<li>телефон:'+#32+'<strong>',load)+23,length(load));

              num:=copy(load,0,pos('</strong></li>',load)-1);

              Memo2.Lines.Add(num);

end;





end;





  end;

end.

[Пепел Феникса]

а зачем вам парсить всю эту кривизну?
ищите значащие данные, без ложных пробелов(32 вроде он)

[gamer123]

Сообщение от Пепел Феникса

а зачем вам парсить всю эту кривизну?
ищите значащие данные, без ложных пробелов(32 вроде он)

посмотрите код страницы. там иначе никак не получица. только с кривизной. или если использовать только тэги. то будет очень много мусора

[Пепел Феникса]

какой страницы?
и что надо вытянуть?

[gamer123]

Сообщение от Пепел Феникса

какой страницы?
и что надо вытянуть?

вторая кнопка. заходит на сфтраницы типа http://moscow.olx.ru/nokia-e66-iid-122046090 и дергает то что между тэгами <li>телефон: <strong> и </strong></li>, но т.к. кодировка страницы кривая, pos не может найти слово на русском

[Пепел Феникса]

да уж, это не кодировка кривая, а...

страница скорее всего в UTF8 кодирована, а не в ANSI, раскодируйте и ищите на здоровье(<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />, и не скорее всего, а точно)

в итог я так и не понял в чем кривизна кодировки, просто помните что кодировок много.

[GunSmoker]

Если язык не русский - то он кривой! Английский - кривой! Японский - кривой!

Если кодировка не Win1251 - то она кривая! UTF8 - кривая! KOI8-R - кривая!

А руки у меня не кривые, неее...

[GunSmoker]

Вникать.

[gamer123]

Сообщение от Пепел Феникса

да уж, это не кодировка кривая, а...

страница скорее всего в UTF8 кодирована, а не в ANSI, раскодируйте и ищите на здоровье(<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />, и не скорее всего, а точно)

в итог я так и не понял в чем кривизна кодировки, просто помните что кодировок много.

страница в ютф8 да. если я правильно понял, то инди по дефллту качает ее в ansi? это в utf кодировать надо? или можно в инди указать сразу, чтобы забирало в utf8?

[Пепел Феникса]

ИнДи качает её так как отдает сервер.
используйте UTF8ToANSI(например)