Как обработать ошибки при скачке html-страниц?

[delphyok]

Здравствуйте!

Очень нужно скачивать интернет-страницы из интернета, чтобы впоследствии работать с их html-кодом как с массивом текстовых строк. Из книг и форумов узнал, что этого можно добиться с помощью компонента IdHTTP. Вот пример, с применением копирования html-кода страницы в TMemo:

procedure TForm1.Button1Click(Sender: TObject);
begin
Memo1.Lines.Text:=idHTTP1.Get('http://programmersforum.ru');
end;

После экспериментов с использованием, возникли следующие вопросы:

1. Заметил, что при заходе на некоторые адреса без www, скажем 'http://yandex.ru' вылетает ошибка. Вопрос, проблему можно устранить, только лишь добавлением www в адрес? Может ли возникнуть обратная ситуация, что наоборот, c www работать не будет?

2. Также возникает ошибка в случае, если недоступна страница (сервер выдает стандартное окно ошибки) или сервер.

Как лучше обработать эти исключительные ситуации, помогите пожалуйста

[Пепел Феникса]

1) не должно.
2) использовать защищенные блоки(

try
except
end;

)

[Квэнди]

1. Ошибка возможна. Потому что вы выполняете запрос к не существующей странице (не существует страницы http://programmersforum.ru). Далее все зависит от сервера. В основном сервер отдает корректно настроенную индексную страницу, но это не всегда, так как индексная страница может оказаться просто контроллером, который будет уже сам решать куда вас отправлять. Эта ситуация должна решаться с помощью включения поддержки редиректа в IdHTTP (handleredirects)

[delphyok]

Сообщение от Пепел Феникса

2) использовать защищенные блоки

try
except
end;

Большое спасибо за наводку. Почитал по теме защищенных блоков, помогло

Но возник еще один вопрос, выяснил, что оказывается все не так просто, т.е. недостаточно задать url в методе idHTTP1.Get. Например, не распознаются некоторые динамические страницы, страницы со скриптами, а также, если допустим взять url какого-нибудь поисковика, скажем, яндекса - http://yandex.ru/yandsearch?rpt=rad&...BA%D0%B2%D0%B0, с поисковым запросом в урле, то html-код получить также не удается. Что делать в этих случаях? Хотя бы в каком направлении искать ответ?

Сообщение от Квэнди

1. Ошибка возможна. Потому что вы выполняете запрос к не существующей странице (не существует страницы http://programmersforum.ru). Далее все зависит от сервера. В основном сервер отдает корректно настроенную индексную страницу, но это не всегда, так как индексная страница может оказаться просто контроллером, который будет уже сам решать куда вас отправлять. Эта ситуация должна решаться с помощью включения поддержки редиректа в IdHTTP (handleredirects)

Спасибо, посмотрю про редирект

[Квэнди]

Но возник еще один вопрос, выяснил, что оказывается все не так просто, т.е. недостаточно задать url в методе idHTTP1.Get. Например, не распознаются некоторые динамические страницы, страницы со скриптами, а также, если допустим взять url какого-нибудь поисковика, скажем, яндекса - http://yandex.ru/yandsearch?rpt=rad&...BA%D0%B2%D0%B0, с поисковым запросом в урле, то html-код получить также не удается. Что делать в этих случаях? Хотя бы в каком направлении искать ответ?

С данным запросом все удается без выставления дополнительных параметров результаты поиска Get-ом получались.
Тестировал на D2009 с Indy 10.5.6 rev.3744

[delphyok]

Не знаю, у меня не работает , выдает ошибку - "...EIdHTTPProtocolException with message 'HTTP/1.1 301 Moved Permanently'". Среда - Дельфи 2006, попробую переустановить на более позднюю версию, возможно проблема решиться.

[Пепел Феникса]

тут не в Дельфе дело.

у меня 6-ка и все шикарно.
а попробуйте использовать блоки(выше я говорил)
и запускать вне IDE