Запрос поисковой системе

[Лубышев]

Мне поставили очень сложную, н мой взгляд, задачу, и я не знаю даже с чего начать.
Мне нужно как то программно научиться обращается к интерфейсу поисковых систем интернета (типа google, yandex и т.д.) причем это сделать параметрические (то есть с каким то параметром).
То есть программа, реализованная на C# должна задавать запросы поисковой системе.

[rpy3uH]

а чего тут сложного для google так
__http://www.google.ru/search?q=program
поиск по слову program, если слово не английское, то надо через коды символов (Unicode, если не ошибаюсь)
__http://www.google.ru/search?q=%D0%BF%D1%80%D0%BE%D0%B3%D 1%80%D0%B0%D0%BC%D0%BC%D0%B0
запрос по слову "программа"

если яндекс, то так
__http://yandex.ru/yandsearch?text=program
__http://yandex.ru/yandsearch?text=%D0%BF%D1%80%D0%BE% D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B0

Все остальные параметры опционально. Делаешь несколько запросов и не трудно понять, какой параметр за что отвечает.

[Лубышев]

Мне просто нужно получить программно список ссылок, которые найдены поисковой системой по данному запросу.

[OrdJONY]

а потом нужно парсить страничку=) Как вариант еще можно выделять кусок страницы где ссылки и загонять в XDocument а там уже использовать LINQ для поиска

[Hollander]

Только учти, что на странице результатов есть ссылки на другие ресурсы(типа помощь, реклама и т.д.). Тут нужно смотреть саму специфику страницы результатов.

[Viteef]

Сообщение от Hollander

Только учти, что на странице результатов есть ссылки на другие ресурсы(типа помощь, реклама и т.д.). Тут нужно смотреть саму специфику страницы результатов.

По стилям можно легко определить. Для гугла - <h3 class=r>.

Может быть такая проблема, если глубоко парсить, можно словить такое

Приносим свои извинения...

... но ваш запрос похож на запросы, автоматически рассылаемые компьютерным вирусом или вредоносным программным обеспечением. В целях защиты наших пользователей мы не можем обработать ваш запрос немедленно.

Мы восстановим ваш доступ в кратчайшие сроки, поэтому повторите попытку через некоторое время. Пока же, если вы считаете, что ваш компьютер или локальная сеть могут быть заражены, то можете запустить приложение для проверки на наличие вирусов или удаления шпионских программ, чтобы убедиться, ваши компьютеры не заражены вирусами или вредоносным ПО.

[Лубышев]

Я только вот не пойму, что это за кодировка используется в поисковой системе как в google так и yandex
например слово "привет" кодируется как

%D0%BF%D1%80%D0%B8%D0%B2%D0%B5%D1%82

[Viteef]

Для конверта используй функции UrlEncode, UrlDecode.

[Лубышев]

Так, с запросами разобрался я. Но мне обьяснили, что парсить страницу - не лучший вариант. Вроде бы можно напрямую обратиться к google и он в ответ выдаст список ссылок.

[Viteef]

Насчет гугла не в курсе, но у яндекса есть API, можно делать не более 1000 запросов с 1 ip.