Веб-краулинг

[Coyote68]

Есть функция, которая заходит на сайт, берет с него html-код, и потом из этого кода извлекается информация.
Функция:
private static string getResponse(string url)
{
try
{
string txt = String.Empty;
WebRequest req = WebRequest.Create(url);
WebResponse resp = req.GetResponse();
using (Stream stream = resp.GetResponseStream())
{
using (StreamReader sr = new StreamReader(stream))
{
txt = sr.ReadToEnd();
}
}
Console.WriteLine(txt);
return txt;
}
catch
{
string q = "ERROR";
Console.WriteLine("We can not open the web-site");
return q;
}
}
Заходит на сайт, скажем, http://academic.research.microsoft.com/, но не заходит на тот же сайт, только с запросом, например, http://academic.research.microsoft.c...h?query=petrov. Причем, с других сайтов программа извлекает html-код и с главной страницы и со страницы, на которую переходим по запросу. Не подскажите, в чем дело???

[Alex11223]

Выводите текст экзепшна и велика вероятность, что узнаете в чем дело.

catch (Exception ex)
{
    Console.WriteLine(ex); // или ex.Message

    string q = "ERROR";
    return q;
}

[Coyote68]

Исправил, изначально выдавался код запрашиваемой страницы, но позже начала вылезать ошибка (502) дефект шлюза

[Alex11223]

"позже" это как? Ну видимо слишком часто обращались и забанили вас.

А зачем все эти WebRequest'ы и т.п.? Я бы WebClient использовал, или HttpClient в .NET 4.5

using System.Net;

...

            var webClient = new WebClient();

            string html = webClient.DownloadString(url);

            Console.WriteLine(html);