Ошибка 429 при получении страницы. Через браузер на страницу пускает.

[Aleksandr H.]

Не поставил задержки в цикле и теперь при запуске метода

public static async Task<string> GetRequest( string url)
        {
            string data;
            using (var client = new HttpClient())
            {
                client.DefaultRequestHeaders.Add("X-Requested-With", "XMLHttpRequest");
                data = await client.GetStringAsync(url);
            }
            return data;
        }

получаю ошибку

System.Net.Http.HttpRequestExceptio n: 'Код состояния ответа не указывает на успешное выполнение: 429 (Too Many Requests).'

В Postman
в разделе body

<h1>Защита от роботов</h1>
        <p>
        Вы попали сюда, вероятно, потому что с вашего ip адреса было сделано слишком много запросов к сайту за единицу времени.
            <br/>
        Введите текст, который вы видите на картинке, для того, чтобы вернуться к работе с сайтом.
        </p>

в разделе Headers

Server →nginx
Date →Tue, 23 Apr 2019 12:42:42 GMT
Content-Type →text/html; charset=utf-8
Connection →keep-alive
X-Ips-Suspection →Blacklisted
Cache-Control →no-store, no-cache, max-age=0
Pragma →no-cache
Set-Cookie →ccc=; Max-Age=0
Content-Length →1467

Как я понял, брошен в блеклист.

Если ввести в браузере вручную путь, то сайт открывается нормально.

Как же по ІР блокируется?

[p51x]

А откуда вы взяли про блокировку по айпи?

[Aleksandr H.]

Сообщение от p51x

А откуда вы взяли про блокировку по айпи?

увидел фразу

с вашего ip адреса было сделано слишком много запросов

и сам для себя так решил.

[Aleksandr H.]

Сообщение от p51x

А откуда вы взяли про блокировку по айпи?

Ето был вопрос или вы таким способом намекали на какое-то решение? Если другое, то я намека не понял.

[p51x]

Естественно, вопрос, т.к. блокировки по IP нет в вашем случае. Решение простое - смотреть, что не нравится сайту. Например, вам явно сообщили, что вы слишком мноо запросов делаете в единицу времени. Добавьте задержки, продумайте логику.

[Aleksandr H.]

Сообщение от p51x

Добавьте задержки

Не запускал код со вчерашнего дня.

Запускаю 1 запрос на получение 1 страницы

var result = await GetRequestAsync(StartUrl);

.....

public static async Task<string> GetRequestAsync(string url, bool AddDefaultRequestHeaders = false)
        {
            string data;

//            HttpClientHandler handler = new HttpClientHandler()
//           {
//                Proxy = new WebProxy("http://109.123.4.12:3128"),
//                UseProxy = true,
//           };
//            using (var client = new HttpClient(handler))


            using (var client = new HttpClient())
            {
                if (AddDefaultRequestHeaders)
                {
                    client.DefaultRequestHeaders.Add("X-Requested-With", "XMLHttpRequest");
                    //client.DefaultRequestHeaders.UserAgent.ParseAdd("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36");
                }
                try
                {
                    data = await client.GetStringAsync(url);
                }
                catch (Exception ex)
                {
                    Debug.Indent();
                    Debug.WriteLine(ex.Message);
                    Debug.Unindent();
                    data = "";
                }
            }
            return data;
        }

Код состояния ответа не указывает на успешное выполнение: 429 (Too Many Requests).

Может сам метод GetStringAsync делает много запросов?

[p51x]

Для начала сравните, что посылает браузер и вы. Возможно ему нужен рефер или токен. Не советую слать X-Requested-With:XMLHttpRequest, так вполне ботов могут отсекать.