Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > .NET Frameworks (точка нет фреймворки) > C# (си шарп)
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 11.10.2011, 11:58   #1
likerRr
Пользователь
 
Регистрация: 12.10.2010
Сообщений: 12
По умолчанию Обрывается парсинг

Всем доброго времени суток. Есть простая функция считывания html кода интернет странички.

Код:
        public static void GG()
        {
            string content;
            var urls = new string[15];
            for (var i = 0; i < 15; i++)
            {
                urls[i] = "http://css.setti.info/servers/css/page/" + (i + 1) + "/";
            }
            var count = 0;
            foreach (var url in urls)
            {
                //Console.WriteLine("Идет задержка");
                //System.Threading.Thread.Sleep(5000);
                //Console.WriteLine("Задержка прошла \n" + url);
                try
                {
                    var req = (HttpWebRequest)WebRequest.Create(url);
                    var resp = (HttpWebResponse)req.GetResponse();
                    var sr = new StreamReader(resp.GetResponseStream(), Encoding.GetEncoding("windows-1251"));
                    content = sr.ReadToEnd();
                    sr.Close();
                }
                catch (Exception e)
                {
                    Console.WriteLine(e.Message);
                }  
            }            
        }
Если выполнить эту функцию, то она прервется на 7-8ой ссылке, парсинговый сайт вобще перестанет грузиться в браузере, а программа больше не выполняется (exception - невозможно соединиться с удаленным сервером, хотя пинг есть :\). Выручает реконект к интернету и только (куки чистил - не помогает).
НО, если раскоментить 3 строчки, то программа медленно, но уверенно доходит до конца и ничего не ломается (но при задержке менее 5000 снова не работает должным образом).
Ну и собственно вопрос, как заставить работать прогу без задержек?
likerRr вне форума Ответить с цитированием
Старый 11.10.2011, 18:05   #2
dampirik
Форумчанин
 
Регистрация: 02.07.2009
Сообщений: 722
По умолчанию

Хостинг провайдер блокирует надоедливого юзверя ;-)
А так Fiddler Вам в помощь...
dampirik вне форума Ответить с цитированием
Старый 11.10.2011, 19:35   #3
likerRr
Пользователь
 
Регистрация: 12.10.2010
Сообщений: 12
По умолчанию

спасибо)
а как-то без стороних программ можно справиться? Ну и естественно задержку убрать
likerRr вне форума Ответить с цитированием
Старый 12.10.2011, 00:25   #4
dampirik
Форумчанин
 
Регистрация: 02.07.2009
Сообщений: 722
По умолчанию

Fiddler'ом можно посмотреть что уходит от вас и что получаете..
Нет, разве что использовать проксирование каколибо или еще чтонить..
dampirik вне форума Ответить с цитированием
Старый 12.10.2011, 09:12   #5
likerRr
Пользователь
 
Регистрация: 12.10.2010
Сообщений: 12
По умолчанию

понятно. К сожалению фидлер не подойдёт,т.к. пользоваться програмкой буду не один. Попробую делать задержку не после каждого запроса, а через 6, т.е. тогда, когда сервер уже готов меня банить)
likerRr вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Макрос постоянно обрабатывает события. При открытии другой книги макрос обрывается. Ples Microsoft Office Excel 8 17.12.2016 18:15
Парсинг DeDoK Общие вопросы Delphi 8 02.02.2011 14:20
Теряются куки и сессия обрывается crashwin Работа с сетью в Delphi 0 15.12.2010 01:44