Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Скриптовые языки программирования > PHP
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 15.07.2015, 15:29   #1
JGalt
Пользователь
 
Регистрация: 15.05.2013
Сообщений: 41
По умолчанию Парсинг через crul большего объема

Добрый день! Пытаюсь спарсить через crul несколько тысяч страниц сайта. Через некоторое время данные перестают обновляться.
Увеличил max_execution_time, но проблема не пропала. Что подскажете?
JGalt вне форума Ответить с цитированием
Старый 15.07.2015, 16:18   #2
Andkorol
Старожил
 
Регистрация: 31.05.2010
Сообщений: 3,301
По умолчанию

Цитата:
Сообщение от JGalt Посмотреть сообщение
Что подскажете?
Что воровать чужой контент – это нехорошо.
Cкорее всего, сервер-жертва блокирует IP из-за большого количества http-запросов. Типа DDoS-защиты.
Andkorol вне форума Ответить с цитированием
Старый 15.07.2015, 17:09   #3
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Причем тут max_execution_time? Или паузу добавить между запросами, или прокси (или несколько серверов).
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 31.07.2015, 16:36   #4
xen
Пользователь
 
Регистрация: 13.03.2007
Сообщений: 45
По умолчанию

Как то была похожая проблема. Найти хороших бесплатных прокси не удалось и т.к. у меня был динамический ip адрес, который при перезагрузке роутера обновляется, я отправлял curl запрос на перезагрузку роутера, в это время на несколько секунд делал sleep и парсил уже с новым ip
xen вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Сортировка в combobox от большего к меньшему? Dux Помощь студентам 6 30.04.2013 16:13
Ищу обоину большего разрешения. MooNDeaR Свободное общение 2 13.08.2011 13:51
паскаль. нахождение большего. Oda33 Помощь студентам 3 25.03.2011 23:22
Нахождения большего и меньшего числа в C++ ALESHA03TH Общие вопросы C/C++ 12 25.12.2010 04:41
Вывод id из базы [от большего к меньшему] webber9989 PHP 7 22.06.2010 16:42