|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
28.03.2014, 22:08 | #1 |
Пользователь
Регистрация: 31.05.2009
Сообщений: 37
|
Спайдер, имитация работы браузера
Доброго времени суток! Появилась задачка написать спайдер, который будет залезать в подкатегории и считывать информацию(минимальную цену, айди) c 'этогоhttp://www.pricegrabber.com/cameras/ сайта. Возникла следующая проблема. Страничка с товаром отображает ассортимент постранично, а урл этих страничек генерируется где то на сайте(выцеплял запрос на переход странички, один из параметров генерируется динамически). Отсюда пришел к выводу, что проще сымитировать работу браузера и тогда в командной строке будет достаточно просто указать номер страницы...однако как это сделать? для подключения использую curl, настройки использую следующие:
PHP код:
|
30.03.2014, 14:00 | #2 |
Форумчанин
Регистрация: 31.05.2011
Сообщений: 316
|
Вот как у меня получилось, сначала заходим на первую страницу категории, получаем все необходимые данные и дальше уже можем свободно перемещатся по страницам, просто указывая номер.
PHP код:
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Имитация интерфейсов в С++ | Diablero | Общие вопросы C/C++ | 7 | 25.09.2013 15:28 |
Имитация(!) | asteits | JavaScript, Ajax | 4 | 27.10.2011 17:42 |
Имитация работы на компьютере | Pavk | Операционные системы общие вопросы | 5 | 17.07.2011 16:59 |
Интерактивный учебник, имитация работы приложений(Delphi) | VDGamma | Фриланс | 2 | 23.03.2011 23:08 |