Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Скриптовые языки программирования > PHP
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 12.04.2013, 22:49   #1
timeStoper
Новичок
Джуниор
 
Регистрация: 15.02.2007
Сообщений: 2
Вопрос Написание парсера или грабера на php, как писать?

Собственно сабж.

Кто писал расскажите как вы их пишете. Существует ли одна технология их написания, или их несколько?

Кто какие готовые классы использует? И какие вообще есть классы для написания парсеров?

Видел класс Snoopy, Кто то пользуется функцией file_get_contents, Кто то использует библиотеку cURL, кто то domDocument.

И вот вопрос к вам, что вообще выбрать для написания парсера? Ведь наверно существует очень много всяких готовых библиотек?

Что посоветуете?

Надо чтобы скрипт мог работать через proxy, с поддержкой cookie, с подменой HTTP referer и заменой USER_AGENT и работать в несколько потоков, например параллельно парсить разные страницы со своими настрйками proxy HTTP referer и заменой USER_AGENT.
timeStoper вне форума Ответить с цитированием
Старый 12.04.2013, 23:14   #2
eval
Подтвердите свой е-майл
 
Регистрация: 29.08.2012
Сообщений: 4,011
По умолчанию

руками пишут, и никак иначе, только сначала моного читали и думали
eval вне форума Ответить с цитированием
Старый 13.04.2013, 00:02   #3
timeStoper
Новичок
Джуниор
 
Регистрация: 15.02.2007
Сообщений: 2
По умолчанию

Цитата:
Сообщение от eval Посмотреть сообщение
руками пишут, и никак иначе, только сначала моного читали и думали
спасибо КЭП)
А по делу можешь что нить сказать?
timeStoper вне форума Ответить с цитированием
Старый 09.05.2013, 15:28   #4
MoBLer
Пользователь
 
Аватар для MoBLer
 
Регистрация: 30.12.2010
Сообщений: 91
По умолчанию

Для парсинга использовал Simple HTML DOM библиотеку, насчет остального не знаю, может cURL немного поможет.
Я тебе помог, добавь отзыв)))))
Статьи по программированию
MoBLer вне форума Ответить с цитированием
Старый 09.05.2013, 16:21   #5
kuba1981
Форумчанин
 
Регистрация: 22.08.2012
Сообщений: 155
По умолчанию

Вот сравнение библиотек http://www.inattack.ru/article/php-s...l#.UYuUl9AmV5Y

Последний раз редактировалось kuba1981; 09.05.2013 в 17:07.
kuba1981 вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц



Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
PHP скрипт парсера контента(проблема с формами) Kriato Помощь студентам 2 14.09.2012 07:31
Написание парсера Raskrutchik Фриланс 5 23.04.2012 14:18
MFC, понятия не имею как писать эту прогу, на с или с++ Ольга790 Visual C++ 7 23.03.2012 22:00
Как программно назначить привилегию или писать в реестр через WinApi ? UnD)eaD)Snake Win Api 16 27.09.2007 20:20