Парсинг сайтов: что лучше сделать, - веб-сервис или программу?

[Ottava]

Сообщение от Stanislav

если не понимаете темы, лучше не писать ничего.

Stanislav, разработкой систем защиты от парсинга (и парсингом сайтов) занимаюсь с 2009 года. Можно мне поднимать темы?

PS: Вопрос риторический, из темы удаляюсь.

Сообщение от Stanislav

если на сайте есть защита (частые обращения с одного IP, а есть системы анализирующие поведение юзера и т.д) то используйте прокси листы.

90% прокси расположены на хостингах, у меня они режутся в ipfw на серверах. А дальше уже работает второй эшелон обороны. После него - третий эшелон, для особо упорных.

Сообщение от Stanislav

сможете определить как я открыл страницу парсером или через броузер м?

Смогу. Но продолжать дискуссию в этом направлении не буду, ибо спаленная тему перестаёт работать.

[Stanislav]

Stanislav, разработкой систем защиты от парсинга (и парсингом сайтов) занимаюсь с 2009 года. Можно мне поднимать темы?

поздравляю, вы спустили лет насмарку.

90% прокси расположены на хостингах

цифру 90% из головы взяли? или 90% из тех адресов что вам известны?

И потом открою вам секрет. Если сайт действительно стоящий в плане контента и его просто необходимо спарсить, можно настроить поведение парсера так что вы не отличите его пользователя, будет щелкать по рандомным ссылкам, щелкать по картинкам и т.д да будет медленно но результат будет.

Смогу. Но продолжать дискуссию в этом направлении не буду, ибо спаленная тему перестаёт работать.

похоже на отмазку, какая спаленная тема, по чем я узнаю ваш способ защиты без исходников, а если я могу ее узнать в процессе работы и анализа, значит и узнаю как нить потом если нарвусь на такое. правильно?

Давайте интересно же, и вам будет профит 9 лет работы своей на практике проверите. зачем слова, давайте судить по делам.