Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Скриптовые языки программирования > PHP
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 28.01.2016, 01:19   #1
Aiden
Пользователь
 
Регистрация: 12.09.2007
Сообщений: 34
По умолчанию curl через tor не закрывает соединение

В общем суть проблемы такова:
Написал скриптик для парсинга страниц, работающий через Тор, с использованием curl. У меня на локальной машине все работало отлично, но после переноса на сервер заказчика, скрипт работать перестал - отрабатывает 3-4 страницы и выкидывает проверку на робота.

Записал хидеры запросов на локальной машине и на сервере (примеры приведены ниже), из явных отличий только то, что сервер не закрывает запрос после обработки (не генерирует "Closing connection", из-за чего следующий запрос идет уже по новому каналу). При этом curl_close отрабатывается, и принудительное закрытие соединения через CURLOPT_FORBID_REUSE не помогает. Ниже приведены хидеры с обоих машин, с указанием версий ПО. С чем может быть связанна проблема?

Linux - Ubuntu, LAMP, tor 0.2.7.6, proxy - privoxy
Код:
* Hostname was found in DNS cache
*   Trying ::1...
* connect to ::1 port 9050 failed: Connection refused
*   Trying 127.0.0.1...
* SOCKS4 communication to avtobazar.ua:80
* Hostname was NOT found in DNS cache
* SOCKS4 connect to 95.67.18.91 (locally resolved)
* SOCKS4 request granted.
* Connected to localhost (127.0.0.1) port 9050 (#3)
> GET /toyota-yaris-2007-kiev-1-6103126-1.html HTTP/1.1
User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:38.0) Gecko/20100101 Firefox/38.0
Host: avtobazar.ua
Accept: */*
Referer: http://avtobazar.ua/

< HTTP/1.1 200 OK
< Date: Wed, 27 Jan 2016 20:21:38 GMT
< Cache-Control: no-cache, no-store, max-age=0, must-revalidate
< Pragma: no-cache
< Expires: 0
< X-XSS-Protection: 1; mode=block
< X-Content-Type-Options: nosniff
< X-Robots-Tag: noindex,follow
< Content-Type: text/html; charset=utf-8
< Vary: Accept-Encoding,User-Agent
< Transfer-Encoding: chunked
< 
* Connection #3 to host avtobazar.ua left intact
Win, Denwer, tor 0.2.6.10, установлен как браузер
Код:
* About to connect() to proxy localhost port 9050 (#0)
*   Trying 127.0.0.1...
* connected
* Connected to localhost (127.0.0.1) port 9050 (#0)
> GET /toyota-yaris-2007-kiev-1-6103126-1.html HTTP/1.1
User-Agent: Mozilla/5.0 (Windows NT 6.1; rv:38.0) Gecko/20100101 Firefox/38.0
Host: avtobazar.ua
Accept: */*
Referer: http://avtobazar.ua/

< HTTP/1.1 200 OK
< Date: Wed, 27 Jan 2016 10:54:37 GMT
< Cache-Control: no-cache, no-store, max-age=0, must-revalidate
< Pragma: no-cache
< Expires: 0
< X-XSS-Protection: 1; mode=block
< X-Content-Type-Options: nosniff
< X-Robots-Tag: index, follow
< Content-Type: text/html; charset=utf-8
< Vary: Accept-Encoding,User-Agent
< Transfer-Encoding: chunked
< 
* Connection #0 to host avtobazar.ua left intact
* Closing connection #0
Aiden вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Авторизация и загрузка файлов через Curl Виктор Сурин PHP 1 11.07.2014 17:46
отправка json через curl к C# CodeNOT PHP 5 10.04.2013 10:31
Авторизация в yandex через cURL MyXa PHP 3 09.09.2012 22:31
Посоветуйте по загрузке через CURL gefard PHP 2 10.08.2012 04:00
Проблемы с POST запросом через cURL LonRv PHP 0 28.12.2009 17:56