Парсинг translate.ru

[Sianukvil]

Добрый вечер, ребята!
Нужна ваша помощь: нужно написать парсер перевода на сайте translate.ru, но я не могу ссобразить, как... Итак, постараюсь объяснить.
Откроем исходный код индексной страницы(для нумерации строк открою в Dreamweaver):

- строка 40 : <form name="aspnetForm" method="post" action="Default.aspx" id="aspnetForm"> (тут все ясно: переменные методом post отправляются сценарию Default.aspx)

- строка 553 : <textarea name="ctl00$SiteContent$MA_trasnlfo rm$sourceText" rows="2" cols="20" id="ctl00_SiteContent_MA_trasnlform _sourceText" title="Введите или скопируйте текст для перевода" class="rwin" onkeyup="textLimit();" onchange="textLimit();" onSelect="captureRefers();" onfocus="pasteText(this);" onblur="blurText(this);" onkeypress="return ctrl_enter(event, this.form);">text</textarea> (область для ввода исходного текста. Немного смущает имя...)

- строка 629 : <input type="submit" name="ctl00$SiteContent$MA_trasnlfo rm$bTranslate" value="Перевести" onclick="if(!checkST())return false;WebForm_DoPostBackWithOptions (new WebForm_PostBackOptions(&quot;ctl00 $SiteContent$MA_trasnlform$bTransla te&quot;, &quot;&quot;, false, &quot;&quot;, &quot;/Default.aspx/Text&quot;, false, false))" id="ctl00_SiteContent_MA_trasnlform _bTranslate" class="translit" title="[Ctrl]+[Enter]" /> (кнопка, при нажатии на которую, выполняется ряд не совсем понятных мне ф-ий)

Итак, я хочу получить следущий результат: вводим в скрипт на php url, нечто типа http://translate.ru/default.aspx?text=текстДляПеревода и парсим перевод. Вся загвоздка именно в передаче post-переменной методом get: ничего не работает(к примеру, http://translate.ru/default.aspx?ctl00$SiteContent$MA_t rasnlform$sourceText=текстДляПерево да(я говорил про это нехорошее имя)).

Короче, я думаю вы поняли, чего я хочу. Ссори за длинный пост, за отнятое время, но прошу помочь...

ЗЫ С asp я не очень, только php, поэтому, если проблема заключается только в незнании каких-то ньюансов технологии, сильно не матюкайте..

[ssdm]

Вся загвоздка именно в передаче post-переменной методом get: ничего не работает

А ты их и таким образом и не передашь.

[ssdm]

http://webi.ru/webi_articles/6_7_f.html
Вторая часть статьи должна помочь.
А именно:

// после отправки данных можно получить ответ сервера и прочитать информацию выданную файлом, в который отправили данные...
// читаем данные построчно и выводим их. Конечно, эти данные можно использовать по своему усмотрению.
while($gets=fgets($fp,2048))
{
print $gets;
}

[mv28jam]

asp учитывает тип браузера клиента и большинство переменных окружения - те ваш бот должен "тащить" все переменные окружения

[mv28jam]

Кстати в такой же ситуации как у вас(у меня было посложнее), я пришел к выводу что надо писать бота на Delphi и написал вообщем-то.

[Sianukvil]

ssdm, mv28jam, спасибо за ответы. Короче нужно сформировать post-запрос, отправить на сервер, считать результат....Теперь не знаю, как корректно сформировать запрос, т.к. через форму отправляется миллион непонятных переменных. поэтому вопрос - можно ли каким-либо образом выковырнуть из браузера или откуда-то еще примерный запрос, на основе которого можно будет сформировать свой. Поверхностно погуглил на эту тему - ничего вразумительного не нашел...

Насчет переменных окружения...если честно, сложновато для меня. Наверное, сначала попробую все варианты с простой отправкой запросов, если не получится, будем изучать...

И еще :

PHP код:

<textarea name="ctl00$SiteContent$MA_trasnlfo rm$sourceText" rows="2" cols="20" id="ctl00_SiteContent_MA_trasnlform _sourceText" title="Введите или скопируйте текст для перевода" class="rwin" onkeyup="textLimit();" onchange="textLimit();" onSelect="captureRefers();" onfocus="pasteText(this);" onblur="blurText(this);" onkeypress="return ctrl_enter(event, this.form);">text</textarea> 


ctl00$SiteContent$MA_trasnlfo rm$sourceText - это имя переменной, какое-то извращенное и значки доллара меня смущают.

Отправка одной переменной ctl00$SiteContent$MA_trasnlfo rm$sourceText с каким-нибудь значением методом, описанным на webi.ru не работает...

Много всего понаписал, поэтому главная мысль: как узнать, какой запрос формирует браузер для отправки на сервер?

[Пепел Феникса]

поэтому вопрос - можно ли каким-либо образом выковырнуть из браузера или откуда-то еще примерный запрос, на основе которого можно будет сформировать свой. Поверхностно погуглил на эту тему - ничего вразумительного не нашел..

а снифферы для кого придумали?

[Sianukvil]

Пепел Феникса, спасибо.

Запрос вытянул. При отправке на сервер, он возвращает 200 код, т.е. ОК. Но вместо html-кода появляются краказябры:

• Самое начало:
  PHP код:

  HTTP/1.1 200 OK Server: nginx/0.6.35 Date: Thu, 24 Dec 2009 15:48:01 GMT Content-Type: text/html; charset=utf-8 Transfer-Encoding: chunked Connection: keep-alive Keep-Alive: timeout=20 X-Powered-By: ASP.NET X-AspNet-Version: 2.0.50727 Set-Cookie: UserParams=PROMTlang=ru&UID=978038453; domain=.translate.ru; expires=Tue, 24-Dec-2019 15:56:42 GMT; path=/ Set-Cookie: selDirText=selectedDir=er&selectedTpl=General; expires=Fri, 24-Dec-2010 15:56:42 GMT; path=/ Cache-Control: private Content-Encoding: gzip a ‹������ 6313 нЅks#З‘(ъYЉРиi{`HвIО‰
e|ЋH 9¤4‡С�љ@“ 4ЬЭаcЖЬђ-ЫлЅТZ»Юu¬ЏwэЬwгЬЅ'Оh¤±FТhqцЂбь’›™UЭ]ЭиБЗШЮ]Ќ-и®GVVVVfU>ЮxэоЌйыҐтцКЊФ°›єґІ1µёP’д‘Tj+WJҐ¦ЛУТѓщтТў”I¦ҐІ©ґ,НЦЊ–ў§R3ЛІ$7l»=‘J%ЏrIГ¬§Кk©cl+ѓ•щЧ[Ё™¬Щ5yтЌЧпRЏЗMЅeBЪЙЊЏЏік¬°ЄФ&пЪљ*«руµы-]k©#Э........... 

• В середине те же краказябры
• В конце:
  PHP код:

  400 Bad Request 


Пытался изменить кодировку вывода ф-ией iconv() - не помогло

Скажите, как исправить...

[mv28jam]

ASP понимает что ваш бот не браузер! Поэтому вы и получаете ошибку. Ваш бот должен иметь все признаки браузера - те как минимум тащить за собой все переменные окружения и сторить полные header'ы.
90% что создатели сайта специально сделали защиту от ботов.

[Sianukvil]

Сообщение от mv28jam

ASP понимает что ваш бот не браузер! Поэтому вы и получаете ошибку. Ваш бот должен иметь все признаки браузера - те как минимум тащить за собой все переменные окружения и сторить полные header'ы.
90% что создатели сайта специально сделали защиту от ботов.

Все ясно... изучил другие варианты - не устроили, придется писать бота. Не буду создавать новую тему, а спрошу здесь: mv28jam, не подскажите, как в Дельфях передать эти самые переменные окружения на сервер, чтоб он(сервер) корректно мог их использовать. Если можно, напишите источник информации, который вы использовали при написании вышеупомянутого бота...с остальным, думаю, разберусь сам. Зараннее спасибо!