|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
|
Опции темы | Поиск в этой теме |
17.04.2017, 23:24 | #11 |
Старожил
Регистрация: 25.02.2007
Сообщений: 4,178
|
Никак. Если у тебя нет доступа к их хосту )))
|
17.04.2017, 23:42 | #12 |
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
Да, при условии что именно "внедрить" *
А так ну можно конечно отправлять запрос своему серверу, а оттуда доставать с того сайта симулируя действия пользователя HTTP запросами или вообще Selenium'ом. Но зачем такой гемор нужен? + наверно заблокируют при большом числе запросов (с одного адреса же).
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. |
18.04.2017, 00:21 | #13 | |
Форумчанин
Регистрация: 27.07.2013
Сообщений: 256
|
Зачем мне доступ к их хосту, если запросы их скрипт выполняет? Мне надо, чтобы их скрипт думал, что в поле запросы вводит человек, ну и потом выковыривать из DOM ответы.
Цитата:
Ну вот, такие звёзды на небе))) Не заблокируют. Никто не собирается их бессовестно парсить . И запросов постоянных не будет: с десяток с интервалом в несколько секунд и то, при необходимости. Последний раз редактировалось Alex11223; 18.04.2017 в 08:05. |
|
18.04.2017, 09:37 | #14 |
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
Что именно вы сделать хотите? Какая задача?
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. |
18.04.2017, 09:38 | #15 |
Старожил
Регистрация: 25.02.2007
Сообщений: 4,178
|
Просто это уже не совсем в разделе веб-разработки будет - пишите плагин к браузеру, или какое-то десктопное приложение которое будет эмулировать работу через браузер на сайте
|
18.04.2017, 10:31 | #16 |
Форумчанин
Регистрация: 27.07.2013
Сообщений: 256
|
На сайте есть строка ввода поискового запроса (не поисковик))) ). Я хочу спарсить некоторые подсказки из неё, которые ajax-сом выпадают при вводе. Ступор в том, что подсказки действуют только когда я на их странице. Запрос виден, его можно скопировать из dev tool, вставить в адресную строку, данные приходят. Но как это автоматизировать?
Вот запрос: https://www.site.com/api/autocomplet...=1492495477024 И что такое в конце может быть "_=1492495477024"? Увеличивается на единицу с каждым запросом в dev tool. Но если это число не менять, а только менять параметр "q=…", то тоже действует, возвращает данные в json. Как это автоматизировать с подстановкой параметра q из своей базы? Там, вроде, привязка к window.location и проверка на реальность события (эмуляция не прокатывает). Да я как бы не спец, не знал, куда задать, задал сюда. Уже про Selenium и самописный эмулятор ввода с клавиатуры на Си задумываюсь… (придётся научиться, не умею пока).Но, может, всё же, найдётся решение поизящнее. Тут главное хотя бы свой скрипт как-то внедрить на их открытую страницу. Но как… Я таких задач не решал никогда. Последний раз редактировалось Alex11223; 18.04.2017 в 11:10. |
18.04.2017, 10:47 | #17 |
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
1492495477024 это текущее время в unix time.
Что за подсказки такие уникальные? Не проще их самому реализовать? Вы хотите спарсить их один раз и потом использовать у себя эту статичную базу? Тогда да, можно и без сервера. ЗЫ вообще "парсинг" неправильное название для этого, хоть и часто используемое. Парсер это ж только "часть программы, преобразующей входные данные (как правило, текст) в структурированный формат. Парсер выполняет синтаксический анализ текста." https://ru.wikipedia.org/wiki/%D0%A1...82%D0%BE%D1%80 По английски часто называют grabber, scraper, наверно это более подходящие слова. А чего не сразу на ассемблере? Или вы не про C, а про C++ или вообще C#? (впрочем С++ тоже нет смысла брать для этого, проще что-то более высокоуровневое, С++ обычно берут ради производительности, а тут ж основное время будет занимать сеть, а не вычисления)не надо ничего эмулировать самому, Селениум это умеет.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. Последний раз редактировалось Alex11223; 18.04.2017 в 11:07. |
18.04.2017, 11:55 | #18 | |
Форумчанин
Регистрация: 27.07.2013
Сообщений: 256
|
Да, я это сразу заметил, но оно увеличивается только на 1, с какой бы периодичностью я его не вводил. Вот и вопрос, почему так?
Нет, они отражают реальную статистику, которую я не могу собрать. Цитата:
А на чём мне посылать «клавиатурные» нажатия обозревателю? На js? ) А к Селениуму можно БД прикрутить, чтоб сразу туда ответы писать и от туда же брать? Последний раз редактировалось Alex11223; 18.04.2017 в 12:38. |
|
18.04.2017, 12:46 | #19 | |
Старожил
Регистрация: 12.01.2011
Сообщений: 19,500
|
Да.
Ну или хотя бы AutoIt/Autohotkey, но обычно не нужно. Цитата:
Это просто библиотека для автоматизации браузера. С ее помощью можно (легко) выполнить какие-то действия на сайте и извлечь какие-то данные со страницы. По какому алгоритму выполнять действия, какие данные извлекать и куда их потом записывать решать вам.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом. |
|
18.04.2017, 23:25 | #20 |
Форумчанин
Регистрация: 27.07.2013
Сообщений: 256
|
Тут выяснилось, что всё получается простым cURL-ом. Слона-то мы и не заметили))) Но это предварительная радость, не буду торопиться. Зато открыл для себя новые горизонты в виде тестирования и Selenium-а. Тоже полезно, может пригодиться.
|
|
Опции темы | Поиск в этой теме |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Получить Font для подсказок (ToolTip) | KOHCEPBATOP | C# (си шарп) | 0 | 21.03.2016 21:20 |
Ищу подсказок по VBA excel новичку | stasun | Microsoft Office Excel | 23 | 03.06.2013 12:33 |
Программное изменение стилей подсказок в sHintManager | roperd | Компоненты Delphi | 2 | 23.08.2011 18:39 |
StatusStrip вывод подсказок на него | Casper-SC | Общие вопросы .NET | 12 | 22.02.2010 23:35 |
Система подсказок и поиск. | GrindeX | C++ Builder | 3 | 19.11.2009 12:17 |