Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Web программирование > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 17.04.2017, 23:24   #11
ADSoft
Старожил
 
Регистрация: 25.02.2007
Сообщений: 4,150
По умолчанию

Никак. Если у тебя нет доступа к их хосту )))
ADSoft вне форума Ответить с цитированием
Старый 17.04.2017, 23:42   #12
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Да, при условии что именно "внедрить" *

А так ну можно конечно отправлять запрос своему серверу, а оттуда доставать с того сайта симулируя действия пользователя HTTP запросами или вообще Selenium'ом.
Но зачем такой гемор нужен?
+ наверно заблокируют при большом числе запросов (с одного адреса же).
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 18.04.2017, 00:21   #13
Andrej_K
Форумчанин
 
Регистрация: 27.07.2013
Сообщений: 256
По умолчанию

Цитата:
Сообщение от ADSoft Посмотреть сообщение
Никак. Если у тебя нет доступа к их хосту )))
Зачем мне доступ к их хосту, если запросы их скрипт выполняет? Мне надо, чтобы их скрипт думал, что в поле запросы вводит человек, ну и потом выковыривать из DOM ответы.

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
А так ну можно конечно отправлять запрос своему серверу, а оттуда доставать с того сайта симулируя действия пользователя HTTP запросами или вообще Selenium'ом.
А зачем свой сервер нужен? Я что не могу с домашнего компьютера сделать тоже самое? Просветите)

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Но зачем такой гемор нужен?
Ну вот, такие звёзды на небе)))

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
+ наверно заблокируют при большом числе запросов (с одного адреса же).
Не заблокируют. Никто не собирается их бессовестно парсить . И запросов постоянных не будет: с десяток с интервалом в несколько секунд и то, при необходимости.

Последний раз редактировалось Alex11223; 18.04.2017 в 08:05.
Andrej_K вне форума Ответить с цитированием
Старый 18.04.2017, 09:37   #14
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Цитата:
Сообщение от Andrej_K Посмотреть сообщение
А зачем свой сервер нужен? Я что не могу с домашнего компьютера сделать тоже самое?
Что именно вы сделать хотите? Какая задача?
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 18.04.2017, 09:38   #15
ADSoft
Старожил
 
Регистрация: 25.02.2007
Сообщений: 4,150
По умолчанию

Просто это уже не совсем в разделе веб-разработки будет - пишите плагин к браузеру, или какое-то десктопное приложение которое будет эмулировать работу через браузер на сайте
ADSoft вне форума Ответить с цитированием
Старый 18.04.2017, 10:31   #16
Andrej_K
Форумчанин
 
Регистрация: 27.07.2013
Сообщений: 256
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Что именно вы сделать хотите? Какая задача?
На сайте есть строка ввода поискового запроса (не поисковик))) ). Я хочу спарсить некоторые подсказки из неё, которые ajax-сом выпадают при вводе. Ступор в том, что подсказки действуют только когда я на их странице. Запрос виден, его можно скопировать из dev tool, вставить в адресную строку, данные приходят. Но как это автоматизировать?
Вот запрос:
https://www.site.com/api/autocomplet...=1492495477024
И что такое в конце может быть "_=1492495477024"? Увеличивается на единицу с каждым запросом в dev tool. Но если это число не менять, а только менять параметр "q=…", то тоже действует, возвращает данные в json.
Как это автоматизировать с подстановкой параметра q из своей базы? Там, вроде, привязка к window.location и проверка на реальность события (эмуляция не прокатывает).

Цитата:
Сообщение от ADSoft Посмотреть сообщение
Просто это уже не совсем в разделе веб-разработки
Да я как бы не спец, не знал, куда задать, задал сюда. Уже про Selenium и самописный эмулятор ввода с клавиатуры на Си задумываюсь… (придётся научиться, не умею пока).Но, может, всё же, найдётся решение поизящнее. Тут главное хотя бы свой скрипт как-то внедрить на их открытую страницу. Но как… Я таких задач не решал никогда.

Последний раз редактировалось Alex11223; 18.04.2017 в 11:10.
Andrej_K вне форума Ответить с цитированием
Старый 18.04.2017, 10:47   #17
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

1492495477024 это текущее время в unix time.

Что за подсказки такие уникальные? Не проще их самому реализовать?

Вы хотите спарсить их один раз и потом использовать у себя эту статичную базу? Тогда да, можно и без сервера.


ЗЫ вообще "парсинг" неправильное название для этого, хоть и часто используемое.
Парсер это ж только "часть программы, преобразующей входные данные (как правило, текст) в структурированный формат. Парсер выполняет синтаксический анализ текста." https://ru.wikipedia.org/wiki/%D0%A1...82%D0%BE%D1%80

По английски часто называют grabber, scraper, наверно это более подходящие слова.

Цитата:
Сообщение от Andrej_K Посмотреть сообщение
на Си
А чего не сразу на ассемблере? Или вы не про C, а про C++ или вообще C#? (впрочем С++ тоже нет смысла брать для этого, проще что-то более высокоуровневое, С++ обычно берут ради производительности, а тут ж основное время будет занимать сеть, а не вычисления)
Цитата:
Сообщение от Andrej_K Посмотреть сообщение
про Selenium и самописный эмулятор ввода с клавиатуры
не надо ничего эмулировать самому, Селениум это умеет.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.

Последний раз редактировалось Alex11223; 18.04.2017 в 11:07.
Alex11223 вне форума Ответить с цитированием
Старый 18.04.2017, 11:55   #18
Andrej_K
Форумчанин
 
Регистрация: 27.07.2013
Сообщений: 256
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
1492495477024 это текущее время в unix time.
Да, я это сразу заметил, но оно увеличивается только на 1, с какой бы периодичностью я его не вводил. Вот и вопрос, почему так?

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Что за подсказки такие уникальные? Не проще их самому реализовать?
Нет, они отражают реальную статистику, которую я не могу собрать.

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Вы хотите спарсить их один раз и потом использовать у себя эту статичную базу? Тогда да, можно и без сервера.
Цели спереть (теперь правильно выражаюсь?)) ) всё нет, но иногда обращаться — да. Слишком много переть, — пока сопру, всё поменяется) Хотя, что значит переть? Я ничего не взламываю, просто заменяю ручной труд, на автоматический. Поэтому правильно будет — собрать.

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
А чего не сразу на ассемблере?
А на чём мне посылать «клавиатурные» нажатия обозревателю? На js? )

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
не надо ничего эмулировать самому, Селениум это умеет.
А к Селениуму можно БД прикрутить, чтоб сразу туда ответы писать и от туда же брать?

Последний раз редактировалось Alex11223; 18.04.2017 в 12:38.
Andrej_K вне форума Ответить с цитированием
Старый 18.04.2017, 12:46   #19
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Цитата:
Сообщение от Andrej_K Посмотреть сообщение
А на чём мне посылать «клавиатурные» нажатия обозревателю? На js? )
Да.

Ну или хотя бы AutoIt/Autohotkey, но обычно не нужно.


Цитата:
Сообщение от Andrej_K Посмотреть сообщение
А к Селениуму можно БД прикрутить, чтоб сразу туда ответы писать и от туда же брать?
Селениуму нет до этого никакого дела, хоть на принтер выводите.
Это просто библиотека для автоматизации браузера. С ее помощью можно (легко) выполнить какие-то действия на сайте и извлечь какие-то данные со страницы.
По какому алгоритму выполнять действия, какие данные извлекать и куда их потом записывать решать вам.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 18.04.2017, 23:25   #20
Andrej_K
Форумчанин
 
Регистрация: 27.07.2013
Сообщений: 256
По умолчанию

Тут выяснилось, что всё получается простым cURL-ом. Слона-то мы и не заметили))) Но это предварительная радость, не буду торопиться. Зато открыл для себя новые горизонты в виде тестирования и Selenium-а. Тоже полезно, может пригодиться.
Andrej_K вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Получить Font для подсказок (ToolTip) KOHCEPBATOP C# (си шарп) 0 21.03.2016 21:20
Ищу подсказок по VBA excel новичку stasun Microsoft Office Excel 23 03.06.2013 12:33
Программное изменение стилей подсказок в sHintManager roperd Компоненты Delphi 2 23.08.2011 18:39
StatusStrip вывод подсказок на него Casper-SC Общие вопросы .NET 12 22.02.2010 23:35
Система подсказок и поиск. GrindeX C++ Builder 3 19.11.2009 12:17