|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
10.12.2018, 15:19 | #1 |
2 the Nation Glory
Старожил
Регистрация: 27.05.2014
Сообщений: 3,289
|
Как организовать чтение информации с сайта?
Хочу написать программу для сбора информации с сайта hotlіne c раздела "АНАЛОГИ" и все предложения для каждой позиции.
так как моих познаний не хватило что-бы разобраться в результате какого запроса к сайту я могу получить список, я решил что буду делать через Selenium - открыл страницу, нашел елементы, сохранил. Вижу алгоритм работы: Код:
Кто умер, но не забыт, тот бессмертен.
Лао-Цзы. |
10.12.2018, 22:30 | #2 |
Старожил
Регистрация: 22.05.2007
Сообщений: 9,085
|
Я бы взял HtmlAgilityPack и не забивал себе голову открытыми страницами. Загрузил страницу - распарсил и ничего никуда программно нажимать не нужно.
искать элементы соответственно через XPath. Вообще выполняются запросы вида: запрос цен на товар: https://hotline.ua/ax/febi-bilstein_32378/load-prices/ возвращается вполне себе понятный json запрос аналогов: https://hotline.ua/ax/febi-bilstein_...=1544469434582 возвращается кусок html кода страницы, содержащий вкладку Аналоги. повозиться только нужно с куками и разобраться что за число передаётся в параметре _. Так просто данные не отдаст, нужно сделать вид, что зашли как все нормальные люди, получить какой-нибудь идентификатор сессии или типа того. Алгоритм зависит от целей. Найти самый дешевый товар или его аналог - это одно. Собрать все возможные варианты - другое. Учитывать при этом наличие - третье. |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Как организовать админку для сайта? | alextrof94 | PHP | 2 | 04.09.2013 13:37 |
Чтение Информации Из Файла, C# | 803 | Общие вопросы .NET | 2 | 24.01.2013 08:31 |
Чтение информации с Ext2/3 | medved6216 | Общие вопросы Delphi | 0 | 22.10.2011 17:52 |