Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Web программирование > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 03.11.2020, 22:45   #1
LexGam
Пользователь
 
Регистрация: 13.11.2012
Сообщений: 11
По умолчанию Парсинг сайта. Задачка на засыпку.

Приветствую всех гуру.

Вопрос не привязан к конкретному языку программирования, не знал в какой раздел лучше его разместить.

Проблема в следующем - был парсер, который парсил сайт вайлдберис для сбора статистики. Анализировалась конкретная категория и просматривались страницы с товарами в порядке увеличения по сути переходя по ссылкам увеличивая номер страницы "?page=1" и так далее. Парсер работал до недавнего времени.

Сейчас, если, перейти на первую страницу какой то категории, к примеру на эту https://www.wildberries.ru/catalog/a...a-volos?page=1

а потом изменить номер страницы, например на 2, то мы снова увидим товары с первой страницы, хотя в ссылке вверху будет стоять ?page=2. Аналогично если перейти вниз страницы и нажать номер страницы не левой кнопкой мыши а к примеру открыть ссылку в новой вкладке - ссылка будет для второй страницы, но товары будут с первой. И так изменяя номер страницы вручную или открывая в новой вкладке мы будем иметь товары с первой страницы. Однако если левой кнопкой нажимать номер страницы внизу, товары будут открываться новые.

Есть ещё один момент: Откройте каталог, перейдите внизу страницы на какую нибудь другую страницу. Перейдите на страницу какого то товара. После этого в браузере нажмите НАЗАД. Вы вернётесь на список товаров с первой страницы хотя в ссылке будет та страница которую вы выбрали. В общем, что называется перемудрили.

Собственно вопрос: пожалуйста, помогите понять как можно загрузить следующую страницу (HTML код) с товарами в парсере в данной ситуации. Перебирал разные варианты, но решения к сожалению не нашёл.
LexGam вне форума Ответить с цитированием
Старый 04.11.2020, 08:01   #2
ADSoft
Старожил
 
Регистрация: 25.02.2007
Сообщений: 4,150
По умолчанию

Скорее всего они перешли к Аякс погрузке содержимого по клику. Без привязки к адресной строке
Смотрите в инструменты разработчика по f12, xhr запросы, увидите по какому адресу обращается и с какими параметрами
ADSoft вне форума Ответить с цитированием
Старый 04.11.2020, 13:19   #3
Black Fregat
Программист
Участник клуба
 
Аватар для Black Fregat
 
Регистрация: 23.06.2009
Сообщений: 1,772
По умолчанию

У меня вообще никаких страниц нет. Все товары показываются одной лентой по мере прокрутки
Black Fregat вне форума Ответить с цитированием
Старый 04.11.2020, 22:32   #4
LexGam
Пользователь
 
Регистрация: 13.11.2012
Сообщений: 11
По умолчанию

Цитата:
Сообщение от Black Fregat Посмотреть сообщение
У меня вообще никаких страниц нет. Все товары показываются одной лентой по мере прокрутки
Надо приписать вконце ?page=1...2...3 - раньше это работало, а теперь нет.

Насчёт запросов по F12 - да, я их смотрел, но ссылки там содержат какие то коды, которые отвечают за состав товаров на странице, сложно понять какие коды нужно прописать в запросе чтобы получить то что нужно.
LexGam вне форума Ответить с цитированием
Старый 04.11.2020, 23:48   #5
ADSoft
Старожил
 
Регистрация: 25.02.2007
Сообщений: 4,150
По умолчанию

А кто сказал что должно быть легко?
ADSoft вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Парсинг сайта. Lazarr Фриланс 2 30.05.2019 19:01
Парсинг сайта Sumy-ua C# (си шарп) 4 06.03.2015 15:05
Парсинг сайта bodqa C# (си шарп) 3 01.04.2013 14:31
парсинг сайта Jadson Работа с сетью в Delphi 0 14.05.2012 23:30
Парсинг сайта AnToHa-KiLL Общие вопросы Delphi 3 30.06.2009 08:22