Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Delphi программирование > Работа с сетью в Delphi
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 14.10.2014, 02:17   #1
jjioiu
 
Регистрация: 13.10.2014
Сообщений: 3
По умолчанию парсинг

Кто нибудь может помочь с парсингом. Я только недавно начала заниматься этим вопросом. Начала с авито впринципе и в работе бы пригодилась програмка. Главная цель изучить. Пока получилось только спарсить все URL и ID с первой страницы. Помогите пожалуйста.
jjioiu вне форума Ответить с цитированием
Старый 14.10.2014, 05:08   #2
uberchel
Участник клуба
 
Аватар для uberchel
 
Регистрация: 19.01.2009
Сообщений: 1,455
По умолчанию

А чем конкретно помогать? Вы же парсите URL и ID, значит уже умейте работать с pos, posEx, delete, copy ? а если да, то могу посоветовать только использовать регулярные ворожения, для этого вам понадобится компонент regexpr.
uberchel вне форума Ответить с цитированием
Старый 14.10.2014, 07:28   #3
Stilet
Белик Виталий :)
Старожил
 
Аватар для Stilet
 
Регистрация: 23.07.2007
Сообщений: 57,792
По умолчанию

Можно использовать ActiveX IE.
Вот примерно так: http://www.programmersforum.ru/showthread.php?t=262558
I'm learning to live...
Stilet вне форума Ответить с цитированием
Старый 14.10.2014, 19:51   #4
jjioiu
 
Регистрация: 13.10.2014
Сообщений: 3
По умолчанию

Я использовала regexpr. Не пойму в каком нарправлении дальше двигаться. Как зациклить на все страницы? И правильная идея вначале спарсить все URL со страницы затем в каждую заходить или одну спарсила потом зашла затем след спарсила? И еще думаю возникнуть проблемы т.к. они защищаются от парсинга плюс номера телефонов в картинке.
jjioiu вне форума Ответить с цитированием
Старый 14.10.2014, 20:03   #5
Stilet
Белик Виталий :)
Старожил
 
Аватар для Stilet
 
Регистрация: 23.07.2007
Сообщений: 57,792
По умолчанию

Цитата:
т.к. они защищаются от парсинга плюс номера телефонов в картинке.
Хо! Так с этого и нужно было начинать. Может и не выйдет даже добраться до страницы, а ты уже парсинг пишешь.
I'm learning to live...
Stilet вне форума Ответить с цитированием
Старый 16.10.2014, 10:06   #6
Mifody
Форумчанин
 
Регистрация: 12.02.2009
Сообщений: 215
По умолчанию

Цитата:
Начала с авито
В корне не верно, там и бан IP и прочие прелести . Уж лучше какой-нить простенький интернет магазин поковырять.
Цитата:
И правильная идея вначале спарсить
Глубоко параллельно, что то, что другое. зависит от поточности и от личного удобства.
Цитата:
возникнуть проблемы т.к. они защищаются от парсинга плюс номера телефонов в картинке
Вот вот, см. мой первый вопрос. Причем защита телефона это самое простое в данной ситуации
Помог с вопросом - тыркаем в весы, Вам не сложно, а мне приятно
Mifody вне форума Ответить с цитированием
Старый 19.10.2014, 22:24   #7
jjioiu
 
Регистрация: 13.10.2014
Сообщений: 3
По умолчанию

Цитата:
Сообщение от Mifody Посмотреть сообщение
В корне не верно, там и бан IP и прочие прелести . Уж лучше какой-нить простенький интернет магазин поковырять.

Глубоко параллельно, что то, что другое. зависит от поточности и от личного удобства.

Вот вот, см. мой первый вопрос. Причем защита телефона это самое простое в данной ситуации
этим меня он привлек. по этому и прошу помощи, с простым сама бы справилась))
jjioiu вне форума Ответить с цитированием
Старый 19.10.2014, 23:13   #8
Человек_Борща
Старожил
 
Аватар для Человек_Борща
 
Регистрация: 30.12.2009
Сообщений: 11,442
По умолчанию

Цитата:
Я использовала regexpr. Не пойму в каком нарправлении дальше двигаться. Как зациклить на все страницы?
У страниц есть навигатор.
Изучаем, какой запрос уходить чтоб получить след. выборку данных, запоминаем запрос, смотрим куда там вставить 20 чтоб попасть на 20 страницу.
И погнали...

Собрали ссылки, добавили +1 к странице, получили след. страницу, собрали ссылки, снова +1 и так далее..
Ну и проверка, что страницы не закончились(брать макс. возможный отображаемый номер страницы в навигаторе).

Цитата:
этим меня он привлек. по этому и прошу помощи, с простым сама бы справилась))
Это вы так думаете... а то что я выше написал и есть простенькое, пагинаторы на 70% сайтов есть, вымирающая технология.

А ещё ещё AJAX загрузка данных на страницу, без её перезагрузки - вот где ад для разработчиков парсеров
AJAX сейчас в моде.

Кстати у IE есть клевая фишка, если конкретнее это программный доступ к DOM. Можно свои JS внедрять... я таким макаром XPath к html приспособил. Очень облегчает жизнь.

Последний раз редактировалось Человек_Борща; 19.10.2014 в 23:19.
Человек_Борща вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
парсинг Nonesa C# (си шарп) 3 01.06.2014 18:21
Парсинг WeezyWayne Общие вопросы Delphi 6 26.04.2014 18:29
парсинг gunguru PHP 1 07.06.2012 11:49
Парсинг Gudzik11 Общие вопросы Delphi 6 15.04.2012 21:51
Парсинг tigrend PHP 8 02.10.2011 00:09