|
|
|
Регистрация Восстановить пароль |
|||||||
| Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
||||
 |
|
|
|
Опции темы | Поиск в этой теме |
27.04.2010, 11:38
|
#1 |
|
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
Парсинг WEB ресурса
Добрый день требуется написать программу для сканирования сайтов.
В программе хранятся адреса ресурсов, требуется каждый из них просканировать на предмет совпадения с ключевым словом. Далее вывести адреса страниц которые подходят критериям поиска. Вопрос: если сайт реализовани на PHP, то вссе данные хранятся в БД, как мне просканировать все страницы ресурса. Помогите кто чем может. В C++ неселен.... переквалификация с Delphi на C++ 
|
|
|
|
27.04.2010, 20:58
|
#2 |
|
Старожил
Регистрация: 19.04.2010
Сообщений: 2,702
|
Есть такая хорошая программа - Offline Explorer.
|
|
|
|
|
28.04.2010, 00:09
|
#3 |
|
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
пишу программу для себя... для изучения.... так что нужна теория!
|
|
|
|
|
28.04.2010, 07:14
|
#4 | ||
|
Старожил
Регистрация: 15.02.2010
Сообщений: 15,829
|
Цитата:
Цитата:
|
||
|
|
|
|
28.04.2010, 09:01
|
#5 |
|
Форумчанин
Регистрация: 26.04.2010
Сообщений: 328
|
Могу посоветовать библиотеку curl для C
|
|
|
|
|
28.04.2010, 12:49
|
#6 |
|
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
суть такая поьзователь вводит сайт programmersforum.ru и ключевое слово для поиска, программа автомотом сканирует все страницы сайта и выводит результат ссылки на страницы где есть совподение.....
|
|
|
|
|
28.04.2010, 15:57
|
#7 |
|
Форумчанин
Регистрация: 26.04.2010
Сообщений: 328
|
оу, ну так рекурсивно следуешь по всем ссылкам( указывающим на site.name ) которые можешь найти на site.name и ищешь совпадение в тексте
 Но я чувствую, что будет это не быстро ) UPD: посещенные страницы, тоже было бы неплохо запоминать =) Последний раз редактировалось ozo; 28.04.2010 в 17:41. |
|
|
|
|
28.04.2010, 17:42
|
#8 |
|
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
вот вот..... но есть пару задумок... пользователь указал сайт.. программа составило дерево ссылок с названиями категорий... а далее искать только в тех категориях которые надо
|
|
|
|
|
28.04.2010, 17:43
|
#9 |
|
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
а ссылки уже хранить в БД
|
|
|
|
|
28.04.2010, 17:44
|
#10 | |
|
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
Цитата:
|
|
|
|
|
|
|
Похожие темы
|
||||
| Тема | Автор | Раздел | Ответов | Последнее сообщение |
| Загрузка ресурса в RichEdit | Volkogriz | Общие вопросы Delphi | 3 | 05.06.2014 08:57 |
| Запись файла на ПК с веб ресурса | PVD | Общие вопросы Delphi | 11 | 27.04.2010 16:23 |
| Замена ресурса (\ов) | forusing | Общие вопросы C/C++ | 4 | 30.03.2010 20:07 |
| Как открыть файл из ресурса | VladimirVB | Общие вопросы Delphi | 5 | 20.08.2009 21:18 |
| Извлечение ресурса в файл | JivotiK | Общие вопросы Delphi | 1 | 26.04.2007 11:48 |
