|
|
Регистрация Восстановить пароль |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
|
Опции темы | Поиск в этой теме |
27.04.2010, 11:38 | #1 |
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
Парсинг WEB ресурса
Добрый день требуется написать программу для сканирования сайтов.
В программе хранятся адреса ресурсов, требуется каждый из них просканировать на предмет совпадения с ключевым словом. Далее вывести адреса страниц которые подходят критериям поиска. Вопрос: если сайт реализовани на PHP, то вссе данные хранятся в БД, как мне просканировать все страницы ресурса. Помогите кто чем может. В C++ неселен.... переквалификация с Delphi на C++ |
27.04.2010, 20:58 | #2 |
Старожил
Регистрация: 19.04.2010
Сообщений: 2,702
|
Есть такая хорошая программа - Offline Explorer.
|
28.04.2010, 00:09 | #3 |
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
пишу программу для себя... для изучения.... так что нужна теория!
|
28.04.2010, 07:14 | #4 | ||
Старожил
Регистрация: 15.02.2010
Сообщений: 15,759
|
Цитата:
Цитата:
|
||
28.04.2010, 09:01 | #5 |
Форумчанин
Регистрация: 26.04.2010
Сообщений: 328
|
Могу посоветовать библиотеку curl для C
|
28.04.2010, 12:49 | #6 |
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
суть такая поьзователь вводит сайт programmersforum.ru и ключевое слово для поиска, программа автомотом сканирует все страницы сайта и выводит результат ссылки на страницы где есть совподение.....
|
28.04.2010, 15:57 | #7 |
Форумчанин
Регистрация: 26.04.2010
Сообщений: 328
|
оу, ну так рекурсивно следуешь по всем ссылкам( указывающим на site.name ) которые можешь найти на site.name и ищешь совпадение в тексте
Но я чувствую, что будет это не быстро ) UPD: посещенные страницы, тоже было бы неплохо запоминать =) Последний раз редактировалось ozo; 28.04.2010 в 17:41. |
28.04.2010, 17:42 | #8 |
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
вот вот..... но есть пару задумок... пользователь указал сайт.. программа составило дерево ссылок с названиями категорий... а далее искать только в тех категориях которые надо
|
28.04.2010, 17:43 | #9 |
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
а ссылки уже хранить в БД
|
28.04.2010, 17:44 | #10 | |
Форумчанин
Регистрация: 17.04.2008
Сообщений: 146
|
Цитата:
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Загрузка ресурса в RichEdit | Volkogriz | Общие вопросы Delphi | 3 | 05.06.2014 08:57 |
Запись файла на ПК с веб ресурса | PVD | Общие вопросы Delphi | 11 | 27.04.2010 16:23 |
Замена ресурса (\ов) | forusing | Общие вопросы C/C++ | 4 | 30.03.2010 20:07 |
Как открыть файл из ресурса | VladimirVB | Общие вопросы Delphi | 5 | 20.08.2009 21:18 |
Извлечение ресурса в файл | JivotiK | Общие вопросы Delphi | 1 | 26.04.2007 11:48 |