Построение карты сайта - Общие вопросы Delphi

Garacio_cain · 09.11.2009, 08:53

Встала задача написать функцию построения карты любого сайта. Что подразумевается под картой : все страницы на сервере, которые обычный пользователь может посетить.
Вариант выполнения примерно такой :
1. Считать html код страницы
2. Вывести из него все ссылки.
3. Отфильтровать ссылки убирая все "плохие ссылки" (JAVASCRIPT, #, /)
4. Отсортировать ссылки на принадлежность к текущему хосту (свои / чужие)
6. Добавить ссылки в общий список по всему сайту.
7. Убрать повторения.
8. Перемещаясь по списку выполнять пункты 1 - 7.

Нужна консультация. Если у кого есть более рациональные решения прошу предложить.

Stilet · 09.11.2009, 10:45

Помоему вполне логичный алгоритм...

Garacio_cain · 09.11.2009, 11:16

Честно сказать для меня он кажется каким то корявым но уже половину сделалю

DomiNick · 10.11.2009, 01:46

Цитата:

более рациональные решения

Ну а как же рациональней-то сделать?)
Только если у Google'а узнавать (он вроде может)...

<off>

Цитата:

2. Вывести из него все ссылки.

Хм... А есть ли какая готовая функция для вытаскивания ссылок из текста?
А то помню делал свою функцию для создания папки (проверку на существование всего пути), а оказалось есть ForceDirectories()
</off>

Пепел Феникса · 10.11.2009, 01:52

Цитата:

Хм... А есть ли какая готовая функция для вытаскивания ссылок из текста?

разве что движок ИЕ прошерстить на экспорт подобный...
да и написать не трудно свою

Garacio_cain · 10.11.2009, 08:54

Цитата:

А есть ли какая готовая функция для вытаскивания ссылок из текста?

Не знаю есть ли или нет, я делал так. через idHTTP скачивал html, далее часть кода с тегом "<A " именно с пробелом в конце и "</A>".
Как только нахожу сразу вношу как поле в TStringList. Потом отрезаю все внешнее от тега "HREF" и оставляю все что стоит между кавычками или если кавычек не было то позиционирую по знаку "=" и ">" или пробелу в конце. Потом привожу к нормальному виду, ибо ссылку вида "/NEWS" нужно будет привести к виду "HTTP://site.domen/NEWS"

а потом сортируем на "свои чужие" и удаляем повторения из списка.

mihali4 · 10.11.2009, 12:04

Это называется "парсинг".
На форуме вопросы парсинга обсосаны до костей.
Я за вас в поиск не пойду

09.11.2009, 08:53	#1
Garacio_cain Пользователь Регистрация: 05.01.2008 Сообщений: 85	Построение карты сайта Встала задача написать функцию построения карты любого сайта. Что подразумевается под картой : все страницы на сервере, которые обычный пользователь может посетить. Вариант выполнения примерно такой : 1. Считать html код страницы 2. Вывести из него все ссылки. 3. Отфильтровать ссылки убирая все "плохие ссылки" (JAVASCRIPT, #, /) 4. Отсортировать ссылки на принадлежность к текущему хосту (свои / чужие) 6. Добавить ссылки в общий список по всему сайту. 7. Убрать повторения. 8. Перемещаясь по списку выполнять пункты 1 - 7. Нужна консультация. Если у кого есть более рациональные решения прошу предложить.

09.11.2009, 10:45	#2
Stilet Белик Виталий :) Старожил Регистрация: 23.07.2007 Сообщений: 57,097	Помоему вполне логичный алгоритм... I'm learning to live...

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Карты - начинающий	Scheres	HTML и CSS	7	22.07.2009 10:30
Построение карты Карно	prusal	Помощь студентам	2	13.05.2009 22:24
Подобие карты сайта.	Proger10	JavaScript, Ajax	5	12.05.2009 19:46
Интерактивные карты?	myxaxa41	Свободное общение	2	13.02.2009 15:54
Требуется специалист для создания сайта со строгой аутентификацией или зашифрованного сайта.	artembar	Фриланс	1	01.09.2008 16:11

09.11.2009, 11:16	#3
Garacio_cain Пользователь Регистрация: 05.01.2008 Сообщений: 85	Честно сказать для меня он кажется каким то корявым но уже половину сделалю

10.11.2009, 12:04	#7
mihali4 * Старожил Регистрация: 22.11.2006 Сообщений: 9,201	Это называется "парсинг". На форуме вопросы парсинга обсосаны до костей. Я за вас в поиск не пойду