Сканер(редактор) SITEMAP.XML

[Виталий Серов]

Я уже писал об этой проге, точнее о старой версии, но с новой версией пришли новые проблемы, да и программа на старую не похожа.
О программе
- Сканер сайтов для создания карт в формате sitemap.xml
- Редактор этих карт
- Редактор Robots.txt
Проблема собственно в сканере, он не всегда выдаёт ссылки, а иногда вообще полный бред выдаёт. Я его исправил и испытал на нескольких сайтах - вроде работает. Но точно не знаю.
Может у кого есть желание помочь в тестировании, если обнаружите ошибки пишите название сайта который прога некоректно сканирует, или просто напишите замечания

[Viteef]

Внешние ссылки, картинки и прочий мусор в сайтмапе не нужен. Самое забавное что она по счетчику залезла на liveinternet и начала гулять по ихнему сайту пока не вылетела)))

В html может быть прописан и относительный путь, учитывай это.

На чем прога написана?

[Виталий Серов]

Прога так гуляет из-за того, что я в сриптах напутал со слешами.
Она перестанет гулять, если написать не
http://www.programmersforum.ru, а
http://www.programmersforum.ru/, я это исправил уже.
Связано с тем, что она берёт адрес сравнения от "//" до "/",и если последний символ не ввести, то всё прога считает все сайты "родными" и начинает "гулять". Картинки тоже исключаются по этому правилу, просто там IF NOT...... OR NOT....... OR NOT......, причём первым параметром выше указанное сравнение, ну и она его выполняет, и дальше не смотрит, отсюда и картинки в мапе.
Просто удивительно как "/" может дестабилизировать прогу
Насчёт разных url - это я с самого начала предусмотрел, она их может узнавать и "изменять" в "ТЕОРИИ".
Прога написана на Delphi.
А вот испровленный экземп, ещё это екземп пересажен на INDY, так он стал быстрее и интерфейс не виснет

[Viteef]

Когда скачиваешь страницу, исключения обрабатывать не забывай. И кинь на форму компонент AntiFreeze что не так висло.

[Виталий Серов]

AntiFreeze есть.... У меня вроде не виснет, а как его настроить тогда, чтоб не вис?

[Viteef]

Сделать отдельный поток и создавать в нем idhttp динамически.

[Виталий Серов]

Хотелось-бы обойтись без потоков, у меня почему к ним природная непереносимость, да и тут качать надо не архив в 200 мегов, а страницу в 50 кило, вот версия с перехватом ошибок

[Виталий Серов]

Спасибо, Viteef за совет. Сделал с потоками всё стало работать "ядерно"

[Viteef]

на http://yaproger.ru нашел только 2 страницы. Отлаживай.

[Виталий Серов]

Как две, у меня всё нормально сканирует
Однако я обнаружил ошибку прерывания закачки, буду переделывать