|
|
|
Регистрация Восстановить пароль |
|||||||
| Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
||||
 |
|
|
|
Опции темы | Поиск в этой теме |
27.01.2011, 18:14
|
#11 | |
|
Белик Виталий :)
Старожил
Регистрация: 23.07.2007
Сообщений: 57,097
|
Цитата:
I'm learning to live...
|
|
|
|
|
27.01.2011, 18:51
|
#12 | |
|
Старожил
Регистрация: 28.01.2009
Сообщений: 21,000
|
Цитата:
 знаю там её нет, но кто мешает взять исходний её и семерки?
Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
Программа делает то что написал программист, а не то что он хотел. Функции/утилиты ждут в параметрах то что им надо, а не то что вы хотите. |
|
|
|
|
|
27.01.2011, 23:27
|
#13 |
|
Регистрация: 21.01.2011
Сообщений: 6
|
Разбираюсь с одной задачей, появляется новая=). Теперь мой парсер парсит главную страницу сайта на наличае ссылок заданных пользователем регулярным выражением,
далее убирает из списка одинаковые строки. Дальше она должна пройти по всем ссылкам с тем же запросом. Ну т.е полностью пропарсить весь сайт, каждую страницу на запрос. Проблема в том, что список все время пополняется и прога зацикливается. Мля, такой гемор=) Надеюсь меня кто-нибудь понял=) |
|
|
|
|
28.01.2011, 08:47
|
#14 |
|
Старожил
Регистрация: 09.01.2008
Сообщений: 26,229
|
1) отсекайте сразу все ссылки на "чужие" сайты
2) обычно признак выхода из цикла, если после окончания парсинга ни одной странички не добавлено. Либо, мне кажется, тут вполне можно воспользоваться рекурсией - добавляя все ссылки, которых нет - в глобальную коллекцию... 3) можете ограничить "глубину" просмотра, например, если глубина 3 - берём головную страницу, парсим все ссылки. Открываем то, что скачалось, (это уже уровень 2) и парсим их, проходим на них - всё, глубже уже не идём... |
|
|
|
|
28.01.2011, 11:03
|
#15 | |
|
Заблокирован
Регистрация: 12.02.2009
Сообщений: 215
|
Цитата:
Хотя я бы порекомендовал изначально регулярки использовать, можно такую написать, что она только необходимые ссылки выдаст, а "мусор" отсеет |
|
|
|
|
|
|
Похожие темы
|
||||
| Тема | Автор | Раздел | Ответов | Последнее сообщение |
| Универсальный запрос | Kostya777 | Microsoft Office Access | 2 | 17.11.2010 20:04 |
| Универсальный парсер | gamer123 | Общие вопросы Delphi | 20 | 10.08.2010 09:23 |
| Универсальный Инсталятор скриптами и Delphi | Jenya | Свободное общение | 4 | 14.10.2009 15:21 |
| Delphi и АСМ. универсальный запуск | Пепел Феникса | Assembler - Ассемблер (FASM, MASM, WASM, NASM, GoASM, Gas, RosAsm, HLA) и не рекомендуем TASM | 4 | 22.09.2009 20:18 |
| Универсальный стилизатор исходного кода | Eldarion | Помощь студентам | 3 | 26.04.2009 19:02 |
