web бот web-crawler

[veter_s_morya]

Википедия

Поиско́вый ро́бот («веб-пау́к», краулер) — программа, являющаяся составной частью поисковой системы и предназначенная для обхода страниц Интернета с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.

Может кто писал бота? Хотелось бы посмотреть алгоритм бота.

[Viteef]

http://pblog.ru/?p=108

[veter_s_morya]

И хотелось бы увидеть сею красоту на php. И вообще нужен бот сканирующий сетку в поиске некого слова. Инфы в нете маловато

[Levsha100]

Может кто писал бота? Хотелось бы посмотреть алгоритм бота.

Ну... так парсер который заносит текст в БД и ищет ссылки и простая рекурсивная функция... все...