Поисковый робот

[Smitt&Wesson]

Сообщение от rpy3uH

В мухостарнске интернет со скоростью 80 Мбит/с стоит примерно 1000 р., так что это не проблема

Тут просто непонятка вышла. Я подумал, что человек хочет поиск устроить со сврего домашнего компа. В третьем посте он пояснил, что у него выделенный сервер и выделенная линия. Вопрос снялся сам собой. ТС не хочет индексировать сайты, ему нужно тупо проскакать по ссылкам и на страничках что-то там найти (иначе говоря - порыбачить).

[myorient]

Сообщение от Smitt&Wesson

Тут просто непонятка вышла. Я подумал, что человек хочет поиск устроить со сврего домашнего компа. В третьем посте он пояснил, что у него выделенный сервер и выделенная линия. Вопрос снялся сам собой. ТС не хочет индексировать сайты, ему нужно тупо проскакать по ссылкам и на страничках что-то там найти (иначе говоря - порыбачить).

Нет вы не правы... или я не верно высказался. Мне необходимо индексировать сайты в базу данных. Потом, по запросу пользователей, искать и выдавать ссылки на найденные ресурсы. На хабре нашёл принцип работы такой системы. Но есть вопросы:
Пишу систему на PHP, и тут-же возникает вопрос о времени выполнения скрипта (max_execution_time). Ведь мне нужно чтобы скрипт рекурсивно проходил все ссылки и скачивал страницы, находил ссылки, переходил по ним и опять скачивал страницы...

[Smitt&Wesson]

Если так, то PHP, не самый лучший выбор. Я бы поступил так. Паука, написал-бы на С++. Он обрабатывал бы странички и формировал базу данных. Интерфейс пользователей, написал бы на PHP. Дело в том, что PHP, это интерпретатор и скорость выполнения команд на нём, в разы ниже, чем на компилируемых языках.

У меня нескромный вопрос, а зачем Вам свой поисковик, если есть такие монстры как Гугл и Яндекс?

Есть промежуточный вариант, на мой взгляд более интересный.
Пользователь, даёт запрос. Ваш "поисковик", даёт запрос всем известным поисковикам и получает от них, релевантные странички. Объединяет эти странички и среди них, ищет наиболее релевантные, которые и выдаються пользвателю.
В этом случае, пользователь получит наиболее полную картину сети по своему запросу.

[Stilet]

необходимо индексировать сайты в базу данных.

Если эти сайты не какие-то конкретные, скажем для предприятия, внутренние или внешние с ограниченным списком то я тоже присоединяюсь к мнению Смитта о напряге гугла-яндекса. Так проще и дешевше.

[myorient]

Если эти сайты не какие-то конкретные, скажем для предприятия, внутренние или внешние с ограниченным списком то я тоже присоединяюсь к мнению Смитта о напряге гугла-яндекса. Так проще и дешевше.

Пользователь, даёт запрос. Ваш "поисковик", даёт запрос всем известным поисковикам и получает от них, релевантные странички. Объединяет эти странички и среди них, ищет наиболее релевантные, которые и выдаються пользвателю.
В этом случае, пользователь получит наиболее полную картину сети.

А как это сделать?

[Человек_Борща]

Если так, то PHP, не самый лучший выбор. Я бы поступил так. Паука, написал-бы на С++. Он обрабатывал бы странички и формировал базу данных.

Пожалуй с этим PHP может спорить. Пример: Данный форум.
Перегрузки испытают Apache и база данных, но не php. Как генерировал жирные странички кода за полсекунды, так и продолжает это делать для пары сотен(а то и больше), для всех одновременно желающих.

Для небольшого кол-ва людей вполне хватит.

Проблема в другом: Нужна мощная и очень быстрая СУБД. Обычные СУБД в пролете.

[Smitt&Wesson]

Человек_Борща, так я о то-же. Конечно, нагрузка будет и даже не на Апачь (как программу), а на процессор.
PHP, с С++ (консольным без Винды), ему не поспорить.

[Stilet]

А как это сделать?

Для начала определись на чем писать буш.
Скажем в Билдере-Делфи-Лазаре можно использовать INDI или Synapse для запросов.
В С++ по другому придется. В ПХП тоже.
Как вариант для нативных программ (Си\Делфи...) можно использовать библиотеку WinINET, если опять таки операционка виндовс.
Примеры по этому делу есть, могу выложить.

[myorient]

Сообщение от Stilet

Для начала определись на чем писать буш.
Скажем в Билдере-Делфи-Лазаре можно использовать INDI или Synapse для запросов.
В С++ по другому придется. В ПХП тоже.
Как вариант для нативных программ (Си\Делфи...) можно использовать библиотеку WinINET, если опять таки операционка виндовс.
Примеры по этому делу есть, могу выложить.

Ммм-да... Ясно. Но всё же, хотелось бы написать паука на PHP. Этот язык для меня ближе всего, и некоторые тонкости я легко реализую на нём. С Дельфи трудновато, давно не практиковал и ювелирной отделки кода (что очень важно при написании) всё равно не добьюсь.
Как тогда начать писать на ПХП, с чего начать?