|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
|
Опции темы | Поиск в этой теме |
04.09.2013, 10:31 | #1 |
Пользователь
Регистрация: 27.05.2013
Сообщений: 24
|
Поисковый робот
Ребят, ну давайте пообсуждаем поисковых роботов, а!
Только сразу предупреждаю: 1. Я не собираюсь составлять конкуренцию гугл 2. Не надо говорить что у меня не хватит ресурсов времени сил итд итп 3. Поисковик нужен просто для моего портала. Итак, меня интересует именно робот (crawler, spider), а не поисковик готовой информации (sphinx не при делах). Может есть возможность написать такой на пхп? |
04.09.2013, 10:44 | #2 |
Старожил
Регистрация: 31.05.2010
Сообщений: 13,964
|
Если есть свой выделенный сервер, то почему бы и нет. Но, судя по вашим заявлениям - такового не имеется. Значит, категоричное - нет.
1. PHP - серверный язык (интерпретатор). То, что делает поисковик, нагрузит сервер так, что провайдеры повесяться не отходя от сервера, это в худшем случае. В лучшем, просто ограничат Вам трафик. После нескольких предупреждений - просто отключат. 2. Если есть безлимитная линия, Ваши шансы немножко выше. Пишете прогу на C++ или на Pascal, компилите в ехзешник и запускаете. В этом случае, нагрузка на сервак будет в пределах пропускной способности канала. 3. Лучший вариант, это выделенная оптоволоконная линия. Но по стоимости тарифов, Вы не потяните и одну жилу, а на такие линии, тянется кабель не менее 24-х жил. Так что, пользуйтесь Гуглом, Яндексом, Mail.ru, Bing и т.д. и не заморачивайтесь.
Пиши пьяным, редактируй трезвым.
Справочник по алгоритмам С++ Builder |
04.09.2013, 11:45 | #3 | ||||
Пользователь
Регистрация: 27.05.2013
Сообщений: 24
|
Цитата:
Цитата:
Цитата:
Цитата:
|
||||
04.09.2013, 13:37 | #4 | |
Старожил
Регистрация: 31.05.2010
Сообщений: 13,964
|
Цитата:
Собственно многие (не все) поисковики с этого и начинали свою деятельность. Помню был такой поисковик Апорт, так он ещё с ФИДО начинался, а работал на простой IBM386-й.
Пиши пьяным, редактируй трезвым.
Справочник по алгоритмам С++ Builder |
|
04.09.2013, 14:17 | #5 | |
Белик Виталий :)
Старожил
Регистрация: 23.07.2007
Сообщений: 57,792
|
Цитата:
Надо просто изучить схемы пауков.
I'm learning to live...
|
|
04.09.2013, 14:53 | #6 | ||
Пользователь
Регистрация: 27.05.2013
Сообщений: 24
|
Цитата:
Цитата:
|
||
04.09.2013, 14:55 | #7 |
Старожил
Регистрация: 31.05.2010
Сообщений: 13,964
|
А зачем? Ему ведь не нужно делать индексацию. Подойдёт обычный стек. Только нужен хороший алгоритм, который предотвращает зацикливание.
Например, два сайта, ссылаються друг на друга. Причём один сайт ссылается на ту страницу, на которой стоит ссылка на него. Если не предпринять никаких мер, поисковик будет бесконесно прыгать со страницы на страницу.
Пиши пьяным, редактируй трезвым.
Справочник по алгоритмам С++ Builder |
04.09.2013, 16:12 | #8 | |
Белик Виталий :)
Старожил
Регистрация: 23.07.2007
Сообщений: 57,792
|
Цитата:
Как в инет выходят, как ссылки определяют. А есть ведь и спайдеры, которые разбирают AJAX в порталах, и из них формируют инфу. Вот об этом я и говорил - технологию нуна изучить.
I'm learning to live...
|
|
04.09.2013, 16:19 | #9 |
Старожил
Регистрация: 31.05.2010
Сообщений: 13,964
|
Ну, это само собой. Но вот я сколько ни читал, как то всё с середины. Вот робт находит сайт, если ссылка не "местная", он её запихивает в стек, обследует следующий и т.д... Но нигде я не нашел, а откуда он плясать начинает? Т.е., стек ещё пуст, ни одной ссылки, а тем более рейтингов нет. Где же та печька, от которой идё пляска?
Пиши пьяным, редактируй трезвым.
Справочник по алгоритмам С++ Builder |
04.09.2013, 17:26 | #10 | ||
добрый няша
Старожил
Регистрация: 29.10.2006
Сообщений: 4,804
|
Цитата:
Цитата:
|
||
|
Опции темы | Поиск в этой теме |
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Поисковый движок | myorient | Софт | 9 | 16.08.2013 16:48 |
поисковый оператор Case | denniskvazaryes | SQL, базы данных | 1 | 17.08.2012 12:42 |
Поисковый запрос к MYSQL | victorshkoda | БД в Delphi | 3 | 20.01.2012 10:20 |
Поисковый системы | serres | Обсуждение статей | 2 | 25.03.2010 15:00 |
Поисковый системы | serres | PHP | 1 | 10.03.2010 01:00 |