|
|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail | |||||||
| Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
||||
 |
|
|
Опции темы | Поиск в этой теме |
30.06.2012, 10:00
|
#1 |
|
Пользователь
Регистрация: 30.06.2012
Сообщений: 19
|
Как отсечь всех ботов
открывать сайт только тем кто пришёл из броузера
как отсечь гугл бота, чтобы он вообще не мог зайти на сайт? |
|
|
|
30.06.2012, 20:07
|
#2 |
|
***
Участник клуба
Регистрация: 30.07.2007
Сообщений: 1,162
|
robots.txt
Код:
|
|
|
|
|
30.06.2012, 21:00
|
#3 |
|
Пользователь
Регистрация: 30.06.2012
Сообщений: 19
|
спасибо это правильные директивы для запрещения ботов в htaccess?
SetEnvIfNoCase user-Agent "^spider.*" bad_bot [NC,OR] SetEnvIfNoCase user-Agent "^Googlebot.*" bad_bot [NC,OR] SetEnvIfNoCase user-Agent "^checker.*" bad_bot [NC,OR] SetEnvIfNoCase user-Agent "^" bad_bot [NC,OR] SetEnvIfNoCase user-Agent "^bot.*" bad_bot [NC,OR] SetEnvIfNoCase user-Agent "^Alexa.*" bad_bot [NC,OR] SetEnvIfNoCase user-Agent "^crawl.*" bad_bot [NC,OR] <limit get="" post="" head=""> Order Allow,Deny Allow from all Deny from env=bad_bot </limit> |
|
|
|
|
30.06.2012, 22:28
|
#4 |
|
***
Участник клуба
Регистрация: 30.07.2007
Сообщений: 1,162
|
Ну просто на "правильно" и "не правильно" на вашем месте, я бы не надеялся. А написал бы скрипт/программу которая бы делала запрос на сайт с любым user-agent из этого списка. Можете по искать в интернете наверняка это уже есть.
|
|
|
|
|
30.06.2012, 23:22
|
#5 |
|
Форумчанин
Регистрация: 03.12.2010
Сообщений: 334
|
так ты всех ботов не отсечешь, а только известных тебе... бот может представиться как угодно, например "jqwfrHJGwed", и тогда твое правило его пропустит.
1 вариант. Проверять признаки не ботов, а браузеров, то есть перечислить разрешенные браузеры и пускать только их, но тот же гугль ходит разными ботами - одни представляются гугльботами, другие мозиллой (чтоб палить подмену контента у недобросовестных "оптимизаторов"). 2 вариант. Большинство ботов не умеют работать с javascript - тут поле для фантазии, ибо можно и контент подгружать аяксом, и сделать на исходной странице проверку кукисов, и если куки не установлены, перенаправить на другую страницу, где куки вешаются javascript'ом, а потом вернуть обратно... и еще немеряно самых извращенных вариантов. 3 вариант. Поставить капчу. 4 вариант. Вот тут наткнулся на интересный метод: http://habrahabr.ru/post/66732/ PS: все эти методы несовершенны, но совместное их использование и хитрая генерация хеша могут обеспечить довольно высокую устойчивость. |
|
|
|
|
Похожие темы
|
||||
| Тема | Автор | Раздел | Ответов | Последнее сообщение |
| Продажа рекламных ботов | oygan | Фриланс | 0 | 07.08.2011 07:50 |
| что посоветуете против ботов | netoro | PHP | 3 | 10.11.2008 10:03 |
| Создание ботов для CS | Marsik | Софт | 11 | 20.10.2008 22:41 |
| Как отсечь имя файла и получить путь только к нему? | Dux | Общие вопросы Delphi | 8 | 25.05.2008 20:24 |
