Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Web программирование > WordPress и другие CMS
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 25.07.2019, 14:03   #1
GreenWizard
мальчик-помогай =)
Форумчанин
 
Регистрация: 16.09.2010
Сообщений: 522
По умолчанию Логика robots.txt

Доброе время суток.

Так уж вышло, что нужно срочно поправить robots.txt, но опыта в этом нету и экспериментировать нет возможности. Да, есть спецификация, но вдруг что-то не так пойму и минус сайт из поисковика.

1) Наследуются ли правила от User-agent: * другими User-agent-ами или нужно их дублировать?

2) Правила влияют на скачиваемые данные или лишь на индексацию? Скажем, я запрещу всё, кроме страниц .html, но поисковик "поймёт" что у страницы есть некая главная картинка (хоть бы из микроразметки) - сможет ли робот эту картинку отобразить или она запрещена? Аналогично со стилями и шрифтами, если вдруг робот их учитывает в работе (опять же, просто уточняю, хоть предполагаю что прям рендеринг страниц роботы не проводят)

2.1) Можно ли запретить /wp-* и разрешить лишь изображения?

3) Стоит ли индексировать "ленты постов"? Или их нужно индексировать, но их самих исключать из индекса? Если так, то стоит ли и "вторичные" разрешать, которые дублирую главную?
GreenWizard вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Какой robots.txt правильный для сайта? Дим-Димыч Свободное общение 2 29.05.2013 19:25
robots.txt как создать? И нужен ли он? johny_03 HTML и CSS 6 13.03.2013 11:54
Математическая логика (Элементы теории множеств, Логика и исчисление высказываний) sash_ok.83 Фриланс 0 12.06.2012 20:43
Логика предикатов (мат логика 2 задачи) Deathcube Помощь студентам 0 27.02.2012 18:28
C++ Robots Rembo Общие вопросы C/C++ 1 03.08.2008 15:10