Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Web программирование > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 12.03.2017, 09:20   #1
Bulat Ibrahim
Форумчанин
 
Регистрация: 24.04.2015
Сообщений: 199
По умолчанию ROBOTS.TXT — как спрятать часть сайта?

Всем привет. раньше держал сайт без файла robots.txt, но недавно что-то решил его создать. Есть несколько вопросов, ответ на которых я несмог найти в интернете:
1- В "Disallow" можно писать форматы .php (а то что-то в интернете везде примеры только на html)? Например, "Disallow: /footer.php"?
2- Нужно ли папки стилей, скриптов и изображений оформления сайта вносить в "Disallow"?

И последний пока вопрос-проблема, долго с ней мучаюсь... У меня сайт состоин из нескольких блоков: верхняя шапочка (туда входит и рисунок, и навигация), правый и левый блоки, футер и основной, средний блок. Все три блока, кроме среднего — одни и те же файлы на всех страницах, вставленные с помощью
PHP код:
<?php include("../footer.php"); ?>
Эти доп. файлы я исключил в robots.txt (Disallow: /footer.php и т.д.), чтобы отдельно не воспринимались как страница.
А вот как в сайте их нормально исклюить? А то в поисковике не красибо отображаются — одни пункты навигации.
Читал про тег "noindex" — но пишут, что его принимает только яндекс.
Есть какой-то универсальный тег?
Или как лучше поступить?
Булат Азат улы
Bulat Ibrahim вне форума Ответить с цитированием
Старый 12.03.2017, 10:41   #2
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Цитата:
Сообщение от Bulat Ibrahim Посмотреть сообщение
можно писать форматы .php (а то что-то в интернете везде примеры только на html)?
Это не имеет значения, на большинстве современных сайтов вообще нету никаких .php и т.п. в URL (lenta.ru/articles, lenta.ru/articles/some-article, ...). Веб-серверу и браузеру все равно
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 12.03.2017, 14:37   #3
Пепел Феникса
Старожил
 
Аватар для Пепел Феникса
 
Регистрация: 28.01.2009
Сообщений: 21,000
По умолчанию

я бы на вашем месте задумался как ссылка на ваш футер попала в гугл.
Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
Программа делает то что написал программист, а не то что он хотел.
Функции/утилиты ждут в параметрах то что им надо, а не то что вы хотите.
Пепел Феникса вне форума Ответить с цитированием
Старый 12.03.2017, 14:55   #4
Bulat Ibrahim
Форумчанин
 
Регистрация: 24.04.2015
Сообщений: 199
По умолчанию

Цитата:
Сообщение от Пепел Феникса Посмотреть сообщение
я бы на вашем месте задумался как ссылка на ваш футер попала в гугл.
Всмысле? Они попадают с сайтом. То есть, в гугл попадает вся страница (там и навигация, и правые/левые блоки, и футер). А хотелось бы, чтобы в поисковики попадали лишь нужные блоки...
Булат Азат улы
Bulat Ibrahim вне форума Ответить с цитированием
Старый 12.03.2017, 15:01   #5
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Может просто структура странная, неподходящие теги и т.п., вот и считает их основным содержимым.

Еще может быть могут помочь мета-теги типа description.
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 12.03.2017, 15:18   #6
Bulat Ibrahim
Форумчанин
 
Регистрация: 24.04.2015
Сообщений: 199
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Может просто структура странная, неподходящие теги и т.п., вот и считает их основным содержимым.
То есть, в других сайтах ничего отдельно на странице не скрывают? На счет структуры не знаю, я самоучка, учусь "у Евгения Попова" и на форумах...
Например, вот что показывает гугл и как составлен мой сайт...
Булат Азат улы
Bulat Ibrahim вне форума Ответить с цитированием
Старый 12.03.2017, 15:37   #7
Alex11223
Старожил
 
Аватар для Alex11223
 
Регистрация: 12.01.2011
Сообщений: 19,500
По умолчанию

Так вроде ж все ок?

санак өчен программалар - Поиск в Google - Mozilla Firefox 2017-03-12 14.33.45.png

Цитата:
Сообщение от Bulat Ibrahim Посмотреть сообщение
я самоучка, учусь "у Евгения Попова"
Чот не очень оправдание для использования плохих материалов для обучения )
В вузах не вбивают все тайны мироздания в голову, почти все и есть "самоучки"
Ушел с форума, https://www.programmersforum.rocks, alex.pantec@gmail.com, https://github.com/AlexP11223
ЛС отключены Аларом.
Alex11223 вне форума Ответить с цитированием
Старый 12.03.2017, 16:51   #8
Bulat Ibrahim
Форумчанин
 
Регистрация: 24.04.2015
Сообщений: 199
По умолчанию

Алекс, у вас, как я вижу, выводится всё Ок, а у меня вот по тому же вопросу выводится верхняя навигация... Странно...
Булат Азат улы
Bulat Ibrahim вне форума Ответить с цитированием
Старый 12.03.2017, 17:19   #9
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Сообщений: 17,758
По умолчанию

вообще robots.txt
можно исключить всё что нужно и кроме него больше ничего не нужно

для примера форумный
http://www.programmersforum.ru/robots.txt
Alar вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
На сайте wordpress при клике на статьи кидает на robots.txt lisovskiev WordPress и другие CMS 4 08.08.2014 19:13
Спрятать часть картинки в div scalpel HTML и CSS 2 08.04.2014 13:01
Какой robots.txt правильный для сайта? Дим-Димыч Свободное общение 2 29.05.2013 19:25
robots.txt как создать? И нужен ли он? johny_03 HTML и CSS 6 13.03.2013 11:54