Форум программистов
 
Расширенный поиск
Контакты: о проблемах с регистрацией, почтой и по другим вопросам пишите сюда - alarforum@yandex.ru, проверяйте папку спам! Обязательно пройдите активизацию e-mail.

Вернуться   Форум программистов > Web > Общие вопросы Web
Регистрация

Восстановить пароль
Повторная активизация e-mail

Excel VBA, CAD, Софт, ОС, Windows, Ubuntu, Android, VPS
Win Api, Assembler, C++, Java, Pascal, Lazarus, Delphi, OpenGL, DirectX
C#, Qt, .NET, ASP.NET, Windows Forms, ADO.NET, Framework, WPF, UWP, WinRT, XAML
HTML, CSS, JavaScript, Ajax, PHP, Perl, Python, Ruby, SQL, WordPress, API, XML, JSON, ActionScript, Flash

Ответ
 
Опции темы
Старый 12.03.2017, 10:20   #1
Bulat Ibrahim
Форумчанин
 
Регистрация: 24.04.2015
Адрес: Татарстан, г. Казань
Сообщений: 88
Репутация: 10
По умолчанию ROBOTS.TXT — как спрятать часть сайта?

Всем привет. раньше держал сайт без файла robots.txt, но недавно что-то решил его создать. Есть несколько вопросов, ответ на которых я несмог найти в интернете:
1- В "Disallow" можно писать форматы .php (а то что-то в интернете везде примеры только на html)? Например, "Disallow: /footer.php"?
2- Нужно ли папки стилей, скриптов и изображений оформления сайта вносить в "Disallow"?

И последний пока вопрос-проблема, долго с ней мучаюсь... У меня сайт состоин из нескольких блоков: верхняя шапочка (туда входит и рисунок, и навигация), правый и левый блоки, футер и основной, средний блок. Все три блока, кроме среднего — одни и те же файлы на всех страницах, вставленные с помощью
PHP код:
<?php include("../footer.php"); ?>
Эти доп. файлы я исключил в robots.txt (Disallow: /footer.php и т.д.), чтобы отдельно не воспринимались как страница.
А вот как в сайте их нормально исклюить? А то в поисковике не красибо отображаются — одни пункты навигации.
Читал про тег "noindex" — но пишут, что его принимает только яндекс.
Есть какой-то универсальный тег?
Или как лучше поступить?
__________________
Булат Азат улы
Bulat Ibrahim вне форума   Ответить с цитированием
Старый 12.03.2017, 11:41   #2
Alex11223
Модератор
Заслуженный модератор
 
Регистрация: 12.01.2011
Сообщений: 12,821
Репутация: 2542

icq: 512-7шесть5
skype: alexp.frl
По умолчанию

Цитата:
Сообщение от Bulat Ibrahim Посмотреть сообщение
можно писать форматы .php (а то что-то в интернете везде примеры только на html)?
Это не имеет значения, на большинстве современных сайтов вообще нету никаких .php и т.п. в URL (lenta.ru/articles, lenta.ru/articles/some-article, ...). Веб-серверу и браузеру все равно
Alex11223 на форуме   Ответить с цитированием
Старый 12.03.2017, 15:37   #3
Пепел Феникса
Модератор
Заслуженный модератор
 
Аватар для Пепел Феникса
 
Регистрация: 28.01.2009
Адрес: Москва
Сообщений: 20,951
Репутация: 3384

icq: 446843180
skype: phoenix_proger
По умолчанию

я бы на вашем месте задумался как ссылка на ваш футер попала в гугл.
__________________
Хорошо поставленный вопрос это уже половина ответа. | Каков вопрос, таков ответ.
Программа делает то что написал программист, а не то что он хотел.
Функции/утилиты ждут в параметрах то что им надо, а не то что вы хотите.
Пепел Феникса вне форума   Ответить с цитированием
Старый 12.03.2017, 15:55   #4
Bulat Ibrahim
Форумчанин
 
Регистрация: 24.04.2015
Адрес: Татарстан, г. Казань
Сообщений: 88
Репутация: 10
По умолчанию

Цитата:
Сообщение от Пепел Феникса Посмотреть сообщение
я бы на вашем месте задумался как ссылка на ваш футер попала в гугл.
Всмысле? Они попадают с сайтом. То есть, в гугл попадает вся страница (там и навигация, и правые/левые блоки, и футер). А хотелось бы, чтобы в поисковики попадали лишь нужные блоки...
__________________
Булат Азат улы
Bulat Ibrahim вне форума   Ответить с цитированием
Старый 12.03.2017, 16:01   #5
Alex11223
Модератор
Заслуженный модератор
 
Регистрация: 12.01.2011
Сообщений: 12,821
Репутация: 2542

icq: 512-7шесть5
skype: alexp.frl
По умолчанию

Может просто структура странная, неподходящие теги и т.п., вот и считает их основным содержимым.

Еще может быть могут помочь мета-теги типа description.
Alex11223 на форуме   Ответить с цитированием
Старый 12.03.2017, 16:18   #6
Bulat Ibrahim
Форумчанин
 
Регистрация: 24.04.2015
Адрес: Татарстан, г. Казань
Сообщений: 88
Репутация: 10
По умолчанию

Цитата:
Сообщение от Alex11223 Посмотреть сообщение
Может просто структура странная, неподходящие теги и т.п., вот и считает их основным содержимым.
То есть, в других сайтах ничего отдельно на странице не скрывают? На счет структуры не знаю, я самоучка, учусь "у Евгения Попова" и на форумах...
Например, вот что показывает гугл и как составлен мой сайт...
__________________
Булат Азат улы
Bulat Ibrahim вне форума   Ответить с цитированием
Старый 12.03.2017, 16:37   #7
Alex11223
Модератор
Заслуженный модератор
 
Регистрация: 12.01.2011
Сообщений: 12,821
Репутация: 2542

icq: 512-7шесть5
skype: alexp.frl
По умолчанию

Так вроде ж все ок?

санак өчен программалар - Поиск в Google - Mozilla Firefox 2017-03-12 14.33.45.png

Цитата:
Сообщение от Bulat Ibrahim Посмотреть сообщение
я самоучка, учусь "у Евгения Попова"
Чот не очень оправдание для использования плохих материалов для обучения )
В вузах не вбивают все тайны мироздания в голову, почти все и есть "самоучки"
Alex11223 на форуме   Ответить с цитированием
Старый 12.03.2017, 17:51   #8
Bulat Ibrahim
Форумчанин
 
Регистрация: 24.04.2015
Адрес: Татарстан, г. Казань
Сообщений: 88
Репутация: 10
По умолчанию

Алекс, у вас, как я вижу, выводится всё Ок, а у меня вот по тому же вопросу выводится верхняя навигация... Странно...
__________________
Булат Азат улы
Bulat Ibrahim вне форума   Ответить с цитированием
Старый 12.03.2017, 18:19   #9
Alar
Александр
Администратор
 
Аватар для Alar
 
Регистрация: 28.10.2006
Адрес: Химки
Сообщений: 11,396
Репутация: 2489
По умолчанию

вообще robots.txt
можно исключить всё что нужно и кроме него больше ничего не нужно

для примера форумный
http://www.programmersforum.ru/robots.txt
Alar вне форума   Ответить с цитированием
Ответ



Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
На сайте wordpress при клике на статьи кидает на robots.txt lisovskiev WordPress и другие CMS 4 08.08.2014 19:13
Спрятать часть картинки в div scalpel HTML и CSS 2 08.04.2014 13:01
Какой robots.txt правильный для сайта? Дим-Димыч Свободное общение 2 29.05.2013 19:25
robots.txt как создать? И нужен ли он? johny_03 HTML и CSS 6 13.03.2013 11:54




11:05.


Powered by vBulletin® Version 3.8.8 Beta 2
Copyright ©2000 - 2017, Jelsoft Enterprises Ltd.

купить трафик


как улучшить посещаемость, а также решения по монетизации сайтов, видео и приложений

RusProfile.ru


Справочник российских юридических лиц и организаций.
Проекты отопления, пеллетные котлы, бойлеры, радиаторы
интернет магазин respective.ru