robots.txt как создать? И нужен ли он?

[johny_03]

Здравствуйте!
Если у меня небольшой сайт-визитка, скрытых для индексации страниц не предусматриваю, нужно ли мне создавать файл robots.txt? Если его не создавать, будут ли поисковики индексировать мой сайт и насколько хорошо, в отличие отсутствия robots.txt?
И если всё-таки нужно, как это сделать одновременно для всех поисковиков? ЗАДАЧА: раскрутить сайт по всем поисковикам.
Заранее спасибо!

[Cronos20]

А если погуглить? Нет, этот файл не является обязательным
Ответы на ваши вопросы
Руководство к действию

[hon]

Рекомендую для сайта создать sitemap.xml и в robots.txt написать:

Useragent: 0
Sitemap: sitemap.xml

Если сайтмапа и скрытых от индексации страниц нет, то robots.txt не нужен.

[Лубышев]

Если сайтмапа и скрытых от индексации страниц нет, то robots.txt не нужен.

все таки лучше чтобы он был.... продвиженцы очень суеверный народ.... пусть будет чтоб "отвязались"

[Валерьян]

Сообщение от johny_03

Здравствуйте!
Если у меня небольшой сайт-визитка, скрытых для индексации страниц не предусматриваю, нужно ли мне создавать файл robots.txt? Если его не создавать, будут ли поисковики индексировать мой сайт и насколько хорошо, в отличие отсутствия robots.txt?
И если всё-таки нужно, как это сделать одновременно для всех поисковиков? ЗАДАЧА: раскрутить сайт по всем поисковикам.
Заранее спасибо!

Если не предусматриваешь, то можно и не создавать. А можно и создать для склейки зеркал.

[kta87]

мое мнение нужно, хотя бы потому что бы прописать

User-agent: *

Host: mysite.ru

или же

User-agent: *

Host: www.mysite.ru

[Лубышев]

Если не предусматриваешь, то можно и не создавать. А можно и создать для склейки зеркал.

Наверное стоит поправочку сделать, что зеркала не склеиваются в роботсе, а просто индексаторам поясняется что зеркала склеины.
а склеиваются зеркала на уровне .htaccess