Форум программистов
 

Восстановите пароль или Зарегистрируйтесь на форуме, о проблемах и с заказом рекламы пишите сюда - alarforum@yandex.ru, проверяйте папку спам!

Вернуться   Форум программистов > Клуб программистов > Свободное общение
Регистрация

Восстановить пароль
Повторная активизация e-mail

Купить рекламу на форуме - 42 тыс руб за месяц

Ответ
 
Опции темы Поиск в этой теме
Старый 29.05.2013, 13:27   #1
Дим-Димыч
Новичок
Джуниор
 
Регистрация: 29.05.2013
Сообщений: 2
По умолчанию Какой robots.txt правильный для сайта?

Здравствуйте, уважаемые программисты и посетители форума!

Не могли бы вы объяснить, правильный у меня robots.txt для моего сайта?

Я разместил свой интернет магазин на известной платформе. все вроде бы хорошо, но, трафика из поисковиков нет. Сервис формирует robots.txt для моего сайта автоматически, во всяком случае там так сказано. Решил собственноручно проверить robots.txt своего сайта в Яндексе и, после проверки мне выдает, что 131 страница закрыта от индексации. Админка и личный кабинет - это понятно, а вот остальные страницы почему закрыты, мне не понятно, да и, что это за страницы и почему закрытые?? Нужно ли их открывать? Задал эти вопросы непосредственно на сервисе, мне почему-то упорно не отвечают?

Прошу всех понимающих в этой теме, помочь мне разобраться.
Буду очень признателен каждому ответу.
С уважением к вам! Заранее благодарю!
Ниже привожу robots.txt к моему сайту:

User-Agent: YadirectBot
Disallow:

User-Agent: YandexDirect
Disallow:

User-agent: *
Disallow: /account
Disallow: /admin
Disallow: /cabinet
Disallow: /check_is_bot
Disallow: /companies-aplha
Disallow: /companies-stats*.html
Disallow: /company-rating*.html
Disallow: /company/post_to_twitter
Disallow: /company/webstats
Disallow: /contact_now
Disallow: /context/click_ad
Disallow: /forum
Disallow: /join-now
Disallow: /js_i18n
Disallow: /js/seolinks.js
Disallow: /main_page/suggest_search
Disallow: /map/frame_map
Disallow: /tags
Disallow: /opinions/create
Disallow: /product/create
Disallow: /product_view/post_to_twitter
Disallow: /redirect
Disallow: /search?
Disallow: /shopping_cart
Disallow: /tracker/
Disallow: /wormhole
Disallow: /*/shopping_cart
Disallow: /*/partner_links
Disallow: /*address_type=
Disallow: /*bb0=
Disallow: /*bb1=
Disallow: /*bb2=
Disallow: /*bb3=
Disallow: /*bb4=
Disallow: /*bb5=
Disallow: /*bb6=
Disallow: /*bb7=
Disallow: /*bb8=
Disallow: /*bb9=
Disallow: /*bf0__gte=
Disallow: /*bf1__gte=
Disallow: /*bf2__gte=
Disallow: /*bf3__gte=
Disallow: /*bf4__gte=
Disallow: /*bf5__gte=
Disallow: /*bf6__gte=
Disallow: /*bf7__gte=
Disallow: /*bf8__gte=
Disallow: /*bf9__gte=
Disallow: /*bf0__lte=
Disallow: /*bf1__lte=
Disallow: /*bf2__lte=
Disallow: /*bf3__lte=
Disallow: /*bf4__lte=
Disallow: /*bf5__lte=
Disallow: /*bf6__lte=
Disallow: /*bf7__lte=
Disallow: /*bf8__lte=
Disallow: /*bf9__lte=
Disallow: /*bi0__gte=
Disallow: /*bi1__gte=
Disallow: /*bi2__gte=
Disallow: /*bi3__gte=
Disallow: /*bi4__gte=
Disallow: /*bi5__gte=
Disallow: /*bi6__gte=
Disallow: /*bi7__gte=
Disallow: /*bi8__gte=
Disallow: /*bi9__gte=
Disallow: /*bi0__lte=
Disallow: /*bi1__lte=
Disallow: /*bi2__lte=
Disallow: /*bi3__lte=
Disallow: /*bi4__lte=
Disallow: /*bi5__lte=
Disallow: /*bi6__lte=
Disallow: /*bi7__lte=
Disallow: /*bi8__lte=
Disallow: /*bi9__lte=
Disallow: /*bms0=
Disallow: /*bms1=
Disallow: /*bms2=
Disallow: /*bms3=
Disallow: /*bms4=
Disallow: /*bms5=
Disallow: /*bms6=
Disallow: /*bms7=
Disallow: /*bms8=
Disallow: /*bms9=
Disallow: /*bss0=*bss0=
Disallow: /*bss1=
Disallow: /*bss2=
Disallow: /*bss3=
Disallow: /*bss4=
Disallow: /*bss5=
Disallow: /*bss6=
Disallow: /*bss7=
Disallow: /*bss8=
Disallow: /*bss9=
Disallow: /*collapse=
Disallow: /*company_verification_status__exact =
Disallow: /*date_created__gte=
Disallow: /*delivery_type=
Disallow: /*dist=
Disallow: /*is_company_paid__exact=
Disallow: /*market_company=
Disallow: /*order=
Disallow: /*output=
Disallow: /*per_page=
Disallow: /*presence_available=
Disallow: /*price_unit__gte=
Disallow: /*price_unit__lte=
Disallow: /*price__isnull=
Disallow: /*product_items_per_page=
Disallow: /*query=
Disallow: /*search=
Disallow: /*search_in_region=
Disallow: /*search_scope=
Disallow: /*search_term=
Disallow: /*sort=
Disallow: /*verification_status__exact=
Disallow: /*view_as=
Disallow: /*.html?
Host: http://marimvast.tiu.ru
Sitemap: http://marimvast.tiu.ru/sitemap.xml
Дим-Димыч вне форума Ответить с цитированием
Старый 29.05.2013, 13:48   #2
Вадим Мошев

Старожил
 
Аватар для Вадим Мошев
 
Регистрация: 12.11.2010
Сообщений: 8,568
По умолчанию

Наверное, из-за этого:
Код:
User-agent: *
Disallow:...
...
Вы запретили всем.

Это моё мнение. если я неправ, прошу поправить

Также, если я не чайник, то
Код:
Disallow: /*.html?
у вас запрещён доступ ко всем ХТМЛ страницам, лежащим в корне.

Последний раз редактировалось Вадим Мошев; 29.05.2013 в 13:50.
Вадим Мошев вне форума Ответить с цитированием
Старый 29.05.2013, 19:25   #3
Дим-Димыч
Новичок
Джуниор
 
Регистрация: 29.05.2013
Сообщений: 2
По умолчанию

Спасибо Вам большое, за ответ!

Я так и предполагал, что-то не так. Нет индексации. А, они мне все позакрывали оказывается...
Еще раз спасибо!
Дим-Димыч вне форума Ответить с цитированием
Ответ


Купить рекламу на форуме - 42 тыс руб за месяц

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt как создать? И нужен ли он? johny_03 HTML и CSS 6 13.03.2013 11:54
User-mode драйвер / программа-фильтр для сканера штрих-кодов - какой правильный подход при разработке? Ivan_32 Win Api 4 11.09.2012 12:16
ассемблер, какой из вариантов будет правильный Ashley12 Помощь студентам 1 14.01.2012 01:08
Какой движек выбрать для клан-сайта? Simply-Art WordPress и другие CMS 8 18.02.2009 12:34
Какой движок для сайта посоветуете ? N1R0 WordPress и другие CMS 19 12.01.2009 18:50