нужен сервис по проверке robots.txt
 

Не знаю в какой раздел воткнуть данный вопрос, поэтому, если есть необходимость - перенесите.

Вопрос такой:


В роботс запрещаю доступ к сайту, НАПРИМЕР, робота гугла.
Интересует следующее:
Существует ли сервис, по которому можно проверить, работает роботс или нет?


Идея такая: засовываю роботс в сервис проверки, задаю имя робота и получаю ответ: запрещено или нет.

Существует сие?

Помоему смысла в таком сервисе нет :) панели вебмастера позволяют проверить

Помоему Вы ошибаетесь.


каким образом там можно проверить доступ роботам? - расшифруй.

И гугл и яндекс пишут что загружено столько-то страниц и исключено роботом столько то - и указывается почему, в том числе из-за запрета в роботс.

Если запретить в роботсе сайт для определенного поисковика, например для гугла или яндекса то в соответствующих разделах панели вебмастера соответсвующих поисковиков разве не будет указано об этом?

Так существует такой сервис или нет?

p/s с панелями ЯВМ и ГВМ я не общаюсь и не буду общаться - религия, понимаешь!

http://webmaster.yandex.ru/robots.xml - проверка robots.txt без добавления сайта в панель.
Проверяем запреты для Яши, аналогично делаем запреты для Гоши.
А лучше не парим себе моск и читаем документацию.

Спасибо Вам большое, такой сервис знаю!

Но в нём у меня ничего не получилось - я и бросил.

Если Вы говорите, что в нём можно проверить доступ роботов ПС-м, то, будьте добры, НАПИШИТЕ как это делается?

Указываем хост, указываем текст robots.txt, указываем целевой урл(ы) - получаем результаты проверки урлов на доступность могучему роботу Яндекса.

Тьфу, ёлки палки - у нас недопонимание (или я выражЁвываюсь расплывчато). Мне нужна универсальная проверка: проверка на доступ к сайту всех роботов, кроме Я и Г.

Во, теперь мысль сформировалась.

Есть такой сервис, или придётся заходить в сервис проверки каждой ПС?

Робот рассматривают секцию
User-agent: *
если не указана персональная секция для этого робота

И если в robots.txt нет универсальной секции и не стоит запретов в персональной секции, то роботу разрешено все.

Штрафная рота, ну ты даешь! Вводишь свой роботс в панели гугл для вебмастеров, далее вводишь любую страницу, которую ты хочешь проверить - есть ли у робота доступ к ней или нету, и выбираешь из списка роботов, какому ты запретил и проверяешь. Проще пареной репы :eek:

Но проверять на каждый пс НАДО в сервисе каждой ПС.

Вы очень невнимательны - про панели я высказался выше - это во первых!, во вторых - речь шла о массовой проверке.

Итог: такого сервиса нет! (все вопрсы решил с Алексеем Барыкиным - спасибо ему огромное)

Закройте тему!

Всех приветствую! Подскажите, а существуют ли скрипты или сервисы (проги) для массовой проверки на закрытие индексации сайтов в robots.txt ? Буду очень признателен за помощь.