нужен сервис по проверке robots.txt

[Алексей Барыкин]

Робот рассматривают секцию
User-agent: *
если не указана персональная секция для этого робота

И если в robots.txt нет универсальной секции и не стоит запретов в персональной секции, то роботу разрешено все.

[lepestok]

Сообщение от Штрафная РОТА

каким образом там можно проверить доступ роботам? - расшифруй.

Штрафная рота, ну ты даешь! Вводишь свой роботс в панели гугл для вебмастеров, далее вводишь любую страницу, которую ты хочешь проверить - есть ли у робота доступ к ней или нету, и выбираешь из списка роботов, какому ты запретил и проверяешь. Проще пареной репы

Но проверять на каждый пс НАДО в сервисе каждой ПС.

[Штрафная РОТА]

Сообщение от lepestok

Штрафная рота, ну ты даешь! Вводишь свой роботс в панели гугл для вебмастеров, далее вводишь любую страницу, которую ты хочешь проверить - есть ли у робота доступ к ней или нету, и выбираешь из списка роботов, какому ты запретил и проверяешь. Проще пареной репы

Но проверять на каждый пс НАДО в сервисе каждой ПС.

Вы очень невнимательны - про панели я высказался выше - это во первых!, во вторых - речь шла о массовой проверке.

Итог: такого сервиса нет! (все вопрсы решил с Алексеем Барыкиным - спасибо ему огромное)

Закройте тему!

[Stanson_X]

Всех приветствую! Подскажите, а существуют ли скрипты или сервисы (проги) для массовой проверки на закрытие индексации сайтов в robots.txt ? Буду очень признателен за помощь.