Форум SAPE.RU - sape.ru и robots.txt

robots.txt у сапы прописан не совсем корректно. См. http://sape.ru/robots.txt

Цитата:

Host: www.sape.ru

По моему стоит явно прописать User-agent. Да и запретить к индексации служебные каталоги не помешает...

http://robotstxt.org.ru/rurobots/yandex#h79-4

Цитата:

Во избежания возникновения проблем с http://robotstxt.org.ru/themes/default/icons/web.gifзеркалом/ами сайта рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта. С директивой «Disallow» никак не связана. Пример:

Код:

User-agent: Yandex

Disallow: /cgi-bin

Host: site.ru