Робот сапы
 

При модерации написали, "у вас в robots.txt главная страница закрыта для робота-индексатора."
А как звать работы сапы, чтоб его прописать? или как переделать robots.txt чтоб работало?

Sitemap: http://123.org/sitemap.xml

User-agent: Googlebot
User-agent: Yandex
User-agent: StackRambler

Allow: /$
Allow: /index.php$
Allow: /yandex.php$
Allow: /viewforum.php?f=
Allow: /viewtopic.php?t=
Allow: /viewtopic.php?p=
Allow: /sitemap.xml
Allow: /sitemap/
Disallow: /
Host: 123.org
Crawl-delay: 0.5


User-agent: Adsbot-Google
User-agent: Googlebot-Image
User-agent: Googlebot-Mobile
User-agent: Mediapartners-Google
User-agent: msnbot
User-agent: msnbot-media
User-agent: Yahoo-MMCrawler
Disallow: /

User-agent: Browsershots
Disallow:

User-agent: *
Disallow: /

Потёрто, ошибся :)

Надо так:

User-agent: *
Disallow:

Да он видимо специально запретил другим ботам индексацию.

robots.txt составлен в корне неверно... ищите инфу в нете исправляйте.

Прокомментируйте, что вы там видите неверного.
Вроде бы всё правильно (по крайней мере работоспособно)
Разве что host должен быть выше запрещающих директив

1. Allow уже не используется
2. Disallow: / запрещена индексация сайта
3. нарушен порядок размещения директив.

1. Откуда такая инфа?
2. Disallow: / - стоит после всех остальных директив, т.е. запрещает всё что не попало под Allow
3. Нарушение порядка вижу только в host (робот до этой директивы просто не доберётся)

Добавлено через 6 минут
Проверил через панель вебмастера - ошибка только в том что для каждого юзерагента надо указывать свой набор правил, +директива host должна быть первой.

Оттуда же:

Примечание: Не существовало на момент перевода данного текста, сейчас эта инструкция поддерживаетcя и Гуглом, и Яндексом. Уточняйте по использованию для других роботов.