Робот сапы

[WEB-Master]

Сообщение от eresik

для каждого юзерагента надо указывать свой набор правил.

вот это я и имел введу под нарушием порядка размещения директив

Добавлено через 58 секунд

Сообщение от eresik

Оттуда же:

Примечание: Не существовало на момент перевода данного текста, сейчас эта инструкция поддерживаетcя и Гуглом, и Яндексом. Уточняйте по использованию для других роботов.

Оттуда же:

Нет инструкции Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает!

Что роботу можно "разрешат", он индексирует ВСЕ что не запрещено (как говорится разрешено).

[eresik]

Сообщение от WEB-Master

Нет инструкции Allow, есть только Disallow. Файл robots.txt ничего не разрешает, только запрещает!

Повторюсь - "Allow не существовало на момент перевода".

Отсюда: http://help.yandex.ru/webmaster/?id=996567#996571
Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком,
используйте директиву 'Allow'

[WEB-Master]

eresik, возможно сейчас и поддерживает, но похоже у него только одно применение, когда запрещаешь весь сайт к индексации и разрешаешь конкретные урлы (до данного момента не приходило на ум такое использование), иначе разрешать что-то нет смысла, потому что оно и так разрешено по умолчанию.

[eresik]

Сообщение от WEB-Master

eresik, возможно сейчас и поддерживает, но похоже у него только одно применение, когда запрещаешь весь сайт к индексации и разрешаешь конкретные урлы (до данного момента не приходило на ум такое использование), иначе разрешать что-то нет смысла, потому что оно и так разрешено по умолчанию.

Не "возможно сейчас поддерживает", а поддерживает. Ссылка на яндекс это думаю авторитетный источник.
Возможны ситуации, когда проще перечислить что разрешено, чем перечислять что запрещено.

[Красавчег]

Харэ ругаться, ёптэ.. сделайте лучше человеку нормальный robots.txt - чтоб все работало и индексировалось..

[eresik]

Сообщение от Красавчег

Харэ ругаться, ёптэ.. сделайте лучше человеку нормальный robots.txt - чтоб все работало и индексировалось..

Да какая ж это ругня.
Оба узнали для себя новое

Чтоб сапой индексировалось - убрать последние две строчки.
Юзер агента сапы не знаю, и наверняка он "иногда меняется"

[WEB-Master]

Сообщение от eresik

Да какая ж это ругня.
Оба узнали для себя новое

согласен... никакой ругни

признаю что когда-то давно читал тот мануал и понял что allow не используется, а сейчас да (но все же пользы от него маловато, хотя не исключаю ситуаций когда он может пригодится).

[MrG]

Спасибо. Все, что требовалось узнать, что робот сапы безымянен.
WEB-Master - robots.txt текущий составлен правильно и уже пару лет исправно работает со всеми роботами. Насчет директив вы не правы.
Просто обычно либо allow либо disallow, тут частный случай

[WEB-Master]

Сообщение от eresik

Юзер агента сапы не знаю, и наверняка он "иногда меняется"

Вроде где-то на форуме видел что сотрудник сапе писал что юзерагент робота что-то вроде "САПА блаблабла".

НЕ думаю что в данном случает проблема в узерагент, просто тут столько раз употр****ется Disallow: / что бот думает что сайт вообще запрещен к индексации.

[eresik]

Сообщение от MrG

Спасибо. Все, что требовалось узнать, что робот сапы безымянен.
WEB-Master - robots.txt текущий составлен правильно и уже пару лет исправно работает со всеми роботами. Насчет директив вы не правы.
Просто обычно либо allow либо disallow, тут частный случай

Текущий роботс составлен НЕПРАВИЛЬНО.
В частности он разрешает яндексу и гуглу индексировать ВСЁ.
Т.к. фактически в вашем роботсе указано "для яндекса и гугла - директив нет"

Проерка - http://webmaster.yandex.ru/robots.xml (аналогичный сервис есть и у гугла)