Робот SAPE игнорирует robots.txt
 

Скажите пожалуйста, почему робот проиндексировал страницы прикрытые в robots.txt ?

Это напрягает меня как ВебМастаре ,т.к. Оптимизаторы могут сайт в BL добавить.

И что особо настораживает, как Оптимизатора. Сколько ж ссылок купленно на страницах закрытых robots.txt

Возможно, ваши страницы прикрыты правилами со звездочкой *. Их понимает только Гугл. Если без звездочек, то да - глюк... Покажите правила из robots.txt, которые система не учла.

Да с *.
Но это понимают ВСЕ поисковые системы, а не только Гугл.
И яндекс тоже, т.к. проверялось через сервис яндекса.
http://www.yandex.ru/cgi-bin/test-ro...st=www.site.ru

дайте ваш роботс.

Вот это пропустило

User-agent: *
Disallow: /softportal/sendrating.php
Disallow: /softportal/stat

то есть проиндексировало 1 страницу и раздел?
/softportal/sendrating.php
/softportal/stat

киньте урл в личку.

У меня раньше тоже правила были со звездочками. В итоге Сапа проиндексировала страницы с id сессии в урлах. Даже если в Яндексе это уже работает, то в Сапе - ещё нет.

в яндексе это не работает.
конечно если в урле действительно есть звездочка - тогда да ;)

Народ!

Звёздочка только здесь:
User-agent: *

--

И вообще, я думаю стоит проверять robots.txt каждый день.
И сравнивать с уже проиндексироваными страницами, и если что выкидывать те, которые прикрыты в robots.

Проинексировало несколько страниц подходящих под эти прАвила