Карты сайта - кто бы подумал ;)

[ram99]

Полмесяца бился с индексацией карт сайта, ничего не получалось.
Сайт у меня на ASP.NET и все страницы имеют расширение aspx.
В связи с этим в файле robots.txt запретил индексацию Яндексу и другим поисковикам индексировать фалый html которых у меня несколько штук не нужных к индексации.
А вот карты сайта для Сапы как раз имели расширение html.
Вот по этой причине Сапа тоже отказывалась индексировать карты сайта созданные для нее.

Оказывается Сапа тоже смотрит файл robots.txt, а я и не знал

[siarzhuk]

Сообщение от ram99

Оказывается Сапа тоже смотрит файл robots.txt, а я и не знал

А как иначе? Сапа на поисковики работает. Если Вы в robots.txt что-то запретили, то это что-то не будет проиндексировано поисковиками, соответственно и в Сапе это что-то не нужно.