Список урлов для индексации
 

Предлагаю реализовать возможность явного указания списка урлов для индексации.

Чего-чего? По подробнее, пожалуйста.

Человек имеет ввиду что-то типа Site Map, скорей всего. НО с таким же успехом в настройках можно страницы отключить, если не нужны.
Хотя, для уменьшения нагрузки на сервер полезнее, чтоб Сапин робот знал куда лазить ни нуна.

типо чтоб лишнее не индексировал?
а как же robots.txt ?

Так вы можете после того, как сапа все найдет, убрать лишнее, это на много быстрее, чем руками добавлять.

Идея дельная, поддержу топикстартера. Сам давно мучаюсь с этой проблемой, постоянно возникает такая ситуация, когда робот sape индексирует сайт, активно съедая новости и другие свежие страницы, на которые есть ссылки с главной. К сожалению, Яндекс их так быстро не индексирует, поэтому приходится удалять все вручную.

Было бы хорошо, если бы была возможность либо добавлять список урлов, которые нужно включить в систему, либо в настройках robots.txt или непосредственно в коде сайта запрещать индексацию отдельных страниц роботом sape и только им, т.е. noindex здесь не годится.

Кстати, а если в robots.txt прописать User-agent: sape и настроить для него Disallow - сработает или нет?