Робот подсасывает в систему неканоничные страницы и запрещенные в роботсе
 

Проблема - Робот sape подсасывает в систему (находит новые) неканоничные страницы и страницы запрещенные в роботсе сайта.

Спасибо, брат, хоть кто-то ответил.

:D

А чего отвечать. Боты сапы это не боты поисковиков.

Файл Robots.txt: убедитесь, что у вас есть правильно настроенный файл robots.txt в корневом каталоге вашего веб-сайта. Файл robots.txt используется для указания веб-сканерам, какие страницы или каталоги следует или не следует сканировать. Вы можете явно запретить сканерам доступ к определенным путям или файлам, добавив соответствующие правила в этот файл.