Robots.txt для DLE
 

Здрасьте. У меня опять проблема: поисковики индексируют мои сайты какимто непонятным образом - в индексе не все страницы, но те которые есть проиндексированы несколько раз 3 способами: с чпу, без чпу и страница для печати.
Хотелось бы узнать, что нужно прописать в robots.txt чтобы убрать из индексации ненужные копии страницы и оставить только чпу?

Мой Robots Выглядит так
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Host: www.site.ru

Для Сапы Самая Важная строка.
Disallow: /*print
Так как Сапа страницы для печати не находит а Яша если их нашел страницы с Новостью он игнорирует

robotstxt.org - ТС, сделайте себе свой файл

Ниже содержание моего файла, но у меня некоторые страницы попали в индекс, это страницы печати, страницы пользователей, страница регистрации, хотя они запрещены. Почему так, кто подскажет?

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /*print
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
User-agent: *
Allow: /
Sitemap: http://svadbakerch.com/sitemap.xml
User-agent: Yandex
Host: svadbakerch.com

В роботс нет поддержки "Allow", насколько я знаю..

неоднократно слышал о попадании в индекс запрещенных страниц

роботс неправильно написан потому что, никакие запреты не работают
исправь на так:


Добавлено через 4 минуты
вот лопух )))
http://svadbakerch.com/main/print:pa...ir-svadbi.html

ну ка поищи там подозрительные вещи, ниче странного не видно? не?

Добавлено через 4 часа 5 минут
чиорт, я тоже лопух =)))

повелся на спамера некропостера :D

Ваш роботс бездумно скопирован откуда-то. Много лишнего...

autobackup.php - изначально нужно переименовывать, это даже говориться в мануалах по движку. Потенциальная уязвимость копирования бекапов...

admin.php - нужно переименовывать для защиты и тем более не указывать название этого файла в роботсе.

/*print - излишне, т.к. в админке нужно запрещать индексирование поисковыми роботами версий для печати...

Некропостеры... ррррыыы.