Robots.txt для DLE

[NIG]

Здрасьте. У меня опять проблема: поисковики индексируют мои сайты какимто непонятным образом - в индексе не все страницы, но те которые есть проиндексированы несколько раз 3 способами: с чпу, без чпу и страница для печати.
Хотелось бы узнать, что нужно прописать в robots.txt чтобы убрать из индексации ненужные копии страницы и оставить только чпу?

[Odine]

Сообщение от NIG

Здрасьте. У меня опять проблема: поисковики индексируют мои сайты какимто непонятным образом - в индексе не все страницы, но те которые есть проиндексированы несколько раз 3 способами: с чпу, без чпу и страница для печати.
Хотелось бы узнать, что нужно прописать в robots.txt чтобы убрать из индексации ненужные копии страницы и оставить только чпу?

Мой Robots Выглядит так
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Host: www.site.ru

Для Сапы Самая Важная строка.
Disallow: /*print
Так как Сапа страницы для печати не находит а Яша если их нашел страницы с Новостью он игнорирует

[V!rus]

robotstxt.org - ТС, сделайте себе свой файл

[Vite4eG]

Ниже содержание моего файла, но у меня некоторые страницы попали в индекс, это страницы печати, страницы пользователей, страница регистрации, хотя они запрещены. Почему так, кто подскажет?

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /*print
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
User-agent: *
Allow: /
Sitemap: http://svadbakerch.com/sitemap.xml
User-agent: Yandex
Host: svadbakerch.com

[V I P]

Allow: /

В роботс нет поддержки "Allow", насколько я знаю..

[V I P]

но у меня некоторые страницы попали в индекс

неоднократно слышал о попадании в индекс запрещенных страниц

[Клон]

Сообщение от Vite4eG

хотя они запрещены. Почему так, кто подскажет?

роботс неправильно написан потому что, никакие запреты не работают
исправь на так:

User-agent: Yandex
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://svadbakerch.com/sitemap.xml
Host: svadbakerch.com

User-agent: Googlebot
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://svadbakerch.com/sitemap.xml
Host: svadbakerch.com

Добавлено через 4 минуты
вот лопух )))
http://svadbakerch.com/main/print:pa...ir-svadbi.html

ну ка поищи там подозрительные вещи, ниче странного не видно? не?

Добавлено через 4 часа 5 минут
чиорт, я тоже лопух =)))

повелся на спамера некропостера

[Sergoff]

Сообщение от Odine

Мой Robots Выглядит так
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Host: www.site.ru

Для Сапы Самая Важная строка.
Disallow: /*print
Так как Сапа страницы для печати не находит а Яша если их нашел страницы с Новостью он игнорирует

Ваш роботс бездумно скопирован откуда-то. Много лишнего...

autobackup.php - изначально нужно переименовывать, это даже говориться в мануалах по движку. Потенциальная уязвимость копирования бекапов...

admin.php - нужно переименовывать для защиты и тем более не указывать название этого файла в роботсе.

/*print - излишне, т.к. в админке нужно запрещать индексирование поисковыми роботами версий для печати...

[zhegloff]

Некропостеры... ррррыыы.