16.10.2008, 03:34 | #1 |
Мастер
|
Robots.txt для DLE
Здрасьте. У меня опять проблема: поисковики индексируют мои сайты какимто непонятным образом - в индексе не все страницы, но те которые есть проиндексированы несколько раз 3 способами: с чпу, без чпу и страница для печати.
Хотелось бы узнать, что нужно прописать в robots.txt чтобы убрать из индексации ненужные копии страницы и оставить только чпу?
__________________
|
16.10.2008, 07:53 | #2 | |
Специалист
Регистрация: 16.01.2008
Сообщений: 251
Вес репутации: 210
|
Цитата:
User-agent: * Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /favorites/ Disallow: /statistics.html Disallow: /newposts/ Disallow: /*print Host: www.site.ru Для Сапы Самая Важная строка. Disallow: /*print Так как Сапа страницы для печати не находит а Яша если их нашел страницы с Новостью он игнорирует
__________________
|
|
11.06.2009, 15:14 | #4 |
Новичок
Регистрация: 07.05.2009
Сообщений: 3
Вес репутации: 0
|
Ниже содержание моего файла, но у меня некоторые страницы попали в индекс, это страницы печати, страницы пользователей, страница регистрации, хотя они запрещены. Почему так, кто подскажет?
User-agent: * Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /cache/ Disallow: /favorites/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /*print Disallow: /templates/ Disallow: /uploads/ Disallow: /backup/ Disallow: /languages/ Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html User-agent: * Allow: / Sitemap: http://svadbakerch.com/sitemap.xml User-agent: Yandex Host: svadbakerch.com |
04.08.2010, 01:09 | #7 |
Куриллочный троль
|
роботс неправильно написан потому что, никакие запреты не работают
исправь на так: Код HTML:
User-agent: Yandex Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /cache/ Disallow: /favorites/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Disallow: /backup/ Disallow: /languages/ Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /*/print* Sitemap: http://svadbakerch.com/sitemap.xml Host: svadbakerch.com User-agent: Googlebot Disallow: /autobackup.php Disallow: /admin.php Disallow: /user/ Disallow: /cache/ Disallow: /favorites/ Disallow: /cgi-bin/ Disallow: /engine/ Disallow: /language/ Disallow: /templates/ Disallow: /uploads/ Disallow: /backup/ Disallow: /languages/ Disallow: /index.php?do=pm Disallow: /index.php?do=search Disallow: /index.php?do=register Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=stats Disallow: /index.php?do=addnews Disallow: /index.php?subaction=newposts Disallow: /?do=lastcomments Disallow: /statistics.html Disallow: /*/print* Sitemap: http://svadbakerch.com/sitemap.xml Host: svadbakerch.com Добавлено через 4 минуты вот лопух ))) http://svadbakerch.com/main/print:pa...ir-svadbi.html ну ка поищи там подозрительные вещи, ниче странного не видно? не? Добавлено через 4 часа 5 минут чиорт, я тоже лопух =))) повелся на спамера некропостера Последний раз редактировалось Клон; 04.08.2010 в 01:10. Причина: Добавлено сообщение |
04.08.2010, 03:24 | #8 | |
Привилегированный сапёр
Регистрация: 21.04.2008
Сообщений: 2,426
Вес репутации: 311
|
Цитата:
Ваш роботс бездумно скопирован откуда-то. Много лишнего... autobackup.php - изначально нужно переименовывать, это даже говориться в мануалах по движку. Потенциальная уязвимость копирования бекапов... admin.php - нужно переименовывать для защиты и тем более не указывать название этого файла в роботсе. /*print - излишне, т.к. в админке нужно запрещать индексирование поисковыми роботами версий для печати...
__________________
|
|
04.08.2010, 13:30 | #9 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1025
|
Некропостеры... ррррыыы.
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
robots.txt | Alexander | Разработка и сопровождение сайтов | 10 | 25.02.2010 21:54 |
robots.txt | Dr.Dream | Яндекс | 11 | 10.10.2008 16:18 |
Вопрос о robots.txt | Апокалипсис | Яндекс | 10 | 21.08.2008 18:32 |
301 для robots.txt | eveningspend | Вопросы от новичков | 4 | 24.02.2008 12:42 |
Robots.txt | leszkin | Вопросы по работе системы | 7 | 17.09.2007 09:37 |
Часовой пояс GMT +3, время: 18:28.