Старый 16.10.2008, 03:34   #1
Мастер
 
Аватар для NIG
 
Регистрация: 16.03.2008
Адрес: Масквэ
Сообщений: 630
Вес репутации: 168
NIG - просто великолепная личностьNIG - просто великолепная личностьNIG - просто великолепная личностьNIG - просто великолепная личностьNIG - просто великолепная личностьNIG - просто великолепная личностьNIG - просто великолепная личностьNIG - просто великолепная личность
Отправить сообщение для NIG с помощью ICQ
По умолчанию Robots.txt для DLE

Здрасьте. У меня опять проблема: поисковики индексируют мои сайты какимто непонятным образом - в индексе не все страницы, но те которые есть проиндексированы несколько раз 3 способами: с чпу, без чпу и страница для печати.
Хотелось бы узнать, что нужно прописать в robots.txt чтобы убрать из индексации ненужные копии страницы и оставить только чпу?
__________________
Баннерная сеть с оплатой за показы и клики. + Тизеры
NIG вне форума  
Старый 16.10.2008, 07:53   #2
Специалист
 
Аватар для Odine
 
Регистрация: 16.01.2008
Сообщений: 251
Вес репутации: 160
Odine - просто великолепная личностьOdine - просто великолепная личностьOdine - просто великолепная личностьOdine - просто великолепная личностьOdine - просто великолепная личностьOdine - просто великолепная личность
По умолчанию

Цитата:
Сообщение от NIG Посмотреть сообщение
Здрасьте. У меня опять проблема: поисковики индексируют мои сайты какимто непонятным образом - в индексе не все страницы, но те которые есть проиндексированы несколько раз 3 способами: с чпу, без чпу и страница для печати.
Хотелось бы узнать, что нужно прописать в robots.txt чтобы убрать из индексации ненужные копии страницы и оставить только чпу?
Мой Robots Выглядит так
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Host: www.site.ru

Для Сапы Самая Важная строка.
Disallow: /*print
Так как Сапа страницы для печати не находит а Яша если их нашел страницы с Новостью он игнорирует
__________________
ɐwʎ ɔ vǝmоɔ dиW
Odine вне форума  
Старый 16.10.2008, 14:59   #3
Ваnnеd
 
Аватар для V!rus
 
Регистрация: 07.07.2007
Адрес: нет? :) Танцысбубном: да
Сообщений: 1,967
Вес репутации: 230
V!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущееV!rus - прекрасное будущее
Отправить сообщение для V!rus с помощью ICQ
По умолчанию

robotstxt.org - ТС, сделайте себе свой файл
__________________
Помогаю рефералам.
Осуществляю поддержку сайтов с OpenCart, Bitrix, Wordpress, DLE, Drupal, WebAsyst и пр. Скайп agriboed
V!rus вне форума  
Старый 11.06.2009, 15:14   #4
Новичок
 
Регистрация: 07.05.2009
Сообщений: 3
Вес репутации: 0
Vite4eG на пути к лучшему
По умолчанию

Ниже содержание моего файла, но у меня некоторые страницы попали в индекс, это страницы печати, страницы пользователей, страница регистрации, хотя они запрещены. Почему так, кто подскажет?

User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /*print
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
User-agent: *
Allow: /
Sitemap: http://svadbakerch.com/sitemap.xml
User-agent: Yandex
Host: svadbakerch.com
Vite4eG вне форума  
Старый 11.07.2009, 09:33   #5
Мастер
 
Регистрация: 14.04.2008
Сообщений: 553
Вес репутации: 159
V I P - как роза среди колючекV I P - как роза среди колючекV I P - как роза среди колючек
По умолчанию

Цитата:
Allow: /
В роботс нет поддержки "Allow", насколько я знаю..
__________________
Нет подписи
V I P вне форума  
Старый 13.07.2009, 05:53   #6
Мастер
 
Регистрация: 14.04.2008
Сообщений: 553
Вес репутации: 159
V I P - как роза среди колючекV I P - как роза среди колючекV I P - как роза среди колючек
По умолчанию

Цитата:
но у меня некоторые страницы попали в индекс
неоднократно слышал о попадании в индекс запрещенных страниц
__________________
Нет подписи
V I P вне форума  
Старый 04.08.2010, 01:09   #7
Куриллочный троль
 
Аватар для Клон
 
Регистрация: 15.03.2010
Сообщений: 8,465
Вес репутации: 470
Клон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущееКлон - прекрасное будущее
Отправить сообщение для Клон с помощью ICQ
По умолчанию

Цитата:
Сообщение от Vite4eG Посмотреть сообщение
хотя они запрещены. Почему так, кто подскажет?
роботс неправильно написан потому что, никакие запреты не работают
исправь на так:

Код HTML:
User-agent: Yandex
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://svadbakerch.com/sitemap.xml
Host: svadbakerch.com

User-agent: Googlebot
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /cache/
Disallow: /favorites/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /languages/
Disallow: /index.php?do=pm
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /*/print*
Sitemap: http://svadbakerch.com/sitemap.xml
Host: svadbakerch.com

Добавлено через 4 минуты
вот лопух )))
http://svadbakerch.com/main/print:pa...ir-svadbi.html

ну ка поищи там подозрительные вещи, ниче странного не видно? не?

Добавлено через 4 часа 5 минут
чиорт, я тоже лопух =)))

повелся на спамера некропостера

Последний раз редактировалось Клон; 04.08.2010 в 01:10. Причина: Добавлено сообщение
Клон вне форума  
Старый 04.08.2010, 03:24   #8
Привилегированный сапёр
 
Аватар для Sergoff
 
Регистрация: 21.04.2008
Сообщений: 2,426
Вес репутации: 261
Sergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Odine Посмотреть сообщение
Мой Robots Выглядит так
User-agent: *
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /newposts/
Disallow: /*print
Host: www.site.ru

Для Сапы Самая Важная строка.
Disallow: /*print
Так как Сапа страницы для печати не находит а Яша если их нашел страницы с Новостью он игнорирует

Ваш роботс бездумно скопирован откуда-то. Много лишнего...

autobackup.php - изначально нужно переименовывать, это даже говориться в мануалах по движку. Потенциальная уязвимость копирования бекапов...

admin.php - нужно переименовывать для защиты и тем более не указывать название этого файла в роботсе.

/*print - излишне, т.к. в админке нужно запрещать индексирование поисковыми роботами версий для печати...
Sergoff вне форума  
Старый 04.08.2010, 13:30   #9
Добрый модератор
 
Аватар для zhegloff
 
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 976
zhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущее
По умолчанию

Некропостеры... ррррыыы.
__________________
Установка кода сапы от $9.95. Пишите в личку.
Правильный хостинг.
В личке бесплатно не отвечаю обычно.
zhegloff вне форума  
Закрытая тема

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt Alexander Разработка и сопровождение сайтов 10 25.02.2010 21:54
robots.txt Dr.Dream Яндекс 11 10.10.2008 16:18
Вопрос о robots.txt Апокалипсис Яндекс 10 21.08.2008 18:32
301 для robots.txt eveningspend Вопросы от новичков 4 24.02.2008 12:42
Robots.txt leszkin Вопросы по работе системы 7 17.09.2007 09:37


Часовой пояс GMT +3, время: 20:44.