12.02.2012, 21:11 | #1 |
Новичок
Регистрация: 04.02.2012
Сообщений: 31
Вес репутации: 154
|
Robots.txt
Возник такой вопрос. Какие страницы закрыть в robots.txt? Сайт на DLE. Массу литературы перечитал, и везде всё по разному. Может есть знающие люди, которые сталкивались с этим?
|
12.02.2012, 21:16 | #2 |
Куриллочный троль
|
с дублирующимся и "мусорным" контентом
пофиг на чем - принцип всегда один
__________________
|
12.02.2012, 22:29 | #3 |
Новичок
Регистрация: 04.02.2012
Сообщений: 31
Вес репутации: 154
|
А страницы (page/1,page/2) считаются дублями короткой новости?
|
12.02.2012, 23:12 | #4 |
дохтор металлических наук
|
Нет не дубли, если конечно не всовывать в превью тоже количество текста что и в полной.
__________________
Слушай death metal музыку |
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
robots.txt | FlyingDutchman | Общие вопросы оптимизации | 17 | 03.02.2011 03:07 |
robots.txt | XYG | Яндекс | 19 | 08.11.2010 12:53 |
Robots.txt | Серик | Вопросы от новичков | 6 | 29.12.2009 11:29 |
robots.txt | Ruganin | Вопросы от новичков | 29 | 24.02.2009 18:20 |
301 для robots.txt | eveningspend | Вопросы от новичков | 4 | 24.02.2008 12:42 |
Часовой пояс GMT +3, время: 18:17.