13.03.2012, 11:06 | #1 |
Новичок
Регистрация: 16.02.2012
Сообщений: 39
Вес репутации: 150
|
Файл robots.txt под WordPress
Доброго всем дня.
Прочитав достаточно инфы про правильный robots под WordPress но не нашел ответа на интересующую меня тему. Цель - отображение в поисковиках только Рубрик и Страниц. исключение архивов и календаря, и всего "мусора"(исключение дублей). User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /?m* я так не и понял зачем мудрить с кучей запретов внутри wp-admin, wp-content и wp-includes. По проверке ЯВМ нужные мне страницы "видны и доступны" /?p=516 и /?cat=17 Вопрос. правильно ли я мыслю, или сильно перегнул с запретами? П.С. Вот кусок с сайта с рекомендациями, "Есть стандарт разумеется который можно отнести ко всем, я бы сказал основная шапка: User-agent: * Disallow: /xmlrpc.php Disallow: /archives/ Disallow: /wp-content/plugins Disallow: /wp-content/themes Disallow: /wp-content/cache Disallow: /wp-includes Disallow: /wp-admin Disallow: /search/ Disallow: /cgi-bin " |
13.03.2012, 11:33 | #2 |
Копирайтер-рерайтер
|
чтобы не индексировалось лишнее.
__________________
|
13.03.2012, 12:09 | #3 |
Эксперт
Регистрация: 18.06.2007
Адрес: Картофель
Сообщений: 2,417
Вес репутации: 356
|
для WP есть соответствующие плагины, которые гораздо более гибко решают эти проблемы, как пример - Рубрики держать в индексе не очень-то и необходимо (если Вы поставили задачу максимальной оптимизации для получения качественного трафика), но при этом страницы рубрик бот все же должен обходить, и оптимальным будет задать метатег robots как noindex, follow
|
13.03.2012, 12:53 | #4 | |
Новичок
Регистрация: 16.02.2012
Сообщений: 39
Вес репутации: 150
|
перефразирую
а зачем более гибко писать запреты, если у меня просто блог с простынями и картинками в них? мой запрет будет иметь какие-то минуса? Рубрики , как я понимаю, будут страницами второго уровня, а Страницы - третьего. Добавлено через 2 минуты )) ну смысл запрета на индексацию я понимаю )) почему выборочно закрываются папки в wp-content?. что там есть (может быть) такого нужного для индексации? Добавлено через 7 минут Цитата:
просто сейчас на сайте 150 страниц уника, + 12 рубрик, а Я.Вебмастер показывает 572 (после последнего апа) и "загружено роботом" 56, вот я и думаю что у меня слишком много дублей и из за них сайт не лезет в индекс. Добавлено через 27 минут всем спасибо, доразобрался. ) Последний раз редактировалось Post; 13.03.2012 в 12:53. Причина: Добавлено сообщение |
|
13.03.2012, 17:47 | #5 |
К черту кодекс !!
Регистрация: 19.12.2009
Адрес: [ forum.sape.ru ]
Сообщений: 2,168
Вес репутации: 375
|
Какая своевременная тема! Вопрос к шарящим в этом деле: закрывать ли в robots.txt на вордпрессе /page/ или не стоит?
У меня пока стоит Disallow: /page/ сайт обновляется ежедневно, вроде как индексация пока нормальная. Кто что думает?
__________________
|
13.03.2012, 18:57 | #6 | |
Новичок
Регистрация: 16.02.2012
Сообщений: 39
Вес репутации: 150
|
Цитата:
я в начале все позакрывал, потом в панели Я вебмастер открыл роботс и начал проверять урлы страниц по которым были вопросы. чего и Вам советую |
|
13.03.2012, 19:16 | #7 | |
К черту кодекс !!
Регистрация: 19.12.2009
Адрес: [ forum.sape.ru ]
Сообщений: 2,168
Вес репутации: 375
|
Цитата:
На них анонсы постов со ссылками на эти посты. Т.е. по сути это дубль-контент. У кого есть опыт/практика с этими страницами?
__________________
|
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Файл Robots.txt | Alexa137 | Яндекс | 54 | 12.07.2010 12:31 |
Файл Robots.txt | admbuxonly | Вопросы от новичков | 13 | 10.06.2010 20:12 |
в какой файл засунуть основной код сапы на wordpress? | iprodma | Вопросы от новичков | 1 | 05.03.2010 11:02 |
запрет страниц для индекса через файл robots.txt | Dr.Dream | Яндекс | 9 | 23.08.2009 23:29 |
Бот сапы смотрит на файл robots.txt? | mekal | Вопросы по работе системы | 13 | 18.10.2008 15:20 |
Часовой пояс GMT +3, время: 01:29.