Много новых страниц загружено...

Kino · 13.07.2011, 14:59

Нонсенс.

Захожу сегодня в вебмастер, а на одном сайте вместо обычных 250+ страниц, загруженных роботом, отображено... 1250+! Причем пока исключено только 30. Но, думается, и остальные подоспеют.

Потому что там страницы такого плана:

http://site.ru/novost1/?replytocom=30
http://site.ru/novost1/?replytocom=26
http://site.ru/novost2/?replytocom=59
http://site.ru/novost2/?replytocom=61
http://site.ru/novost2/?replytocom=78... И так далее.

Вопрос такой возник... Как исключить из индексации эти "неканонические" страницы? Что именно в роботсе надо написать?

replytocom - это как я понял ссылки на комменты. Сайт на ВП.

Добавлено через 20 часов 44 минуты
Не, никто не знает?

Igor V · 13.07.2011, 15:53

Цитата:

Сообщение от Kino

Что именно в роботсе надо написать?

нет такой маски.. вообще robots.txt и nofollow лучше не злоупотр****ть..
положи выше комментов внутреннюю перелинковку(в strong) например на текущий раздел или на похожие темы..

DR303 · 13.07.2011, 16:07

На всех этих лишних страницах желательно прописать тег:

<link rel="canonical" href="http://site.ru/novost1/">

или

<link rel="canonical" href="http://site.ru/novost2/">

--

Это прописывается не в robots.txt , а в самом скрипте нужно внести изменения.

Kino · 13.07.2011, 16:11

Сайт на вордпресс, поэтому на каждую страницу вносить отдельный код вряд ли получится. А если ничего не предпринимать, санкций никаких не будет? Ведь яндекс их не индексирует, сочтя их "неканоническими".

Igor V · 13.07.2011, 17:25

Цитата:

Сообщение от Kino

А если ничего не предпринимать, санкций никаких не будет?

в индексе останется "неканоническая" страница.. ну и вам как бы дали понять, что пора увеличить число страниц раз так в пять..

Kino · 13.07.2011, 18:12

Цитата:

Сообщение от Igor V

ну и вам как бы дали понять, что пора увеличить число страниц раз так в пять..

Кто дал понять?? Каким образом?

Igor V · 13.07.2011, 18:27

к сожалению не знаток ВП.. но если оформите навигацию по комментам как то так - ..a href="#" onclick="location='http://site.ru/novost1/?replytocom=30';"..

робот не будет больше у вас искать куда бы траст передать..

SergeyK2008 · 13.07.2011, 20:41

Цитата:

Сообщение от Kino

Что именно в роботсе надо написать?

Вот:

Цитата:

Disallow: http://site.ru/novost1/?replytocom=30

Информация и вот

ЗЫ Хорошо уметь пользоваться поиском

Kino · 13.07.2011, 22:53

SergeyK2008, и что, так каждую новость с каждым комментарием прописывать?

ivan.rybin · 14.07.2011, 00:17

У меня на WP вообще в robots стоит запрет на индексацию чего либо, содержащего "?". Чего и всем советую. Меньше будет напрягать мозг и Яндекс с гуглем. Ну не нужно это в индексе ни им, ни вам, ни мне.

ЗЫ: за исключением тех случаев, когда вы точно знаете, что делаете. И зачем

13.07.2011, 14:59	#1
Kino Banned Регистрация: 19.07.2010 Адрес: Ukraine Сообщений: 1,297 Вес репутации: 0	Много новых страниц загружено... Нонсенс. Захожу сегодня в вебмастер, а на одном сайте вместо обычных 250+ страниц, загруженных роботом, отображено... 1250+! Причем пока исключено только 30. Но, думается, и остальные подоспеют. Потому что там страницы такого плана: http://site.ru/novost1/?replytocom=30 http://site.ru/novost1/?replytocom=26 http://site.ru/novost2/?replytocom=59 http://site.ru/novost2/?replytocom=61 http://site.ru/novost2/?replytocom=78... И так далее. Вопрос такой возник... Как исключить из индексации эти "неканонические" страницы? Что именно в роботсе надо написать? replytocom - это как я понял ссылки на комменты. Сайт на ВП. Добавлено через 20 часов 44 минуты Не, никто не знает? Последний раз редактировалось Kino; 13.07.2011 в 14:59. Причина: Добавлено сообщение

14.07.2011, 00:17	#10
ivan.rybin Мастер Регистрация: 07.09.2008 Адрес: Moscow Сообщений: 696 Вес репутации: 215	У меня на WP вообще в robots стоит запрет на индексацию чего либо, содержащего "?". Чего и всем советую. Меньше будет напрягать мозг и Яндекс с гуглем. Ну не нужно это в индексе ни им, ни вам, ни мне. ЗЫ: за исключением тех случаев, когда вы точно знаете, что делаете. И зачем __________________ Бессрочный хостинг картинок

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Загружено роботом 1619, Страниц в поиске 0	ivpunk	Яндекс	104	30.09.2012 08:13
Много новых заявок	Bubamara	Вопросы по работе системы	6	08.03.2011 17:20
Сделать много-много страниц второго уровня	Artifex	Вопросы от новичков	25	13.03.2010 01:15
Добавление новых страниц	Александр	Вопросы по работе системы	4	24.06.2009 09:36
Добавление новых страниц	lev	Пожелания пользователей системы	9	17.04.2007 16:39

13.07.2011, 16:07	#3
DR303 Специалист Регистрация: 24.05.2011 Сообщений: 316 Вес репутации: 172	На всех этих лишних страницах желательно прописать тег: <link rel="canonical" href="http://site.ru/novost1/"> или <link rel="canonical" href="http://site.ru/novost2/"> -- Это прописывается не в robots.txt , а в самом скрипте нужно внести изменения.

13.07.2011, 16:11	#4
Kino Banned Регистрация: 19.07.2010 Адрес: Ukraine Сообщений: 1,297 Вес репутации: 0	Сайт на вордпресс, поэтому на каждую страницу вносить отдельный код вряд ли получится. А если ничего не предпринимать, санкций никаких не будет? Ведь яндекс их не индексирует, сочтя их "неканоническими".

13.07.2011, 18:27	#7
Igor V Мастер Регистрация: 13.05.2010 Адрес: Nsk Сообщений: 776 Вес репутации: 186	к сожалению не знаток ВП.. но если оформите навигацию по комментам как то так - ..a href="#" onclick="location='http://site.ru/novost1/?replytocom=30';".. робот не будет больше у вас искать куда бы траст передать..

13.07.2011, 22:53	#9
Kino Banned Регистрация: 19.07.2010 Адрес: Ukraine Сообщений: 1,297 Вес репутации: 0	SergeyK2008, и что, так каждую новость с каждым комментарием прописывать?