Как правильно написать robot.txt

Praetorian · 31.08.2010, 17:57

Приветствую форумчане!

Не закидывайте меня тапками, пожалуйста, прошу Вашей помощи: к яше в индекс попали одни и те же страницы с ссылками 2-х вариантов: ЧПУ и с ID. Как мне правильно написать робот, чтобы в индексе остались только ссылки вида ЧПУ, а ссылки с ID он не индексировал?

Надеюсь на помощь мастеров SEO, заранее благодарен.

Litov · 31.08.2010, 21:14

http://help.yandex.ru/webmaster/?id=996567

RedPage · 31.08.2010, 22:09

Цитата:

Сообщение от Praetorian

Приветствую форумчане!

Не закидывайте меня тапками, пожалуйста, прошу Вашей помощи: к яше в индекс попали одни и те же страницы с ссылками 2-х вариантов: ЧПУ и с ID. Как мне правильно написать робот, чтобы в индексе остались только ссылки вида ЧПУ, а ссылки с ID он не индексировал?

Надеюсь на помощь мастеров SEO, заранее благодарен.

Можете не волноваться если у вас на сайте нет ссылок на страницы без ЧПУ со временем они все стабилизируется и в индексе останутся только страницы с ЧПУ. Как показала практика если страницы без ЧПУ попали в индекс, то запрещение их в robots.txt к скорому удалению не приведет, а если таких куда больше чем с ЧПУ, то Вы еще и в проигрыше останетесь сами себя решите куска индекса, а соответственно и посетителей. Поэтому или по ссылки выше читать инструкцию или просто время само все сделает за Вас.

Skybee · 31.08.2010, 22:52

Praetorian, лучше через .htaccess сделайте. Отдавайте код 404 когда урл не ЧПУ. Так ненужные странички точно быстро вылетят.

Praetorian · 31.08.2010, 23:07

Цитата:

Сообщение от Skybee

Praetorian, лучше через .htaccess сделайте. Отдавайте код 404 когда урл не ЧПУ. Так ненужные странички точно быстро вылетят.

А что именно туда прописать?

Добавлено через 1 минуту

Цитата:

Сообщение от RedPage

Можете не волноваться если у вас на сайте нет ссылок на страницы без ЧПУ со временем они все стабилизируется и в индексе останутся только страницы с ЧПУ. Как показала практика если страницы без ЧПУ попали в индекс, то запрещение их в robots.txt к скорому удалению не приведет, а если таких куда больше чем с ЧПУ, то Вы еще и в проигрыше останетесь сами себя решите куска индекса, а соответственно и посетителей. Поэтому или по ссылки выше читать инструкцию или просто время само все сделает за Вас.

Проблема в том, что продвигаются страницы с ссылками ЧПУ, а в выдаче ссылки вылезают без ЧПУ.

Skybee · 31.08.2010, 23:33

Цитата:

Сообщение от Praetorian

А что именно туда прописать?

Вот так попробуйте

Цитата:

RewriteRule \? [R=404,L]

Честно говоря сам такого не делал, так что в работе примера не уверен. Если что, могу подсказать, как на php организовать.

Добавлено через 2 минуты
Пример подразумевает, что знак "?" в урле не присутствует.

allodessa · 01.09.2010, 08:12

Гугл быстро переиндексирует, а вот яндекс будет недельки минимум 2 думать. Или попробуйте прикупить ссылок на 1 месяц, шоб роботы забегали.

Praetorian · 01.09.2010, 10:57

Цитата:

Сообщение от Skybee

Вот так попробуйте

Честно говоря сам такого не делал, так что в работе примера не уверен. Если что, могу подсказать, как на php организовать.

Добавлено через 2 минуты
Пример подразумевает, что знак "?" в урле не присутствует.

Спасибо, попробую!

31.08.2010, 17:57	#1
Praetorian Новичок Регистрация: 07.01.2009 Сообщений: 29 Вес репутации: 0	Как правильно написать robot.txt Приветствую форумчане! Не закидывайте меня тапками, пожалуйста, прошу Вашей помощи: к яше в индекс попали одни и те же страницы с ссылками 2-х вариантов: ЧПУ и с ID. Как мне правильно написать робот, чтобы в индексе остались только ссылки вида ЧПУ, а ссылки с ID он не индексировал? Надеюсь на помощь мастеров SEO, заранее благодарен.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Закрытие robot.txt как способ воровства?	investory	Биржа статей	10	03.02.2010 18:56
как на php правильно написать условие???	Gevak	Разработка и сопровождение сайтов	4	19.11.2009 16:42
Сапа понимала robot.txt	Konstantin_by	Пожелания пользователей системы	3	12.03.2009 00:52
robot sape	Krokus	Ошибки при работе с системой	15	10.08.2008 03:20
WinHTTP Robot?	Indigo	Разработка и сопровождение сайтов	6	02.03.2008 18:57

31.08.2010, 21:14	#2
Litov Эксперт Регистрация: 24.03.2010 Адрес: Москва Сообщений: 1,023 Вес репутации: 217	http://help.yandex.ru/webmaster/?id=996567

31.08.2010, 22:52	#4
Skybee Мастер Регистрация: 09.11.2008 Адрес: Харьков Сообщений: 726 Вес репутации: 229	Praetorian, лучше через .htaccess сделайте. Отдавайте код 404 когда урл не ЧПУ. Так ненужные странички точно быстро вылетят.

01.09.2010, 08:12	#7
allodessa Специалист Регистрация: 06.05.2010 Сообщений: 399 Вес репутации: 0	Гугл быстро переиндексирует, а вот яндекс будет недельки минимум 2 думать. Или попробуйте прикупить ссылок на 1 месяц, шоб роботы забегали.