запрет индексации динамических урлов через robots.txt

Leonardo · 06.06.2009, 23:53

Доброго времени суток, форумчне. Собственно сабж. есть сайт на двиге джумлы хочу запретить на индексацию всех страниц кроме главной вид которой site.ru.
как известно урлы на джумле имеют вид
site.ru/index.php?option=com_content&task=view&id=16&Itemi d=17

Правомерно ли будет для яндекса запретить через роботс эти урлы так:

Цитата:

User-agent: Yandex
Disallow: /index.php?option=com_content&task=view&id=1&Itemid =2
Disallow: /index.php?option=com_content&task=view&id=2&Itemid =3
Disallow: /index.php?option=com_content&task=view&id=3&Itemid =4
Disallow: /index.php?option=com_content&task=view&id=4&Itemid =5
Disallow: /index.php?option=com_content&task=view&id=5&Itemid =6
Disallow: /index.php?option=com_content&task=view&id=6&Itemid =7

ссылок всего 20 стоит ли все указать в роботсе или прописать так

Цитата:

User-agent: Yandex
Disallow: /index.php/

как дерикторию.

цель данной затеи выяснить почему сайт не индексируется. Провести полный анализ главной страницы. вычислить закономерность уникальности контента и колличество ключевиков на странице. Всёж по одной странице проще выяснить чего не нравится алгоритмам яндекса.

СПАСИБО!

chamomilla · 07.06.2009, 00:55

Цитата:

Сообщение от Leonardo

...есть сайт на двиге джумлы хочу запретить на индексацию всех страниц кроме главной вид которой site.ru.
как известно урлы на джумле имеют вид
site.ru/index.php?option=com_content&task=view&id=16&Itemi d=17

Цитата:

User-agent: Yandex
Disallow: /index.php/

С Джумлой вечно какие-нибудь проблемы с дублированием урлов. Системно правильный - второй вариант, только вида

User-agent: Yandex
Disallow: /index.php

Sergeixp · 07.06.2009, 08:14

хотелось бы добавить

User-agent: Yandex
Disallow: /index.php
Disallow: /index2.php
Disallow: /index3.php

на всякий случай, так как индекс 2 это всякие странички для печати, а индекс 3 помоему что то с админкой связано.

Leonardo · 07.06.2009, 10:11

спасибо всем!!!

Squish · 07.06.2009, 10:12

User-agent: Yandex
Disallow: /?

Dreamer.rus · 09.06.2009, 23:31

Сам яндекс рекомендует делать так:

Код:

User-agent: Yandex
Disallow: /index.php*

_http://help.yandex.ru/webmaster/?id=996567

P.S.> Лично проверено на нескольких сайтах - работает

sergu · 12.06.2009, 19:23

Не знаю кто как спасается, а я себе сделал кругом только sef-ссылки, остальное всё в хтаксесе:

#--------------------------------#
RewriteCond %{QUERY_STRING} .+
RewriteRule .* / [F,L]
#--------------------------------#

При защите таким способом "злоумышленнику" так же не удастся проверить ваш сайт на установку сапо-ссыль путём добавки какой-нибудь рандомной get-переменной в ссылку - при добавке любых буков в урл сразу будет "форбидон".

voooz · 12.06.2009, 20:22

Вот так
Disallow: /index.php?
У меня при отключеном ЧПУ индексировал только главную

07.06.2009, 08:14	#3
Sergeixp Шмыга Регистрация: 25.10.2007 Сообщений: 1,025 Вес репутации: 230	хотелось бы добавить User-agent: Yandex Disallow: /index.php Disallow: /index2.php Disallow: /index3.php на всякий случай, так как индекс 2 это всякие странички для печати, а индекс 3 помоему что то с админкой связано. __________________ Сапа рулит!

07.06.2009, 10:11	#4
Leonardo Мастер Регистрация: 25.07.2008 Адрес: Симферополь, КРЫМ, Чистенькое :) Сообщений: 676 Вес репутации: 217	спасибо всем!!! __________________ Зарабатываю на самой лушей тизерной сети здесь.

07.06.2009, 10:12	#5
Squish Специалист Регистрация: 08.07.2008 Сообщений: 429 Вес репутации: 208	User-agent: Yandex Disallow: /? __________________ Набираю рефералов, помогу в установке кода на PHP/ASP скрипты/движки/CMS. Размещайте ссылки навсегда в контексте или текстовых блоках. Хороший хостинг 1Гб - 60р./мес.

09.06.2009, 23:31	#6
Dreamer.rus Специалист Регистрация: 08.03.2008 Сообщений: 246 Вес репутации: 204	Сам яндекс рекомендует делать так: Код: User-agent: Yandex Disallow: /index.php* _http://help.yandex.ru/webmaster/?id=996567 P.S.> Лично проверено на нескольких сайтах - работает

12.06.2009, 19:23	#7
sergu Новичок Регистрация: 17.03.2009 Сообщений: 67 Вес репутации: 187	Не знаю кто как спасается, а я себе сделал кругом только sef-ссылки, остальное всё в хтаксесе: #--------------------------------# RewriteCond %{QUERY_STRING} .+ RewriteRule .* / [F,L] #--------------------------------# При защите таким способом "злоумышленнику" так же не удастся проверить ваш сайт на установку сапо-ссыль путём добавки какой-нибудь рандомной get-переменной в ссылку - при добавке любых буков в урл сразу будет "форбидон". Последний раз редактировалось sergu; 12.06.2009 в 19:23. Причина: Добавлено сообщение

12.06.2009, 20:22	#8
voooz Специалист Регистрация: 04.01.2009 Адрес: Вы будете смеяться, но я-таки нерезидент Сообщений: 215 Вес репутации: 193	Вот так Disallow: /index.php? У меня при отключеном ЧПУ индексировал только главную

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Хитрый запрет индексации?	Al Pacino	Разработка и сопровождение сайтов	10	27.01.2009 14:55
Запрет на индексацию линкопомойки	Invasion	Разработка и сопровождение сайтов	19	15.12.2008 00:46
Можно ли закрыть от робота Сапы ссылки через robots.txt?	dadda	Вопросы по работе системы	6	29.10.2008 15:46
Запрет на вывод денег?	humorland	Финансовые и юридические вопросы	91	28.10.2008 09:10
Список урлов для индексации	mik-a-el	Пожелания пользователей системы	5	13.09.2007 10:16