yandex странно проиндексировал сайт

[marker]

Подскажите почему yandex проиндексировал все страницы сайта с прифексом www.сайт.ru и без прифекса сайт.ru В итоге вместо 13страниц проиндексированно 26страниц.

[Алексей Барыкин]

http://www.4webmaster.ru/articles/domains/3.html
http://forum.sape.ru/showthread.php?t=2646

[Sergeixp]

кто подскажет как в итоге должен выгледеть фаил Robots.txt ?

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www.xxx.xx

Так? а как сделать редикет для гугля? сюдаже надо чтото писать?

PS. если для User-agent: * запрещены директории для индексации, нужно ли дублировать их для User-agent: Yandex ?

[Sergeixp]

Да и вот еще что - Это реально чтонить дает? ведь помоему pr и тиц на страницу (саит) с www и без www одинаковые...

[hcir]

Так?

Да.

а как сделать редикет для гугля? сюдаже надо чтото писать?

Не надо ничего писать. Добавьте сайт в гугловские инструменты для вебмастера и там выберите основной домен.

если для User-agent: * запрещены директории для индексации, нужно ли дублировать их для User-agent: Yandex ?

Да, нужно.

[GAO]

После очередной переиндексации страниц сайта Яндекс стал выдавать все известные ему страницы, кроме главной, вместо:
http://mysite.ru/?cat_id=62
в виде:
http://mysite.ru/?cat_id=62&PHPSESSI...5973d1ec45de36
причем вот эта добавка "&PHPSESSID=9b72f276d1fcba3f9c5973d1ec45de36" у всех страниц одинакова (у главной ее нет).
Сам сайт работает нормально, все ссылки "ОК"
В чем может быть причина?

[Алексей Барыкин]

кто подскажет как в итоге должен выгледеть фаил Robots.txt ?

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: www.xxx.xx

Так?

Почти, только Disallow прописать надо\желательно корректно.
Например:
Disallow: /template

Да и вот еще что - Это реально чтонить дает? ведь помоему pr и тиц на страницу (саит) с www и без www одинаковые...

Это не так.

а как сделать редикет для гугля? сюдаже надо чтото писать?

Как hcir написал - в принципе достаточно, но я обычно и в htaccess редирект делаю:

PHP код:

# Запуск mod_rewrite
RewriteEngine on
RewriteBase /
Options +FollowSymlinks

#запрет просмотра .htaccess
RewriteRule ^.htaccess$ - [F]

#перенаправление с www.site.ru на site.ru
RewriteCond %{HTTP_HOST} ^www.site.ru$
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L] 


Подробнее тут:
http://www.4webmaster.ru/articles/domains/3.html

[Sergeixp]

Всем спасибо.

GAO - походу у тебя яндекс зарегистрировался.....

[doc.SERG]

Сообщение от GAO

После очередной переиндексации страниц сайта Яндекс стал выдавать все известные ему страницы, кроме главной, вместо:
http://mysite.ru/?cat_id=62
в виде:
http://mysite.ru/?cat_id=62&PHPSESSI...5973d1ec45de36
причем вот эта добавка "&PHPSESSID=9b72f276d1fcba3f9c5973d1ec45de36" у всех страниц одинакова (у главной ее нет).
Сам сайт работает нормально, все ссылки "ОК"
В чем может быть причина?

сессии пробовали отключать? Мне кажется у вас та же проблема, что и с сессиями в phpbb...

А по теме... насколько помню, 301/302 редирект больше для гугла подходит, а для Яндекса - robots.txt

Вообще, об этом лучше думать заранее, когда сайт только запускаете в интернете