Robots.txt

[FlyingDutchman]

Сегодня удивился и просто офигел....
Вот мой роботс:
User-agent: *

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Host: bestfocus.net

Почему яша спокойно заходит на все ссылки, которые я запретил? site.ru/tmp, site.ru/modules и т.п.??

[Сапожник]

FlyingDutchman )) нужно либо убрать "User-agent: Yandex", либо написать это выше "Disallow:..." - только тогда нужно будет прописать Disallow: для других ПС.

[zeta]

User-agent: Yandex
укажите явно, а строчку внизу

User-agent: Yandex

уберите

[Sergoff]

Сообщение от FlyingDutchman

Сегодня удивился и просто офигел....
Вот мой роботс:
User-agent: *


Почему яша спокойно заходит на все ссылки, которые я запретил? site.ru/tmp, site.ru/modules и т.п.??

Стоило бы почитать FAQ Яндекс. Вам правильно выше посоветовали.

[FlyingDutchman]

Извините, цитату неправильно оформил, ещё разок:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Host: bestfocus.net

В общем я в панеле яши проверил, чтобы работало, мне нужно все эти disallow ещё раз кинуть под

User-agent: Yandex

просто глупо как-то выходит, получается robots.txt работает как бы однопоточно? то бишь находит один User-agent считывает его и в другие не лезет?

[Сапожник]

FlyingDutchman )) еще раз повторяю повторяю

Удалите строчку "User-agent: Yandex" и всё!
ПС (все) больше не будут ходить по Disallow путям.

[FlyingDutchman]

Сообщение от Сапожник

FlyingDutchman )) еще раз повторяю повторяю

Удалите строчку "User-agent: Yandex" и всё!
ПС (все) больше не будут ходить по Disallow путям.

Я понял спасибо, а почему по моему синтаксису ходят?
Ведь я отдельно указал, что всем ПС не ходит там, и отдельно яше показал зеркало.

Добавлено через 3 минуты

Сообщение от Sergoff

Стоило бы почитать FAQ Яндекс. Вам правильно выше посоветовали.

http://robotstxt.org.ru/robotstxterrors#______2

вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.
Так что... поэтому обратился сюда

[Сапожник]

FlyingDutchman, главное зеркало - Host, User-agent: Yandex - список параметров для робота Yandex.
частые ошибки в роботс

[Sergoff]

Сообщение от FlyingDutchman

Я понял спасибо, а почему по моему синтаксису ходят?
Ведь я отдельно указал, что всем ПС не ходит там, и отдельно яше показал зеркало.

Добавлено через 3 минуты


http://robotstxt.org.ru/robotstxterrors#______2

вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.
Так что... поэтому обратился сюда

Вы еще раз перечитайте фак Яндекса, а не robotstxt.org.ru. Если Вы указали User-agent: *, потом перечислили запреты, а потом указали
User-agent: Yandex
Host: bestfocus.net

То Яндекс предыдущие запреты игнорирует, т.к. он либо понимает User-agent: * либо User-agent: Yandex и все остальное игнорирует

[Сапожник]

Сообщение от FlyingDutchman

вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.

Просмотрите код внимательно еще раз. А еще лучше - почитайте весь мануал, Чтобы понять что для чего писать.