Форум SAPE.RU - Robots.txt

Страница 1 из 2

Показывать 40 сообщений этой темы на одной странице

Форум SAPE.RU (http://forum.sape.ru/index.php)

- Вопросы от новичков (http://forum.sape.ru/forumdisplay.php?f=25)

- - Robots.txt (http://forum.sape.ru/showthread.php?t=57086)

FlyingDutchman

17.08.2010 18:26

Robots.txt

Сегодня удивился и просто офигел....
Вот мой роботс:
User-agent: *

Цитата:

Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Host: bestfocus.net

Почему яша спокойно заходит на все ссылки, которые я запретил? site.ru/tmp, site.ru/modules и т.п.??

Сапожник

17.08.2010 18:36

FlyingDutchman )) нужно либо убрать "User-agent: Yandex", либо написать это выше "Disallow:..." - только тогда нужно будет прописать Disallow: для других ПС.

zeta	17.08.2010 18:38

User-agent: Yandex
укажите явно, а строчку внизу

Цитата:

User-agent: Yandex

уберите

Sergoff

17.08.2010 18:38

Цитата:

Сообщение от FlyingDutchman (Сообщение 886467)

Сегодня удивился и просто офигел....
Вот мой роботс:
User-agent: *

Почему яша спокойно заходит на все ссылки, которые я запретил? site.ru/tmp, site.ru/modules и т.п.??

Стоило бы почитать FAQ Яндекс. Вам правильно выше посоветовали.

FlyingDutchman

17.08.2010 18:40

Извините, цитату неправильно оформил, ещё разок:

Цитата:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Host: bestfocus.net

В общем я в панеле яши проверил, чтобы работало, мне нужно все эти disallow ещё раз кинуть под

Цитата:

User-agent: Yandex

просто глупо как-то выходит, получается robots.txt работает как бы однопоточно? то бишь находит один User-agent считывает его и в другие не лезет?

Сапожник

17.08.2010 18:44

FlyingDutchman )) еще раз повторяю повторяю

Удалите строчку "User-agent: Yandex" и всё!
ПС (все) больше не будут ходить по Disallow путям.

FlyingDutchman

17.08.2010 18:49

Цитата:

Сообщение от Сапожник (Сообщение 886489)

Я понял спасибо, а почему по моему синтаксису ходят?
Ведь я отдельно указал, что всем ПС не ходит там, и отдельно яше показал зеркало.

Добавлено через 3 минуты

Цитата:

Сообщение от Sergoff (Сообщение 886480)

Стоило бы почитать FAQ Яндекс. Вам правильно выше посоветовали.

http://robotstxt.org.ru/robotstxterrors#______2

вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.
Так что... поэтому обратился сюда

Сапожник

17.08.2010 18:50

FlyingDutchman, главное зеркало - Host, User-agent: Yandex - список параметров для робота Yandex.
частые ошибки в роботс

Sergoff

17.08.2010 18:51

Цитата:

Сообщение от FlyingDutchman (Сообщение 886493)

Я понял спасибо, а почему по моему синтаксису ходят?
Ведь я отдельно указал, что всем ПС не ходит там, и отдельно яше показал зеркало.

Добавлено через 3 минуты

http://robotstxt.org.ru/robotstxterrors#______2

вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.
Так что... поэтому обратился сюда

Вы еще раз перечитайте фак Яндекса, а не robotstxt.org.ru. Если Вы указали User-agent: *, потом перечислили запреты, а потом указали
User-agent: Yandex
Host: bestfocus.net

То Яндекс предыдущие запреты игнорирует, т.к. он либо понимает User-agent: * либо User-agent: Yandex и все остальное игнорирует :)

Сапожник

17.08.2010 18:52

Цитата:

Сообщение от FlyingDutchman (Сообщение 886493)

вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.

Просмотрите код внимательно еще раз. А еще лучше - почитайте весь мануал, Чтобы понять что для чего писать.

Часовой пояс GMT +3, время: 12:46.

Страница 1 из 2

Показывать 40 сообщений этой темы на одной странице