ковыряем роботс.тхт

[V!rus]

Доброго времени суток!
Как закрыть доступ всем роботам, оставив при этом Яшу, Гугла и сапу? Срочно нужно. Помогите плз.

[Алексей Барыкин]

А зачем?
Имеет смысл иногда яху и мсн запрещать или усмирять.
Например:

User-agent: Slurp
User-agent: msnbot
Crawl-delay: 120

Запретить вышеуказанным роботам соваться на сайт чащё чем раз в две минуты.

[Dreamer.rus]

User-agent: Yandex
Disallow:
далее тоже самое для гугля и сапы, а в конце
User-agent: *
Disallow: /

[den78ru]

Сообщение от Dreamer.rus

далее тоже самое для гугля и сапы, а в конце

Бот сапы роботс читает?

[Ank]

Сообщение от den78ru

Бот сапы роботс читает?

Читает. Но для справки

[Dreamer.rus]

Сообщение от Ank

Читает. Но для справки

То есть ему по-барабану, что в нем написано?

[zhegloff]

Сообщение от Dreamer.rus

То есть ему по-барабану, что в нем написано?

Не по барабану. Он смотрит, какие страницы запрещены для индексации.
Скорее всего робот сапы смотрит на роботс с точки зрения яндыкса, возможно и Гугля еще, но не факт.

[den78ru]

Сообщение от zhegloff

Не по барабану. Он смотрит, какие страницы запрещены для индексации.
Скорее всего робот сапы смотрит на роботс с точки зрения яндыкса, возможно и Гугля еще, но не факт.

Разумно, бот должен знать что запрещено к индексации в ПС и соответственно эти страницы/директории и индексить сам не будет.

[VoiD_BY]

может быть что к индексации запрещено, но проиндексировалось раньше, за день до закрытия например

[vitlav]

Запретить можно в файле .htaccess вот таким вот макаром:

RewriteCond %{HTTP_USER_AGENT} ^.*msn [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*psbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Mail.Ru [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*HTMLParser [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Wget
RewriteRule ^.* - [F,L]

Все что прописаны поисковики суваться не будут, или прописать для каждого отдельно в файле robots.txt вот в таком вот формате:

User-agent: Yandex                  #Имя бота
Disallow: /papka1/                    #если надо что то запретить
Allow: *                                  #разрешено к индексации все
Host: site.ru                            #имя домена

У меня прописан так роботс и работает все замечательно