04.04.2008, 13:27 | #1 |
Ваnnеd
|
ковыряем роботс.тхт
Доброго времени суток!
Как закрыть доступ всем роботам, оставив при этом Яшу, Гугла и сапу? Срочно нужно. Помогите плз.
__________________
Осуществляю поддержку сайтов с OpenCart, Bitrix, Wordpress, DLE, Drupal, WebAsyst и пр. Скайп agriboed |
04.04.2008, 13:43 | #2 |
Хитрый жук
Регистрация: 05.12.2007
Адрес: Конаково
Сообщений: 2,987
Вес репутации: 389
|
А зачем?
Имеет смысл иногда яху и мсн запрещать или усмирять. Например: Код:
User-agent: Slurp User-agent: msnbot Crawl-delay: 120
__________________
|
04.04.2008, 15:28 | #3 |
Специалист
Регистрация: 08.03.2008
Сообщений: 246
Вес репутации: 204
|
Код:
User-agent: Yandex Disallow: далее тоже самое для гугля и сапы, а в конце User-agent: * Disallow: / |
04.04.2008, 15:37 | #5 |
Администратор
Регистрация: 05.02.2007
Сообщений: 18,405
Вес репутации: 715
|
__________________
Читаем ФАК |
04.04.2008, 15:39 | #6 |
Специалист
Регистрация: 08.03.2008
Сообщений: 246
Вес репутации: 204
|
|
04.04.2008, 15:43 | #7 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1025
|
|
04.04.2008, 15:49 | #8 |
Погулять вышел
Регистрация: 15.05.2007
Адрес: С-Пб! О/ВМ 50/50
Сообщений: 1,921
Вес репутации: 316
|
Разумно, бот должен знать что запрещено к индексации в ПС и соответственно эти страницы/директории и индексить сам не будет.
|
04.04.2008, 21:45 | #10 |
Новичок
Регистрация: 07.08.2007
Сообщений: 51
Вес репутации: 205
|
Запретить можно в файле .htaccess вот таким вот макаром:
Код:
RewriteCond %{HTTP_USER_AGENT} ^.*msn [OR] RewriteCond %{HTTP_USER_AGENT} ^.*Twiceler [OR] RewriteCond %{HTTP_USER_AGENT} ^.*Slurp [OR] RewriteCond %{HTTP_USER_AGENT} ^.*WebAlta [OR] RewriteCond %{HTTP_USER_AGENT} ^.*psbot [OR] RewriteCond %{HTTP_USER_AGENT} ^.*Mail.Ru [OR] RewriteCond %{HTTP_USER_AGENT} ^.*HTMLParser [OR] RewriteCond %{HTTP_USER_AGENT} ^.*Wget RewriteRule ^.* - [F,L] Код:
User-agent: Yandex #Имя бота Disallow: /papka1/ #если надо что то запретить Allow: * #разрешено к индексации все Host: site.ru #имя домена |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Помогите плиз с роботс.тхт | ravadir | Яндекс | 4 | 20.04.2008 14:38 |
Часовой пояс GMT +3, время: 14:34.