Старый 17.08.2010, 18:26   #1
Специалист
 
Аватар для FlyingDutchman
 
Регистрация: 10.08.2010
Сообщений: 350
Вес репутации: 174
FlyingDutchman - весьма и весьма положительная личностьFlyingDutchman - весьма и весьма положительная личность
Отправить сообщение для FlyingDutchman с помощью ICQ
По умолчанию Robots.txt

Сегодня удивился и просто офигел....
Вот мой роботс:
User-agent: *
Цитата:
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Host: bestfocus.net
Почему яша спокойно заходит на все ссылки, которые я запретил? site.ru/tmp, site.ru/modules и т.п.??
FlyingDutchman вне форума   Ответить с цитированием
Старый 17.08.2010, 18:36   #2
Специалист
 
Аватар для Сапожник
 
Регистрация: 28.10.2009
Адрес: нары
Сообщений: 160
Вес репутации: 180
Сапожник - весьма и весьма положительная личностьСапожник - весьма и весьма положительная личность
По умолчанию

FlyingDutchman )) нужно либо убрать "User-agent: Yandex", либо написать это выше "Disallow:..." - только тогда нужно будет прописать Disallow: для других ПС.
Сапожник вне форума   Ответить с цитированием
Старый 17.08.2010, 18:38   #3
не эксперт
 
Регистрация: 14.06.2008
Адрес: msk
Сообщений: 2,180
Вес репутации: 293
zeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущееzeta - прекрасное будущее
По умолчанию

User-agent: Yandex
укажите явно, а строчку внизу
Цитата:
User-agent: Yandex
уберите
zeta вне форума   Ответить с цитированием
Старый 17.08.2010, 18:38   #4
Привилегированный сапёр
 
Аватар для Sergoff
 
Регистрация: 21.04.2008
Сообщений: 2,426
Вес репутации: 310
Sergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущее
По умолчанию

Цитата:
Сообщение от FlyingDutchman Посмотреть сообщение
Сегодня удивился и просто офигел....
Вот мой роботс:
User-agent: *


Почему яша спокойно заходит на все ссылки, которые я запретил? site.ru/tmp, site.ru/modules и т.п.??
Стоило бы почитать FAQ Яндекс. Вам правильно выше посоветовали.
Sergoff вне форума   Ответить с цитированием
Старый 17.08.2010, 18:40   #5
Специалист
 
Аватар для FlyingDutchman
 
Регистрация: 10.08.2010
Сообщений: 350
Вес репутации: 174
FlyingDutchman - весьма и весьма положительная личностьFlyingDutchman - весьма и весьма положительная личность
Отправить сообщение для FlyingDutchman с помощью ICQ
По умолчанию

Извините, цитату неправильно оформил, ещё разок:
Цитата:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Host: bestfocus.net
В общем я в панеле яши проверил, чтобы работало, мне нужно все эти disallow ещё раз кинуть под
Цитата:
User-agent: Yandex
просто глупо как-то выходит, получается robots.txt работает как бы однопоточно? то бишь находит один User-agent считывает его и в другие не лезет?
FlyingDutchman вне форума   Ответить с цитированием
Старый 17.08.2010, 18:44   #6
Специалист
 
Аватар для Сапожник
 
Регистрация: 28.10.2009
Адрес: нары
Сообщений: 160
Вес репутации: 180
Сапожник - весьма и весьма положительная личностьСапожник - весьма и весьма положительная личность
По умолчанию

FlyingDutchman )) еще раз повторяю повторяю

Удалите строчку "User-agent: Yandex" и всё!
ПС (все) больше не будут ходить по Disallow путям.
Сапожник вне форума   Ответить с цитированием
Старый 17.08.2010, 18:49   #7
Специалист
 
Аватар для FlyingDutchman
 
Регистрация: 10.08.2010
Сообщений: 350
Вес репутации: 174
FlyingDutchman - весьма и весьма положительная личностьFlyingDutchman - весьма и весьма положительная личность
Отправить сообщение для FlyingDutchman с помощью ICQ
По умолчанию

Цитата:
Сообщение от Сапожник Посмотреть сообщение
FlyingDutchman )) еще раз повторяю повторяю

Удалите строчку "User-agent: Yandex" и всё!
ПС (все) больше не будут ходить по Disallow путям.
Я понял спасибо, а почему по моему синтаксису ходят?
Ведь я отдельно указал, что всем ПС не ходит там, и отдельно яше показал зеркало.

Добавлено через 3 минуты
Цитата:
Сообщение от Sergoff Посмотреть сообщение
Стоило бы почитать FAQ Яндекс. Вам правильно выше посоветовали.
http://robotstxt.org.ru/robotstxterrors#______2

вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.
Так что... поэтому обратился сюда

Последний раз редактировалось FlyingDutchman; 17.08.2010 в 18:49. Причина: Добавлено сообщение
FlyingDutchman вне форума   Ответить с цитированием
Старый 17.08.2010, 18:50   #8
Специалист
 
Аватар для Сапожник
 
Регистрация: 28.10.2009
Адрес: нары
Сообщений: 160
Вес репутации: 180
Сапожник - весьма и весьма положительная личностьСапожник - весьма и весьма положительная личность
По умолчанию

FlyingDutchman, главное зеркало - Host, User-agent: Yandex - список параметров для робота Yandex.
частые ошибки в роботс
Сапожник вне форума   Ответить с цитированием
Старый 17.08.2010, 18:51   #9
Привилегированный сапёр
 
Аватар для Sergoff
 
Регистрация: 21.04.2008
Сообщений: 2,426
Вес репутации: 310
Sergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущееSergoff - прекрасное будущее
По умолчанию

Цитата:
Сообщение от FlyingDutchman Посмотреть сообщение
Я понял спасибо, а почему по моему синтаксису ходят?
Ведь я отдельно указал, что всем ПС не ходит там, и отдельно яше показал зеркало.

Добавлено через 3 минуты


http://robotstxt.org.ru/robotstxterrors#______2

вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.
Так что... поэтому обратился сюда
Вы еще раз перечитайте фак Яндекса, а не robotstxt.org.ru. Если Вы указали User-agent: *, потом перечислили запреты, а потом указали
User-agent: Yandex
Host: bestfocus.net

То Яндекс предыдущие запреты игнорирует, т.к. он либо понимает User-agent: * либо User-agent: Yandex и все остальное игнорирует
Sergoff вне форума   Ответить с цитированием
Старый 17.08.2010, 18:52   #10
Специалист
 
Аватар для Сапожник
 
Регистрация: 28.10.2009
Адрес: нары
Сообщений: 160
Вес репутации: 180
Сапожник - весьма и весьма положительная личностьСапожник - весьма и весьма положительная личность
По умолчанию

Цитата:
Сообщение от FlyingDutchman Посмотреть сообщение
вот взять от сюда информацию, вы мне говорите неправильно, а было у меня правильно.
Просмотрите код внимательно еще раз. А еще лучше - почитайте весь мануал, Чтобы понять что для чего писать.
Сапожник вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots artoff Вопросы от новичков 4 14.08.2010 11:37
Robots.txt для DLE NIG Разработка и сопровождение сайтов 8 04.08.2010 13:30
Robots.txt Серик Вопросы от новичков 6 29.12.2009 11:29
robots.txt Ruganin Вопросы от новичков 29 24.02.2009 18:20
в robots.txt без www... tito-m Вопросы от новичков 4 01.12.2008 20:34


Часовой пояс GMT +3, время: 23:18.