sape.ru и robots.txt - Форум SAPE.RU

		Форум SAPE.RU > Система SAPE.ru > Ошибки при работе с системой
sape.ru и robots.txt

-->

Опции темы

11.12.2007, 22:05

Алексей Барыкин

Хитрый жук

Регистрация: 05.12.2007

Адрес: Конаково

Сообщений: 2,987

Вес репутации: 389

sape.ru и robots.txt

robots.txt у сапы прописан не совсем корректно. См. http://sape.ru/robots.txt

Цитата:

Host: www.sape.ru

По моему стоит явно прописать User-agent. Да и запретить к индексации служебные каталоги не помешает...

http://robotstxt.org.ru/rurobots/yandex#h79-4

Цитата:

Во избежания возникновения проблем с

зеркалом/ами сайта рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта. С директивой «Disallow» никак не связана. Пример:

Код:

User-agent: Yandex
Disallow: /cgi-bin
Host: site.ru

« Предыдущая тема | Следующая тема »

Ваши права в разделе
Вы не можете создавать новые темы Вы не можете отвечать в темах Вы не можете прикреплять вложения Вы не можете редактировать свои сообщения BB коды Вкл. Смайлы Вкл. [IMG] код Вкл. HTML код Выкл. Forum Rules

Быстрый переход

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Робот SAPE игнорирует robots.txt	lex	Ошибки при работе с системой	33	15.12.2010 13:20
robots.txt	Alexander	Разработка и сопровождение сайтов	10	25.02.2010 21:54
Можно внести в robots.txt папку sape	clombus	Вопросы по работе системы	7	18.10.2007 14:44
Robots.txt	leszkin	Вопросы по работе системы	7	17.09.2007 09:37
Надо ли запретить доступ роботам к папке SAPE, указав её длинное имя в robots.txt ?	madcap	Вопросы по работе системы	7	02.08.2007 00:38

Часовой пояс GMT +3, время: 03:16.