Старый 11.12.2007, 22:05   #1
Хитрый жук
 
Аватар для Алексей Барыкин
 
Регистрация: 05.12.2007
Адрес: Конаково
Сообщений: 2,987
Вес репутации: 346
Алексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущее
По умолчанию sape.ru и robots.txt

robots.txt у сапы прописан не совсем корректно. См. http://sape.ru/robots.txt
Цитата:
Host: www.sape.ru
По моему стоит явно прописать User-agent. Да и запретить к индексации служебные каталоги не помешает...


http://robotstxt.org.ru/rurobots/yandex#h79-4
Цитата:
Во избежания возникновения проблем с зеркалом/ами сайта рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта. С директивой «Disallow» никак не связана. Пример:
Код:
User-agent: Yandex
Disallow: /cgi-bin
Host: site.ru
Алексей Барыкин вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Робот SAPE игнорирует robots.txt lex Ошибки при работе с системой 33 15.12.2010 13:20
robots.txt Alexander Разработка и сопровождение сайтов 10 25.02.2010 21:54
Можно внести в robots.txt папку sape clombus Вопросы по работе системы 7 18.10.2007 14:44
Robots.txt leszkin Вопросы по работе системы 7 17.09.2007 09:37
Надо ли запретить доступ роботам к папке SAPE, указав её длинное имя в robots.txt ? madcap Вопросы по работе системы 7 02.08.2007 00:38


Часовой пояс GMT +3, время: 15:11.