25.06.2010, 23:08
|
#22 | |
|
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 244
  |
Цитата:
Просто для первых двух юзерагентов в этом роботсе отсутствуют директивы. И директива host должна стоять первой в списке директив для данного юзерагента (кстати, host кто-нибудь кроме яндекса поддерживает?), т.к. робот не просматривает весь список директив, а прерывается на первой подходящей для данного url, по крайней мере это-то я помню абсолютно точно 
__________________
|
|
|
|
|
25.06.2010, 23:13
|
#23 |
|
Мастер
Регистрация: 29.03.2010
Адрес: <html></html>
Сообщений: 626
Вес репутации: 199
|
хорошо, все там отлично.
по теме уберите 2 последние строчки: User-agent: * Disallow: / и с сапой все должно быть ок. |
|
|
|
|
25.06.2010, 23:17
|
#24 |
|
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 244
|
Ну если по теме - то уж лучше узнать у ТС - каким роботам он хотел запретить полностью индексацию, и главное - зачем?
Другими словами - не проще ли для всех роботов указать одинаковые директивы. Ко мне кроме перечисленных активно заходит пожалуй только mail.ru
__________________
|
|
|
|
 |
|
|
Похожие темы
|
||||
| Тема | Автор | Раздел | Ответов | Последнее сообщение |
| Робот Сапы и Crawl-delay | Sea | Вопросы по работе системы | 10 | 13.02.2012 12:17 |
| Робот сапы не видит установленный код | karizma | Установка кода на различные движки | 7 | 16.07.2009 11:22 |
| Понимает ли робот сапы allow в robots.txt? | Danila | Вопросы по работе системы | 6 | 04.02.2009 17:59 |
| робот сапы не видит ссылки | stremlenie1 | Ошибки при работе с системой | 2 | 26.11.2008 13:22 |
| Робот сапы не видит код на .narod.ru | Эмка | Ошибки при работе с системой | 2 | 23.10.2008 11:47 |
Часовой пояс GMT +3, время: 18:56.