25.06.2010, 21:12 | #1 |
Новичок
Регистрация: 11.01.2010
Сообщений: 34
Вес репутации: 0
|
Робот сапы
При модерации написали, "у вас в robots.txt главная страница закрыта для робота-индексатора."
А как звать работы сапы, чтоб его прописать? или как переделать robots.txt чтоб работало? Sitemap: http://123.org/sitemap.xml User-agent: Googlebot User-agent: Yandex User-agent: StackRambler Allow: /$ Allow: /index.php$ Allow: /yandex.php$ Allow: /viewforum.php?f= Allow: /viewtopic.php?t= Allow: /viewtopic.php?p= Allow: /sitemap.xml Allow: /sitemap/ Disallow: / Host: 123.org Crawl-delay: 0.5 User-agent: Adsbot-Google User-agent: Googlebot-Image User-agent: Googlebot-Mobile User-agent: Mediapartners-Google User-agent: msnbot User-agent: msnbot-media User-agent: Yahoo-MMCrawler Disallow: / User-agent: Browsershots Disallow: User-agent: * Disallow: / |
25.06.2010, 21:14 | #2 |
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 247
|
Потёрто, ошибся
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) |
25.06.2010, 21:33 | #3 |
К черту кодекс !!
Регистрация: 19.12.2009
Адрес: [ forum.sape.ru ]
Сообщений: 2,168
Вес репутации: 380
|
__________________
|
25.06.2010, 21:35 | #4 |
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 247
|
Да он видимо специально запретил другим ботам индексацию.
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) |
25.06.2010, 21:37 | #5 |
Мастер
Регистрация: 29.03.2010
Адрес: <html></html>
Сообщений: 626
Вес репутации: 203
|
robots.txt составлен в корне неверно... ищите инфу в нете исправляйте.
|
25.06.2010, 21:40 | #6 | |
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 247
|
Цитата:
Вроде бы всё правильно (по крайней мере работоспособно) Разве что host должен быть выше запрещающих директив
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) |
|
25.06.2010, 21:57 | #7 | |
Мастер
Регистрация: 29.03.2010
Адрес: <html></html>
Сообщений: 626
Вес репутации: 203
|
Цитата:
2. Disallow: / запрещена индексация сайта 3. нарушен порядок размещения директив. Последний раз редактировалось WEB-Master; 25.06.2010 в 22:04. |
|
25.06.2010, 22:06 | #8 | |
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 247
|
Цитата:
2. Disallow: / - стоит после всех остальных директив, т.е. запрещает всё что не попало под Allow 3. Нарушение порядка вижу только в host (робот до этой директивы просто не доберётся) Добавлено через 6 минут Проверил через панель вебмастера - ошибка только в том что для каждого юзерагента надо указывать свой набор правил, +директива host должна быть первой.
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) Последний раз редактировалось eresik; 25.06.2010 в 22:07. Причина: Добавлено сообщение |
|
25.06.2010, 22:07 | #9 | |
Мастер
Регистрация: 29.03.2010
Адрес: <html></html>
Сообщений: 626
Вес репутации: 203
|
Цитата:
|
|
25.06.2010, 22:08 | #10 | |
Эксперт
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 247
|
Цитата:
Примечание: Не существовало на момент перевода данного текста, сейчас эта инструкция поддерживаетcя и Гуглом, и Яндексом. Уточняйте по использованию для других роботов.
__________________
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS) |
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот Сапы и Crawl-delay | Sea | Вопросы по работе системы | 10 | 13.02.2012 12:17 |
Робот сапы не видит установленный код | karizma | Установка кода на различные движки | 7 | 16.07.2009 11:22 |
Понимает ли робот сапы allow в robots.txt? | Danila | Вопросы по работе системы | 6 | 04.02.2009 17:59 |
робот сапы не видит ссылки | stremlenie1 | Ошибки при работе с системой | 2 | 26.11.2008 13:22 |
Робот сапы не видит код на .narod.ru | Эмка | Ошибки при работе с системой | 2 | 23.10.2008 11:47 |
Часовой пояс GMT +3, время: 22:49.