Старый 25.06.2010, 21:12   #1
Новичок
 
Регистрация: 11.01.2010
Сообщений: 34
Вес репутации: 0
MrG не любят в этих краяхMrG не любят в этих краях
По умолчанию Робот сапы

При модерации написали, "у вас в robots.txt главная страница закрыта для робота-индексатора."
А как звать работы сапы, чтоб его прописать? или как переделать robots.txt чтоб работало?

Sitemap: http://123.org/sitemap.xml

User-agent: Googlebot
User-agent: Yandex
User-agent: StackRambler

Allow: /$
Allow: /index.php$
Allow: /yandex.php$
Allow: /viewforum.php?f=
Allow: /viewtopic.php?t=
Allow: /viewtopic.php?p=
Allow: /sitemap.xml
Allow: /sitemap/
Disallow: /
Host: 123.org
Crawl-delay: 0.5


User-agent: Adsbot-Google
User-agent: Googlebot-Image
User-agent: Googlebot-Mobile
User-agent: Mediapartners-Google
User-agent: msnbot
User-agent: msnbot-media
User-agent: Yahoo-MMCrawler
Disallow: /

User-agent: Browsershots
Disallow:

User-agent: *
Disallow: /
MrG вне форума   Ответить с цитированием
Старый 25.06.2010, 21:14   #2
Эксперт
 
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 219
eresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущее
По умолчанию

Потёрто, ошибся
__________________
Партнёрка знакомств с блоком SAPE. Сапа без расходов на хостинг!
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS)
eresik вне форума   Ответить с цитированием
Старый 25.06.2010, 21:33   #3
К черту кодекс !!
 
Аватар для Красавчег
 
Регистрация: 19.12.2009
Адрес: [ forum.sape.ru ]
Сообщений: 2,168
Вес репутации: 352
Красавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущееКрасавчег - прекрасное будущее
По умолчанию

Цитата:
Сообщение от MrG Посмотреть сообщение
User-agent: *
Disallow: /
Надо так:

User-agent: *
Disallow:
__________________
Вы использовали запрещённое администрацией слово(-а). Пожалуйста, удалите его(их).
Красавчег вне форума   Ответить с цитированием
Старый 25.06.2010, 21:35   #4
Эксперт
 
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 219
eresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущее
По умолчанию

Да он видимо специально запретил другим ботам индексацию.
__________________
Партнёрка знакомств с блоком SAPE. Сапа без расходов на хостинг!
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS)
eresik вне форума   Ответить с цитированием
Старый 25.06.2010, 21:37   #5
Мастер
 
Аватар для WEB-Master
 
Регистрация: 29.03.2010
Адрес: <html></html>
Сообщений: 626
Вес репутации: 175
WEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордится
По умолчанию

robots.txt составлен в корне неверно... ищите инфу в нете исправляйте.
WEB-Master вне форума   Ответить с цитированием
Старый 25.06.2010, 21:40   #6
Эксперт
 
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 219
eresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущее
По умолчанию

Цитата:
Сообщение от WEB-Master Посмотреть сообщение
robots.txt составлен в корне неверно... ищите инфу в нете исправляйте.
Прокомментируйте, что вы там видите неверного.
Вроде бы всё правильно (по крайней мере работоспособно)
Разве что host должен быть выше запрещающих директив
__________________
Партнёрка знакомств с блоком SAPE. Сапа без расходов на хостинг!
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS)
eresik вне форума   Ответить с цитированием
Старый 25.06.2010, 21:57   #7
Мастер
 
Аватар для WEB-Master
 
Регистрация: 29.03.2010
Адрес: <html></html>
Сообщений: 626
Вес репутации: 175
WEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордится
По умолчанию

Цитата:
Сообщение от eresik Посмотреть сообщение
Прокомментируйте, что вы там видите неверного.
Вроде бы всё правильно (по крайней мере работоспособно)
Разве что host должен быть выше запрещающих директив
1. Allow уже не используется
2. Disallow: / запрещена индексация сайта
3. нарушен порядок размещения директив.

Последний раз редактировалось WEB-Master; 25.06.2010 в 22:04.
WEB-Master вне форума   Ответить с цитированием
Старый 25.06.2010, 22:06   #8
Эксперт
 
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 219
eresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущее
По умолчанию

Цитата:
Сообщение от WEB-Master Посмотреть сообщение
1. Allow уже уже не используется
2. Disallow: / запрещена индексация сайта
3. нарушен порядок размещения директив.
1. Откуда такая инфа?
2. Disallow: / - стоит после всех остальных директив, т.е. запрещает всё что не попало под Allow
3. Нарушение порядка вижу только в host (робот до этой директивы просто не доберётся)

Добавлено через 6 минут
Проверил через панель вебмастера - ошибка только в том что для каждого юзерагента надо указывать свой набор правил, +директива host должна быть первой.
__________________
Партнёрка знакомств с блоком SAPE. Сапа без расходов на хостинг!
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS)

Последний раз редактировалось eresik; 25.06.2010 в 22:07. Причина: Добавлено сообщение
eresik вне форума   Ответить с цитированием
Старый 25.06.2010, 22:07   #9
Мастер
 
Аватар для WEB-Master
 
Регистрация: 29.03.2010
Адрес: <html></html>
Сообщений: 626
Вес репутации: 175
WEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордитсяWEB-Master - за этого человека можно гордится
По умолчанию

Цитата:
Сообщение от eresik Посмотреть сообщение
1. Откуда такая инфа?
2. Disallow: / - стоит после всех остальных директив, т.е. запрещает всё что не попало под Allow
3. Нарушение порядка вижу только в host (робот до этой директивы просто не доберётся)
http://robotstxt.org.ru/robotstxterrors#Allow____
WEB-Master вне форума   Ответить с цитированием
Старый 25.06.2010, 22:08   #10
Эксперт
 
Регистрация: 12.12.2009
Адрес: Ростов-на-Дону
Сообщений: 1,537
Вес репутации: 219
eresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущееeresik - прекрасное будущее
По умолчанию

Цитата:
Сообщение от WEB-Master Посмотреть сообщение
Оттуда же:

Примечание: Не существовало на момент перевода данного текста, сейчас эта инструкция поддерживаетcя и Гуглом, и Яндексом. Уточняйте по использованию для других роботов.
__________________
Партнёрка знакомств с блоком SAPE. Сапа без расходов на хостинг!
Самый удобный Хостинг (в т.ч. сейчас - бесплатное полугодовое тестирование хостинга Node.JS)
eresik вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Робот Сапы и Crawl-delay Sea Вопросы по работе системы 10 13.02.2012 12:17
Робот сапы не видит установленный код karizma Установка кода на различные движки 7 16.07.2009 11:22
Понимает ли робот сапы allow в robots.txt? Danila Вопросы по работе системы 6 04.02.2009 17:59
робот сапы не видит ссылки stremlenie1 Ошибки при работе с системой 2 26.11.2008 13:22
Робот сапы не видит код на .narod.ru Эмка Ошибки при работе с системой 2 23.10.2008 11:47


Часовой пояс GMT +3, время: 23:59.