Робот SAPE игнорирует robots.txt

lex · 22.07.2007, 15:26

Скажите пожалуйста, почему робот проиндексировал страницы прикрытые в robots.txt ?

Это напрягает меня как ВебМастаре ,т.к. Оптимизаторы могут сайт в BL добавить.

И что особо настораживает, как Оптимизатора. Сколько ж ссылок купленно на страницах закрытых robots.txt

sEXEcutor · 22.07.2007, 16:56

Возможно, ваши страницы прикрыты правилами со звездочкой *. Их понимает только Гугл. Если без звездочек, то да - глюк... Покажите правила из robots.txt, которые система не учла.

lex · 22.07.2007, 18:43

Да с *.
Но это понимают ВСЕ поисковые системы, а не только Гугл.
И яндекс тоже, т.к. проверялось через сервис яндекса.
http://www.yandex.ru/cgi-bin/test-ro...st=www.site.ru

Евген · 22.07.2007, 21:17

дайте ваш роботс.

lex · 22.07.2007, 23:05

Вот это пропустило

User-agent: *
Disallow: /softportal/sendrating.php
Disallow: /softportal/stat

Евген · 23.07.2007, 00:30

то есть проиндексировало 1 страницу и раздел?
/softportal/sendrating.php
/softportal/stat

киньте урл в личку.

sEXEcutor · 23.07.2007, 00:35

У меня раньше тоже правила были со звездочками. В итоге Сапа проиндексировала страницы с id сессии в урлах. Даже если в Яндексе это уже работает, то в Сапе - ещё нет.

Евген · 23.07.2007, 01:50

Цитата:

Даже если в Яндексе это уже работает

в яндексе это не работает.
конечно если в урле действительно есть звездочка - тогда да

lex · 23.07.2007, 09:26

Народ!

Звёздочка только здесь:
User-agent: *

--

И вообще, я думаю стоит проверять robots.txt каждый день.
И сравнивать с уже проиндексироваными страницами, и если что выкидывать те, которые прикрыты в robots.

lex · 23.07.2007, 09:31

Цитата:

то есть проиндексировало 1 страницу и раздел?
/softportal/sendrating.php
/softportal/stat

Проинексировало несколько страниц подходящих под эти прАвила

22.07.2007, 15:26	#1
lex Новичок Регистрация: 23.01.2007 Сообщений: 42 Вес репутации: 211	Робот SAPE игнорирует robots.txt Скажите пожалуйста, почему робот проиндексировал страницы прикрытые в robots.txt ? Это напрягает меня как ВебМастаре ,т.к. Оптимизаторы могут сайт в BL добавить. И что особо настораживает, как Оптимизатора. Сколько ж ссылок купленно на страницах закрытых robots.txt

22.07.2007, 21:17	#4
Евген Модератор Регистрация: 07.06.2007 Сообщений: 3,491 Вес репутации: 315	дайте ваш роботс. __________________ прежде чем спросить - ФАК, ЧаВо, RTFM (кто не прочитал-бан) Секреты успешной работы вебмастеров в Sape - Бестселлер года! Расширяем возможности SAPE: дополнение к Firefox - без него, как без рук.

23.07.2007, 00:30	#6
Евген Модератор Регистрация: 07.06.2007 Сообщений: 3,491 Вес репутации: 315	то есть проиндексировало 1 страницу и раздел? /softportal/sendrating.php /softportal/stat киньте урл в личку. __________________ прежде чем спросить - ФАК, ЧаВо, RTFM (кто не прочитал-бан) Секреты успешной работы вебмастеров в Sape - Бестселлер года! Расширяем возможности SAPE: дополнение к Firefox - без него, как без рук.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Робот сапы пропускает станицы которые стоят в ноиндексе в файле robots.txt	gdv	Вопросы по работе системы	2	14.10.2008 21:42
Робот не находит sape код	namo	Деловое сотрудничество	11	15.03.2008 21:59
sape.ru и robots.txt	Алексей Барыкин	Ошибки при работе с системой	0	11.12.2007 22:05
Можно внести в robots.txt папку sape	clombus	Вопросы по работе системы	7	18.10.2007 14:44
Надо ли запретить доступ роботам к папке SAPE, указав её длинное имя в robots.txt ?	madcap	Вопросы по работе системы	7	02.08.2007 00:38

22.07.2007, 16:56	#2
sEXEcutor Специалист Регистрация: 10.04.2007 Сообщений: 179 Вес репутации: 211	Возможно, ваши страницы прикрыты правилами со звездочкой *. Их понимает только Гугл. Если без звездочек, то да - глюк... Покажите правила из robots.txt, которые система не учла.

22.07.2007, 18:43	#3
lex Новичок Регистрация: 23.01.2007 Сообщений: 42 Вес репутации: 211	Да с *. Но это понимают ВСЕ поисковые системы, а не только Гугл. И яндекс тоже, т.к. проверялось через сервис яндекса. http://www.yandex.ru/cgi-bin/test-ro...st=www.site.ru

22.07.2007, 23:05	#5
lex Новичок Регистрация: 23.01.2007 Сообщений: 42 Вес репутации: 211	Вот это пропустило User-agent: * Disallow: /softportal/sendrating.php Disallow: /softportal/stat

23.07.2007, 00:35	#7
sEXEcutor Специалист Регистрация: 10.04.2007 Сообщений: 179 Вес репутации: 211	У меня раньше тоже правила были со звездочками. В итоге Сапа проиндексировала страницы с id сессии в урлах. Даже если в Яндексе это уже работает, то в Сапе - ещё нет.

23.07.2007, 09:26	#9
lex Новичок Регистрация: 23.01.2007 Сообщений: 42 Вес репутации: 211	Народ! Звёздочка только здесь: User-agent: * -- И вообще, я думаю стоит проверять robots.txt каждый день. И сравнивать с уже проиндексироваными страницами, и если что выкидывать те, которые прикрыты в robots.