Старый 22.07.2007, 15:26   #1
Новичок
 
Регистрация: 23.01.2007
Сообщений: 42
Вес репутации: 177
lex скоро станет известен
Exclamation Робот SAPE игнорирует robots.txt

Скажите пожалуйста, почему робот проиндексировал страницы прикрытые в robots.txt ?

Это напрягает меня как ВебМастаре ,т.к. Оптимизаторы могут сайт в BL добавить.

И что особо настораживает, как Оптимизатора. Сколько ж ссылок купленно на страницах закрытых robots.txt
lex вне форума   Ответить с цитированием
Старый 22.07.2007, 16:56   #2
Специалист
 
Регистрация: 10.04.2007
Сообщений: 179
Вес репутации: 178
sEXEcutor скоро станет известен
По умолчанию

Возможно, ваши страницы прикрыты правилами со звездочкой *. Их понимает только Гугл. Если без звездочек, то да - глюк... Покажите правила из robots.txt, которые система не учла.
sEXEcutor вне форума   Ответить с цитированием
Старый 22.07.2007, 18:43   #3
Новичок
 
Регистрация: 23.01.2007
Сообщений: 42
Вес репутации: 177
lex скоро станет известен
По умолчанию

Да с *.
Но это понимают ВСЕ поисковые системы, а не только Гугл.
И яндекс тоже, т.к. проверялось через сервис яндекса.
http://www.yandex.ru/cgi-bin/test-ro...st=www.site.ru
lex вне форума   Ответить с цитированием
Старый 22.07.2007, 21:17   #4
Модератор
 
Аватар для Евген
 
Регистрация: 07.06.2007
Сообщений: 3,491
Вес репутации: 282
Евген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущее
По умолчанию

дайте ваш роботс.
__________________
прежде чем спросить - ФАК, ЧаВо, RTFM (кто не прочитал-бан)
Секреты успешной работы вебмастеров в Sape - Бестселлер года!
Расширяем возможности SAPE: дополнение к Firefox - без него, как без рук.
Евген вне форума   Ответить с цитированием
Старый 22.07.2007, 23:05   #5
Новичок
 
Регистрация: 23.01.2007
Сообщений: 42
Вес репутации: 177
lex скоро станет известен
По умолчанию

Вот это пропустило

User-agent: *
Disallow: /softportal/sendrating.php
Disallow: /softportal/stat
lex вне форума   Ответить с цитированием
Старый 23.07.2007, 00:30   #6
Модератор
 
Аватар для Евген
 
Регистрация: 07.06.2007
Сообщений: 3,491
Вес репутации: 282
Евген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущее
По умолчанию

то есть проиндексировало 1 страницу и раздел?
/softportal/sendrating.php
/softportal/stat

киньте урл в личку.
__________________
прежде чем спросить - ФАК, ЧаВо, RTFM (кто не прочитал-бан)
Секреты успешной работы вебмастеров в Sape - Бестселлер года!
Расширяем возможности SAPE: дополнение к Firefox - без него, как без рук.
Евген вне форума   Ответить с цитированием
Старый 23.07.2007, 00:35   #7
Специалист
 
Регистрация: 10.04.2007
Сообщений: 179
Вес репутации: 178
sEXEcutor скоро станет известен
По умолчанию

У меня раньше тоже правила были со звездочками. В итоге Сапа проиндексировала страницы с id сессии в урлах. Даже если в Яндексе это уже работает, то в Сапе - ещё нет.
sEXEcutor вне форума   Ответить с цитированием
Старый 23.07.2007, 01:50   #8
Модератор
 
Аватар для Евген
 
Регистрация: 07.06.2007
Сообщений: 3,491
Вес репутации: 282
Евген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущееЕвген - прекрасное будущее
По умолчанию

Цитата:
Даже если в Яндексе это уже работает
в яндексе это не работает.
конечно если в урле действительно есть звездочка - тогда да
__________________
прежде чем спросить - ФАК, ЧаВо, RTFM (кто не прочитал-бан)
Секреты успешной работы вебмастеров в Sape - Бестселлер года!
Расширяем возможности SAPE: дополнение к Firefox - без него, как без рук.
Евген вне форума   Ответить с цитированием
Старый 23.07.2007, 09:26   #9
Новичок
 
Регистрация: 23.01.2007
Сообщений: 42
Вес репутации: 177
lex скоро станет известен
По умолчанию

Народ!

Звёздочка только здесь:
User-agent: *

--

И вообще, я думаю стоит проверять robots.txt каждый день.
И сравнивать с уже проиндексироваными страницами, и если что выкидывать те, которые прикрыты в robots.
lex вне форума   Ответить с цитированием
Старый 23.07.2007, 09:31   #10
Новичок
 
Регистрация: 23.01.2007
Сообщений: 42
Вес репутации: 177
lex скоро станет известен
По умолчанию

Цитата:
то есть проиндексировало 1 страницу и раздел?
/softportal/sendrating.php
/softportal/stat
Проинексировало несколько страниц подходящих под эти прАвила
lex вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Робот сапы пропускает станицы которые стоят в ноиндексе в файле robots.txt gdv Вопросы по работе системы 2 14.10.2008 21:42
Робот не находит sape код namo Деловое сотрудничество 11 15.03.2008 21:59
sape.ru и robots.txt Алексей Барыкин Ошибки при работе с системой 0 11.12.2007 22:05
Можно внести в robots.txt папку sape clombus Вопросы по работе системы 7 18.10.2007 14:44
Надо ли запретить доступ роботам к папке SAPE, указав её длинное имя в robots.txt ? madcap Вопросы по работе системы 7 02.08.2007 00:38


Часовой пояс GMT +3, время: 22:07.