![]() |
#1 | |
Эксперт
Регистрация: 13.07.2007
Сообщений: 1,292
Вес репутации: 236
![]() ![]() ![]() ![]() ![]() |
![]() Понимает ли робот сапы allow в robots.txt? Складывается такое впечатление что нет. У меня прописано:
Цитата:
|
|
![]() |
![]() |
![]() |
#2 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1027
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]()
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
![]() |
![]() |
![]() |
#3 |
Эксперт
Регистрация: 13.07.2007
Сообщений: 1,292
Вес репутации: 236
![]() ![]() ![]() ![]() ![]() |
![]() И чего делать? У меня страница доступна по 2-м адресам:
site.ru/xxx-url1.html и site.ru/novosti/xxx-url1.html Яндекс после апдейта проиндексировал site.ru/xxx-url1.html, а ссылки расположены на site.ru/novosti/xxx-url1.html Вот я поэтому такой роботс и замутил, чтобы он правильно всё понял. |
![]() |
![]() |
![]() |
#4 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1027
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() уберите с сайта страницы
и ждите пока яша переиндексит.
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
![]() |
![]() |
![]() |
#5 |
Эксперт
Регистрация: 13.07.2007
Сообщений: 1,292
Вес репутации: 236
![]() ![]() ![]() ![]() ![]() |
![]() А что лучше и быстрей, чтобы с адреса site.ru/xxx-url1.html шла 301 переадресация на site.ru/novosti/xxx-url1.html или всё же лучше просто удалить страницы по адресу site.ru/xxx-url1.html чтобы 404 отдавалось?
З.Ы. УРЛы страниц через мод рерайт генерятся. |
![]() |
![]() |
![]() |
#6 | |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1027
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() Цитата:
Добавлено через 1 минуту И еще ЯВМ вам в руки ![]()
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. Последний раз редактировалось zhegloff; 04.02.2009 в 17:53. Причина: Добавлено сообщение |
|
![]() |
![]() |
![]() |
#7 |
Эксперт
Регистрация: 13.07.2007
Сообщений: 1,292
Вес репутации: 236
![]() ![]() ![]() ![]() ![]() |
![]() |
![]() |
![]() |
![]() |
|
|
![]() |
||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот Сапы и Crawl-delay | Sea | Вопросы по работе системы | 10 | 13.02.2012 12:17 |
Робот SAPE игнорирует robots.txt | lex | Ошибки при работе с системой | 33 | 15.12.2010 13:20 |
Можно ли закрыть от робота Сапы ссылки через robots.txt? | dadda | Вопросы по работе системы | 6 | 29.10.2008 15:46 |
Бот сапы смотрит на файл robots.txt? | mekal | Вопросы по работе системы | 13 | 18.10.2008 15:20 |
Робот сапы пропускает станицы которые стоят в ноиндексе в файле robots.txt | gdv | Вопросы по работе системы | 2 | 14.10.2008 21:42 |
Часовой пояс GMT +3, время: 12:03.