04.02.2009, 16:20 | #1 | |
Эксперт
Регистрация: 13.07.2007
Сообщений: 1,292
Вес репутации: 239
|
Понимает ли робот сапы allow в robots.txt?
Понимает ли робот сапы allow в robots.txt? Складывается такое впечатление что нет. У меня прописано:
Цитата:
|
|
04.02.2009, 16:51 | #2 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
04.02.2009, 16:54 | #3 |
Эксперт
Регистрация: 13.07.2007
Сообщений: 1,292
Вес репутации: 239
|
И чего делать? У меня страница доступна по 2-м адресам:
site.ru/xxx-url1.html и site.ru/novosti/xxx-url1.html Яндекс после апдейта проиндексировал site.ru/xxx-url1.html, а ссылки расположены на site.ru/novosti/xxx-url1.html Вот я поэтому такой роботс и замутил, чтобы он правильно всё понял. |
04.02.2009, 17:00 | #4 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
уберите с сайта страницы
и ждите пока яша переиндексит.
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
04.02.2009, 17:50 | #5 |
Эксперт
Регистрация: 13.07.2007
Сообщений: 1,292
Вес репутации: 239
|
А что лучше и быстрей, чтобы с адреса site.ru/xxx-url1.html шла 301 переадресация на site.ru/novosti/xxx-url1.html или всё же лучше просто удалить страницы по адресу site.ru/xxx-url1.html чтобы 404 отдавалось?
З.Ы. УРЛы страниц через мод рерайт генерятся. |
04.02.2009, 17:53 | #6 | |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
Цитата:
Добавлено через 1 минуту И еще ЯВМ вам в руки
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. Последний раз редактировалось zhegloff; 04.02.2009 в 17:53. Причина: Добавлено сообщение |
|
04.02.2009, 17:59 | #7 |
Эксперт
Регистрация: 13.07.2007
Сообщений: 1,292
Вес репутации: 239
|
|
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот Сапы и Crawl-delay | Sea | Вопросы по работе системы | 10 | 13.02.2012 12:17 |
Робот SAPE игнорирует robots.txt | lex | Ошибки при работе с системой | 33 | 15.12.2010 13:20 |
Можно ли закрыть от робота Сапы ссылки через robots.txt? | dadda | Вопросы по работе системы | 6 | 29.10.2008 15:46 |
Бот сапы смотрит на файл robots.txt? | mekal | Вопросы по работе системы | 13 | 18.10.2008 15:20 |
Робот сапы пропускает станицы которые стоят в ноиндексе в файле robots.txt | gdv | Вопросы по работе системы | 2 | 14.10.2008 21:42 |
Часовой пояс GMT +3, время: 00:02.