Документ запрещен в файле robots.txt хотя раньше все было ОК

Denny · 31.10.2010, 20:39

Столкнулся тут с проблемой а может глюком.
В яндекс вебмастер вижу следующую инфу :
29.10.2010 робот побывал на сайте и исключил 35000 страниц, написав что Документ запрещен в файле robots.txt и
Информация: страницы намеренно запрещены к индексированию или не должны индексироваться.
Также уменьшилось кол-во страниц в поиске.

Отсюда вопрос - файл robots.txt года 3 лежит с одним содержимым, а тут за 1 день выдает мне такое..Может поменялось что у Яндекса по отношению к файлу robots кто знает?

Да еще - в вебмастере google - robots.txt исключает 13 страниц как и положено.

zhegloff · 31.10.2010, 20:54

Denny, Телепаты в отпуске давайте урлы исключенных страниц. Можно не все

Denny · 01.11.2010, 14:55

Цитата:

Сообщение от zhegloff

Denny, Телепаты в отпуске давайте урлы исключенных страниц. Можно не все

да вот плиз посмотрите, может найдете причину...я там правда ниче необычного не вижу )
несколько таких :

и большая часть такого плана :

Да и еще все эти ссылки были в sitemap.xml
Блин бред какой-то - год было все норм и тут на тебе, правда такой sitemаp только месяца 2 как сделал может быть он всему причина.
И еще за пару дней сняли 300 ссылок с сайта (по причине падения тиц до 0) может из-за этого тоже ((

Добавлено через 15 часов 4 минуты
скрин из Яндекс Вебмастера как это было ((

zhegloff · 01.11.2010, 15:16

Denny, может у хостера траблы были и вместо сайта выдавалась какая-то фигня?

Denny · 01.11.2010, 15:21

Да вот я и думаю может из-за того что сайт не был доступен где-то пол дня.
Причина : тупо не оплачен хостинг - за день до апа тиц...
ладно ждем следующего а пока в яндекс вебмастер письмо отправил, но все равно не понял причем тут файл robots.txt

Уважаемый модератор удалите плиз ссылки из поста вверху.

Denny · 02.11.2010, 23:52

Получен ответ от техподдержки Яндекса - они говорят что с 25.10 по 26.10 робот получал этот файл с запрещенной для индексации информацией. Не бред ли, файл как был один так и есть и никто в нем ничего не правил..)

zhegloff · 03.11.2010, 00:52

а когда сайт был недоступен?

mazilla · 30.11.2010, 16:08

аналогично, напортачил на VPSе, вместо сайта выдавался myphpadmin в течении суток

, заметил только когда в сапе куча ссылок в эрор вывалились, теперь в вебмастер.яндекс на 70% станицах пишет
"Документ запрещен в файле robots.txt"...
ой как не вовремя я напортачил

только не понятно почему бот исключал станицы в течении 5 дней, если все вернул назад через сутки

31.10.2010, 20:39	#1
Denny Новичок Регистрация: 09.09.2010 Сообщений: 23 Вес репутации: 0	Документ запрещен в файле robots.txt хотя раньше все было ОК Столкнулся тут с проблемой а может глюком. В яндекс вебмастер вижу следующую инфу : 29.10.2010 робот побывал на сайте и исключил 35000 страниц, написав что Документ запрещен в файле robots.txt и Информация: страницы намеренно запрещены к индексированию или не должны индексироваться. Также уменьшилось кол-во страниц в поиске. Отсюда вопрос - файл robots.txt года 3 лежит с одним содержимым, а тут за 1 день выдает мне такое..Может поменялось что у Яндекса по отношению к файлу robots кто знает? Да еще - в вебмастере google - robots.txt исключает 13 страниц как и положено.

31.10.2010, 20:54	#2
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1026	Denny, Телепаты в отпуске давайте урлы исключенных страниц. Можно не все __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

01.11.2010, 15:16	#4
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1026	Denny, может у хостера траблы были и вместо сайта выдавалась какая-то фигня? __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

03.11.2010, 00:52	#7
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1026	а когда сайт был недоступен? __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

30.11.2010, 16:08	#8
mazilla Новичок Регистрация: 20.07.2010 Сообщений: 29 Вес репутации: 0	аналогично, напортачил на VPSе, вместо сайта выдавался myphpadmin в течении суток , заметил только когда в сапе куча ссылок в эрор вывалились, теперь в вебмастер.яндекс на 70% станицах пишет "Документ запрещен в файле robots.txt"... ой как не вовремя я напортачил только не понятно почему бот исключал станицы в течении 5 дней, если все вернул назад через сутки Последний раз редактировалось mazilla; 30.11.2010 в 16:14.

01.11.2010, 15:21	#5
Denny Новичок Регистрация: 09.09.2010 Сообщений: 23 Вес репутации: 0	Да вот я и думаю может из-за того что сайт не был доступен где-то пол дня. Причина : тупо не оплачен хостинг - за день до апа тиц... ладно ждем следующего а пока в яндекс вебмастер письмо отправил, но все равно не понял причем тут файл robots.txt Уважаемый модератор удалите плиз ссылки из поста вверху.

02.11.2010, 23:52	#6
Denny Новичок Регистрация: 09.09.2010 Сообщений: 23 Вес репутации: 0	Получен ответ от техподдержки Яндекса - они говорят что с 25.10 по 26.10 робот получал этот файл с запрещенной для индексации информацией. Не бред ли, файл как был один так и есть и никто в нем ничего не правил..)

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
А раньше было теплее	gun	Курилка	13	02.05.2010 17:53
Новый домен запрещен запрещен к индексации	И. Букалов	Яндекс	34	30.09.2009 17:33
О файле robots.txt	Doc	Вопросы по работе системы	9	26.06.2009 23:53
Робот сапы пропускает станицы которые стоят в ноиндексе в файле robots.txt	gdv	Вопросы по работе системы	2	14.10.2008 21:42
Установка движка на ДЛЕ ( но не то что было раньше)	GwizZzzz	Вопросы по работе системы	1	12.08.2007 10:03