робот Яндекса не идет дальше robots.txt

glinkaz · 31.07.2011, 17:48

всем привет.

ситуация такая: есть сайт, он уже пару недель в Сети.

за это время добавлялся и в addurl, и в Яндекс.Вебмастер, было куплено пару ссылок + добавлены комментарии в блогах.

но сейчас смотрю по серверным логам и вижу, что робот Яндекса периодически кушает только robots.txt и дальше по сайту не идет.

так уже продолжается с дней 10.

точно помню, что раньше он хотя бы главную забирал за каждый приход, а внутренние уже позднее брал.

у опытных товарищей есть мнение: почему так происходит? нормальна ли такая ситуация? и что нужно поправить, если она ненормальная?

еще пара фактов:
- домен, вроде, чистый;
- robots.txt, вроде, корректный - соответствующий анализатор Яндекса показывает, что нужные страницы разрешены к индексации;
- индексация в Гугле проходит нормально.

спасибо отозвавшимся.
добро отзовется! (с)

jakondana · 31.07.2011, 17:54

подождите еще пару апов

glinkaz · 31.07.2011, 22:03

спасибо за ответ.

а еще мнения будут?

особенно хочется уточнить у опытных саповодов: такая ситуация с загрузкой только одного robots.txt - она заведомо криминальна? или все-таки это в порядке вещей на начальном этапе?

badimao · 31.07.2011, 22:56

в свете последних событий можно еще со включеным я-баром по сайту полазить.

mouse_kill · 02.08.2011, 07:58

Цитата:

Сообщение от glinkaz

домен, вроде, чистый;

возможно дело в этом.

а вообще суньте морду или внутряк в форумную подпись, робот отсюда не вылазиит

Veles · 02.08.2011, 21:19

Цитата:

Сообщение от mouse_kill

...суньте морду или внутряк в форумную подпись, робот отсюда не вылазиит

Помнится, чтобы добавить подпись, нужно было определенное количество информативных постов набить. У ТС 5...

kakogohrena · 02.08.2011, 23:29

Недавно тоже один сайт добавлял в Яндекс, он телился около двух недель, пока страницы попали в индекс, в логах не копался, поэтому не могу сказать, что он все эти две недели ел.

glinkaz · 06.08.2011, 14:46

для логического завершения топика отписываюсь, что вот вчера (спустя неделю после появления этого топика) робот Яндекса нехотя съел главную страницу, а сегодня взялся уже за внутренние страницы.

так что вопрос, поставленный в стартовом посте, закрыт.

всем спасибо за участие и советы!

31.07.2011, 17:48	#1
glinkaz Новичок Регистрация: 02.12.2009 Сообщений: 19 Вес репутации: 0	робот Яндекса не идет дальше robots.txt всем привет. ситуация такая: есть сайт, он уже пару недель в Сети. за это время добавлялся и в addurl, и в Яндекс.Вебмастер, было куплено пару ссылок + добавлены комментарии в блогах. но сейчас смотрю по серверным логам и вижу, что робот Яндекса периодически кушает только robots.txt и дальше по сайту не идет. так уже продолжается с дней 10. точно помню, что раньше он хотя бы главную забирал за каждый приход, а внутренние уже позднее брал. у опытных товарищей есть мнение: почему так происходит? нормальна ли такая ситуация? и что нужно поправить, если она ненормальная? еще пара фактов: - домен, вроде, чистый; - robots.txt, вроде, корректный - соответствующий анализатор Яндекса показывает, что нужные страницы разрешены к индексации; - индексация в Гугле проходит нормально. спасибо отозвавшимся. добро отзовется! (с)

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Робот SAPE игнорирует robots.txt	lex	Ошибки при работе с системой	33	15.12.2010 13:20
Робот Сапе не видит сайт дальше одного клика!	Effect	Вопросы по работе системы	10	06.11.2009 17:29
Робот не идет дальше страниц 2 УВ, как быть?	dram	Ошибки при работе с системой	11	31.07.2009 08:18
Понимает ли робот сапы allow в robots.txt?	Danila	Вопросы по работе системы	6	04.02.2009 17:59
Робот не идет дальше УВ1	AeC	Ошибки при работе с системой	0	16.12.2008 14:15

31.07.2011, 17:54	#2
jakondana Новичок Регистрация: 31.07.2011 Сообщений: 1 Вес репутации: 0	подождите еще пару апов

31.07.2011, 22:03	#3
glinkaz Новичок Регистрация: 02.12.2009 Сообщений: 19 Вес репутации: 0	спасибо за ответ. а еще мнения будут? особенно хочется уточнить у опытных саповодов: такая ситуация с загрузкой только одного robots.txt - она заведомо криминальна? или все-таки это в порядке вещей на начальном этапе?

31.07.2011, 22:56	#4
badimao Эксперт Регистрация: 24.03.2009 Сообщений: 1,794 Вес репутации: 292	в свете последних событий можно еще со включеным я-баром по сайту полазить.

02.08.2011, 23:29	#7
kakogohrena Мастер Регистрация: 11.05.2011 Сообщений: 911 Вес репутации: 200	Недавно тоже один сайт добавлял в Яндекс, он телился около двух недель, пока страницы попали в индекс, в логах не копался, поэтому не могу сказать, что он все эти две недели ел.

06.08.2011, 14:46	#8
glinkaz Новичок Регистрация: 02.12.2009 Сообщений: 19 Вес репутации: 0	для логического завершения топика отписываюсь, что вот вчера (спустя неделю после появления этого топика) робот Яндекса нехотя съел главную страницу, а сегодня взялся уже за внутренние страницы. так что вопрос, поставленный в стартовом посте, закрыт. всем спасибо за участие и советы!