Тема про Ботов

[Smok]

Сразу даю линк на офф. инфу о ботах Яшки:
http://help.yandex.ru/webmaster/?id=995296#user-agent

Несколько моментов напрямую связаных с ботами Яндекса:

1. В последние 2-е недели замечена ОЧЕНЬ низкая активность ботов Яши. Разные сайты, разные доменные зоны, на разных хостингах: у старых - не добавляются в индекс новые странички, абсолютно новые сайты - не индексируются на протяжении последних 2-х АПов выдачи. Раньше, после добавления в адд урл, основной индексирующий бот в течении 1-2 дней начинал активно кушать страницы, сейчас - вообще не появляется в течении более недели. Эти личные наблюдения подтверждаются многочисленными подобными чужими...

Есть мнение, что у Яндекса проблемы с физ. ресурсами. Насколько это может быть реально?

2. Сайт, около месяца назад выпавший из индекса, после выпадения активно посещался основным индексирующим роботом Yandex/1.01.001 (compatible; Win16; I) - кушал практически все страницы, в последний раз замечен был за этим делом 13-го декабря. При добавлении в аддурл, этого сайта, Яша обещает что все скоро будет проиндексированно и не говорит, что сайт в бане. Я не верил Ерроре, что при Бане Яшка сейчас так поступает и думал, что база отвалилась и скоро все вернется, но Еррора оказалась права. Меры (различные, тут речь идет не о них) принял незамедлительно. Недавно на этом сайте заметил нового бота - Yandex/1.01.001 (compatible; Win16; M). Он из более 1000 страниц на сайте, посещает за раз, всего до 10 страниц. Обычные страницы, на них есть ссылки на нормальные сайты. А так хотелось, чтобы эти сайты оказались в бане и Яша таким образом проверял мою пушистость. Как все было бы просто и удобно для всех ВМ и Яна. Но сайты не в бане. В инфе Яшки (ссылка в начале темы) об этом боте ничего не сказано. Для тех, кто не видит разницы с ботом Yandex/1.03.000 (compatible; Win16; M) делаю жирное выделение. Тех кто эту разницу видит, но все равно считает, что это "теже яйца, только в профиль" попрошу обосновать свое мнение.

Какие мысли будут по этому поводу у уважаемых форумчан?
Без флуда и оффтопа, если можно.

[Jimi Dini]

Роботы Яндекса (User Agent)

Индексирующие роботы:



* Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
* Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
* Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
* Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
* Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
* Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
* YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

«Простукивалки» (определяют доступность ресурса для сервиса)



* Yandex/2.01.000 (compatible; Win16; Dyatel; C) — Яндекс.Каталог. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
* Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — Яндекс.Закладки. Ссылки на недоступные сайты помечаются серым цветом.
* Yandex/2.01.000 (compatible; Win16; Dyatel; D) — Яндекс.Директ. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
* Yandex/2.01.000 (compatible; Win16; Dyatel; N) — Яндекс.Новости. Она формирует статистические отчеты для контент-менеджера и информирует его о возможных проблемах у партнеров-поставщиков новостей.

[Indzag]

thoth666, И че? Все это видели..

[tsb]

Сообщение от Smok

1. В последние 2-е недели замечена ОЧЕНЬ низкая активность ботов Яши.

аналогично, а после сегодняшнего Апа, кол-во страниц даже не шелохнулось. Не наработал )

[Indzag]

tsb, А у меня наоборот, сегодня из 10 жирнющих ссылок, 7 уже в индексе, чему я несказанно рад. 1 сайт из бана месяц не выходит, ссылок на нем всего 30 было, страниц до сих пор 0. Может они из-за фин. кризиса оборудование остановили, урезали ботов-индексаторов, ведь их содержание обходится в немалую сумму. ИХМО, относитесть к этому как хотите, но это мое мнение.

[tsb]

Сообщение от Indzag

А у меня наоборот, сегодня из 10 жирнющих ссылок, 7 уже в индексе

может они (страницы с этими ссылками) уже давно в индексе были, а сегодня просто вылезли )

Сообщение от Indzag

урезали ботов-индексаторов, ведь их содержание обходится в немалую сумму.

Это шутка? типа сократили?

[Smok]

to thoth666
Конечно не сомневаюсь в правдивости этой инфы, но где источник?
Я специально поставил ссылку на официальную инфу, а там нет описания этого бота.

[Indzag]

Сообщение от tsb

Это шутка? типа сократили?

В точку))

[tophis]

thoth666, вроде ещё нехватает бота, Яндекс.Блоги

Сообщение от Indzag

thoth666, И че? Все это видели..

Сообщение от Smok

to thoth666
Конечно не сомневаюсь в правдивости этой инфы, но где источник?

А как же Лог файлы?

[Smok]

Сообщение от tophis

А как же Лог файлы?

Это уже результат, но никак не офф. источник.