Как интересно поменялась ситуация с поисковыми ботами
 

У меня на серваке стоит сервис статистики AWStats. Так вот просто интересное наблюдение, как ходят поисковые боты. Что для меня особенно примечательно, так это что Yahoo в этом месяце капитально сделал Яндекс. И ведь это ещё не конец месяца.

Апрель

Googlebot 51609+23 2.42 ГБ
Yandex bot 33108+882 1.17 ГБ
Yahoo Slurp 16989+1085 1.64 ГБ

Май

Yandex bot 63691+861 1.98 ГБ
Googlebot 44938+49 20.55 ГБ
Yahoo Slurp 27262+648 4.38 ГБ

Июнь

Googlebot 26846+45 16.98 ГБ
Yahoo Slurp 19512+474 4.24 ГБ
Yandex bot 16876+714 474.44 МБ

Числа после + хиты успешно защитанные для файла "robots.txt"

И ещё вопросец, может кто знает - почему такая разница в траффике ?

Сайту банан от Яши не грозит? В индексе всё? А то може и ходит меньше, бо что-то не нравится ему. Тьфу-тьфу-тьфу конечно:)

Мне стыдно признаться, но я не до конца понимаю понятие "в индексе". То есть все ли страницы проиндексированы Яндексом ? Не знаю как проверить, я ведь не считаю сколько у меня страниц на сайте.

Бан грозить не должен вроде, не с чего.....

Разница в трафике вероятна из-за способов выкачивания сайта.
Картинки, скрипты, css, и так далее. А также по количеству визитов это видно.

Яша 64К загрузок - 2 гига, гоша 45К загрузок -21 Гиг... чета не вяжется...

У вас гигантских пдфов нет на сайте?

Проверка страниц которые в индексе ___http://webmaster.yandex.ru/checkurl.xml?serverurl=ваш_сайт.ру

А робот яху - это вообще ужасно прожорливая скотина. Приходится его иногда даже подтормаживать.

Из файлов только мануалы, но они в раре. Ну и мп3. Я так понимаю что они вряд ли играют тут роль.

Добавлено через 25 минут
Нашлось 34 тыщи страниц. Только сразу вывело всего одну, причём давно не существующий поддомен.

А вот чтобы увидеть остальные, пришлось перейти по ссылке - "Еще с сайта 34324". Это нормально ?

Это плохо.

Чем плохо ? Можно поподробнее ? Что то не так индексируется ?