Бот яндекса не совсем адекватно ходит! Нужен совет!

[zhegloff]

Сообщение от mouse_kill

айпи есть в списке ботов яндекса

Интересно, кто и как составляет эти списки

[Argi]

Сообщение от webmasterown

Значь не повезло мне..

почему не повезло то? просто немного подождите - и будет вам счастье)

возможно, у ботов для сайтов не в индексе есть какой-то алгоритм, по которым ему не рекомендуется ползать по внутрякам до прохождения сайта какого-то анализа, либо включения в индекс
а по старой базе бегает и бегает - не мешает же)

Сообщение от mouse_kill

Сделайте несколько твитов на внутряки с хороших акков твиттера, боты должны пойти.

ага, тока где их возьмешь, хорошие акки)

[webmasterown]

Сообщение от Argi

ага, тока где их возьмешь, хорошие акки)

Есть биржа постинга в твиты, я как-то покупал пару твитов. Там есть показатель качества по отношению к яндексу к каждой площадке определен самой биржей.

[mouse_kill]

Сообщение от zhegloff

Интересно, кто и как составляет эти списки

Дорвейщики, кто ж еще

[zhegloff]

Сообщение от mouse_kill

Дорвейщики, кто ж еще

главный вопрос - как

[kerpi]

Сообщение от webmasterown

Есть биржа постинга в твиты, я как-то покупал пару твитов. Там есть показатель качества по отношению к яндексу к каждой площадке определен самой биржей.

Биржи есть и их хватает и без рекомендаций, Вам просто нужно прогнать сайт хотя бы по 100 - 150 профилям, причем нутрянку.
Есть опыт когда сайту было 3 часа отроду, нормальный прогон и через час уже был траф до 100 хостов, правда ненадолго, но был, зато все страницы в индекс зашли за 12 часов, сначала быстроботом, а потом и в основную с 1 апом.

[mouse_kill]

Сообщение от zhegloff

главный вопрос - как

Из пространных объяснений разработчиков - не совсем корректная работа поисковых ботов с куками и с яваскриптами. Это тех, которые себя не обозначают как боты.

[webmasterown]

По старому вопросу, я позакупал проиндксированых яндексом твитов, и яндекс ходит но только по тем страницам на которые закупил твиты (он кстати их сразу добавил в индекс без апа). По логике нужно или прогнать все страницы по твитам или ждать!

Тут еще один интересный момент произошел!
На одном моем сайте, который создан под гугл (опубликовано всего десяток статей), бот гугла ip 66.249.74.19 за пару дней сделал 209079 + просмотров по несуществующим страницам.

Все запрашиваемые гуглом страницы в основном страницы /tags/... или страницы новостей типа: /native-american-dropout-prevention-workgroup-meeting-nadpi.html

Естественно он получил ошибку 404. Таких страниц нет. Но домен до меня кому-то принадлежал (я нашел 1 страницу в вебархиве).

Интересно, зачем бот просматривает столько страниц, и как долго мой vps будет держать эту нагрузку.

P.S по логике все не существующие страницы, по которым сейчас бегает гугл (а он бегает, не ползает в отличие от яндекса) раньше были на этом домене. Судя по истории в вебархиве это было пару год назад. Значит гугл хранит у себя данные даже с сайтов которые давно не существуют!

[kerpi]

Сообщение от webmasterown

/tags/.

Исключите из из индекса в вебмастере.

Сообщение от webmasterown

Но домен до меня кому-то принадлежал

Отпишите в гугл что сайт перешел новому владельцу.


Гугл хранит данные очень долго, у меня он пытается обращатся к страницам которых нет уж более 2-х лет.

А по поводу страниц, конечно прогоняйте все через твиттер.

[webmasterown]

Сообщение от kerpi

Исключите из из индекса в вебмастере.

добавил правило в robots.txt
в вебмастере заказал Удаление каталога сайт.com/tags - это правильно?

Отпишите в гугл что сайт перешел новому владельцу.

А как туда написать (email или где форма)? И на каком языке (русский или английский)?

А по поводу страниц, конечно прогоняйте все через твиттер.

Ок.