Нашествие пауков

[Drugan]

Второй день на сайте наблюдаю нашествие роботов разных ПС. Яша очень плотно насел, по 30-40 сессий. В то же время и гугль отирается, яху. Сегодня еще Рамблер присоединился. Причем в любое время как не зайду на сайт - они все там. Оно конечно неплохо, но иногда происходит перегрузка и сайт становится недоступен. По этой причине часть ссылок в error ушла.
С чего бы это они, никогда раньше такого не наблюдал?

[Dark Vader]

Сообщение от Drugan

Второй день на сайте наблюдаю нашествие роботов разных ПС. Яша очень плотно насел, по 30-40 сессий. В то же время и гугль отирается, яху. Сегодня еще Рамблер присоединился. Причем в любое время как не зайду на сайт - они все там. Оно конечно неплохо, но иногда происходит перегрузка и сайт становится недоступен. По этой причине часть ссылок в error ушла.
С чего бы это они, никогда раньше такого не наблюдал?

Поставь Crawl-delay.
User-agent: *
...
Crawl-delay: 1.5
...

В гугле также можно в панели ВМ. настроить скорость прохода роботом.

[Mafiozy]

Сообщение от Drugan

Второй день на сайте наблюдаю нашествие роботов разных ПС. Яша очень плотно насел, по 30-40 сессий. В то же время и гугль отирается, яху. Сегодня еще Рамблер присоединился. Причем в любое время как не зайду на сайт - они все там. Оно конечно неплохо, но иногда происходит перегрузка и сайт становится недоступен. По этой причине часть ссылок в error ушла.
С чего бы это они, никогда раньше такого не наблюдал?

Новый метод борьбы с ГС под сапу- они просто ддосят его

[KvayGon]

Сообщение от Drugan

...но иногда происходит перегрузка и сайт становится недоступен. По этой причине часть ссылок в error ушла.
С чего бы это они, никогда раньше такого не наблюдал?

Если уж боты ПС перегружают Ваш сайт, то Вам нужно бежать от Вашего хостера.