04.09.2009, 08:16 | #1 |
Новичок
Регистрация: 03.06.2009
Сообщений: 3
Вес репутации: 0
|
Нашествие пауков
Второй день на сайте наблюдаю нашествие роботов разных ПС. Яша очень плотно насел, по 30-40 сессий. В то же время и гугль отирается, яху. Сегодня еще Рамблер присоединился. Причем в любое время как не зайду на сайт - они все там. Оно конечно неплохо, но иногда происходит перегрузка и сайт становится недоступен. По этой причине часть ссылок в error ушла.
С чего бы это они, никогда раньше такого не наблюдал? |
04.09.2009, 08:21 | #2 | |
Новичок
Регистрация: 03.09.2009
Сообщений: 17
Вес репутации: 0
|
Цитата:
User-agent: * ... Crawl-delay: 1.5 ... В гугле также можно в панели ВМ. настроить скорость прохода роботом. |
|
04.09.2009, 16:20 | #3 | |
Новичок
Регистрация: 22.03.2008
Сообщений: 87
Вес репутации: 0
|
Цитата:
__________________
|
|
04.09.2009, 17:30 | #4 |
Специалист
Регистрация: 20.08.2009
Адрес: Гондурас
Сообщений: 265
Вес репутации: 192
|
|