188.72.80.205 озверел?

[Diamond]

Валит сервер VPS (1100 проц, 512 озу) 100% нагрузкой все утро. Присосался и не отваливается. Пришлось забанить
Ссылок всего 800 штук.. Да десяток статей.
Это только меня он невзлюбил?

[Diamond]

Чисто для галочки отпишусь.
После переписки 5 сентября с поддержкой, они что-то подкрутили, после того случая жил спокойно.. Пол-часа назад опять 205-й почти положил сервер, хорошо я не спал. История переписки уже удалилась, объяснять и доказывать заново лень. Потому 205 ушел в бан на денек, а там поглядим.
Насколько я понял, 205 - это статейный бот.

[Последний Герой]

в последние два дня сапоботы нагрузку побольше создают, но чтобы вешать намертво не замечал

[Diamond]

ПГ, дык остальных сапоботов я даже не замечаю, а вот с 205-м прям беда.. Иногда..

Добавлено через 15 минут

в 00.00 пришел 205, через 5 минут я заметил неладное, потом бан и рестарт апача.

[a.d.tim]

Этот график показывает, что у сервера кончилась память. Сделайте поменьше worker'ов апачу.

Проблема на вашей стороне, потому что единственное отличие сапобота от других краулеров, это отсутствие ограничения количества запросов в секунду (у поисковиков обычно не больше 1 запроса в секунду). Но все-таки он делает запросы последовательно, а не параллельно.

Если у вас появится более менее нормальная посещаемость, ваши пользователся точно так же уронят вам апач.

[zaxap83]

188.72.80.205 уронил мне сегодня мускуль. У меня на базе ограничение - 200000 запросов, было 50к, потом 100к, теперь и 200к мало. Вчера индексировал униплейсовский бот, так тот мне за 2 минуты исчерпал лимит. Че за беда с этими ботами.

[vx777]

скорее всего у вас соединения не закрываются
играйте с этими значениями

max_connections=40000
interactive_timeout=20000
wait_timeout=20000
connect_timeout=20

[Diamond]

Я сделал проще - забанил этот ip. Вот уже почти две недели все нормально и еггогов нет.

Сообщение от a.d.tim

Сделайте поменьше worker'ов апачу

И нафига мне такой бот?

Сообщение от a.d.tim

Если у вас появится более менее нормальная посещаемость, ваши пользователся точно так же уронят вам апач

Бывают пики до 25-30к хостов в день - не роняют, причем, сервер даже не особо напрягается.

Добавлено через 11 минут
Еще раз повторю - проблемы были только с 205-м ботом. Остальных не ощущаю.