Форум SAPE.RU
Страница 1 из 4 1 234
Показывать 40 сообщений этой темы на одной странице

Форум SAPE.RU (http://forum.sape.ru/index.php)
-   Ошибки при работе с системой (http://forum.sape.ru/forumdisplay.php?f=14)
-   -   Нападение робота-индексатора (http://forum.sape.ru/showthread.php?t=31976)

snooker 27.05.2009 15:01
Нападение робота-индексатора
 
В течении последних суток наблюдаю атаку робота-индексатора сапы на один-единственный сайт из нескольких десятков.
С полуночи было 50000 обращений к страницам, притом к не находящимся в сапе, как будто идет индексация круг за кругом, останавливаться не собирается. Переиндексация не заказывалась, причин, кроме глюка, предположить не могу.
Лог-файл 10Mb только из-за робота.
Кусок лога:
Код HTML:
217.107.36.73 - - [27/May/2009:14:17:10 +0400] "GET /stroy/10/ HTTP/1.0" 200 24356 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:10 +0400] "GET /stroy/11/ HTTP/1.0" 200 23632 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:10 +0400] "GET /stroy/12/ HTTP/1.0" 200 23481 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:11 +0400] "GET /stroy/13/ HTTP/1.0" 200 23602 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:11 +0400] "GET /stroy/14/ HTTP/1.0" 200 22817 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:11 +0400] "GET /stroy/15/ HTTP/1.0" 200 24690 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:11 +0400] "GET /stroy/16/ HTTP/1.0" 200 24207 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:12 +0400] "GET /stroy/17/ HTTP/1.0" 200 23312 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:13 +0400] "GET /stroy/18/ HTTP/1.0" 200 22426 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:13 +0400] "GET /stroy/19/ HTTP/1.0" 200 23362 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:13 +0400] "GET /stroy/2/ HTTP/1.0" 200 22875 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:14 +0400] "GET /stroy/20/ HTTP/1.0" 200 24847 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:14 +0400] "GET /stroy/21/ HTTP/1.0" 200 23344 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:14 +0400] "GET /stroy/22/ HTTP/1.0" 200 21890 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:14 +0400] "GET /stroy/23/ HTTP/1.0" 200 22315 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:15 +0400] "GET /stroy/24/ HTTP/1.0" 200 22246 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:15 +0400] "GET /stroy/25/ HTTP/1.0" 200 23120 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:15 +0400] "GET /stroy/26/ HTTP/1.0" 200 23907 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:16 +0400] "GET /stroy/27/ HTTP/1.0" 200 22941 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:16 +0400] "GET /stroy/28/ HTTP/1.0" 200 24296 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:16 +0400] "GET /stroy/29/ HTTP/1.0" 200 23151 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:17 +0400] "GET /stroy/3/ HTTP/1.0" 200 23812 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:17 +0400] "GET /stroy/30/ HTTP/1.0" 200 25740 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:17 +0400] "GET /stroy/31/ HTTP/1.0" 200 23086 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:17 +0400] "GET /stroy/32/ HTTP/1.0" 200 22465 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:18 +0400] "GET /stroy/33/ HTTP/1.0" 200 26736 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:18 +0400] "GET /stroy/34/ HTTP/1.0" 200 21638 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:18 +0400] "GET /stroy/35/ HTTP/1.0" 200 22339 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:19 +0400] "GET /stroy/36/ HTTP/1.0" 200 22120 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:19 +0400] "GET /stroy/37/ HTTP/1.0" 200 23403 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:19 +0400] "GET /stroy/38/ HTTP/1.0" 200 22998 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:20 +0400] "GET /stroy/39/ HTTP/1.0" 200 22664 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:20 +0400] "GET /stroy/4/ HTTP/1.0" 200 24059 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:20 +0400] "GET /stroy/40/ HTTP/1.0" 200 21565 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:21 +0400] "GET /stroy/41/ HTTP/1.0" 200 23283 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:21 +0400] "GET /stroy/42/ HTTP/1.0" 200 23285 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:21 +0400] "GET /stroy/43/ HTTP/1.0" 200 23058 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:22 +0400] "GET /stroy/44/ HTTP/1.0" 200 24491 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:22 +0400] "GET /stroy/45/ HTTP/1.0" 200 22627 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:23 +0400] "GET /stroy/46/ HTTP/1.0" 200 23919 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:23 +0400] "GET /stroy/47/ HTTP/1.0" 200 23371 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:24 +0400] "GET /stroy/48/ HTTP/1.0" 200 22840 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:24 +0400] "GET /stroy/49/ HTTP/1.0" 200 24405 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:24 +0400] "GET /stroy/5/ HTTP/1.0" 200 25157 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:25 +0400] "GET /stroy/50/ HTTP/1.0" 200 22312 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:25 +0400] "GET /stroy/51/ HTTP/1.0" 200 22636 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:25 +0400] "GET /stroy/52/ HTTP/1.0" 200 22525 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:25 +0400] "GET /stroy/53/ HTTP/1.0" 200 23426 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:26 +0400] "GET /stroy/54/ HTTP/1.0" 200 22633 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:26 +0400] "GET /stroy/55/ HTTP/1.0" 200 23307 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:26 +0400] "GET /stroy/56/ HTTP/1.0" 200 22005 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:27 +0400] "GET /stroy/57/ HTTP/1.0" 200 23325 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:27 +0400] "GET /stroy/58/ HTTP/1.0" 200 23681 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:27 +0400] "GET /stroy/59/ HTTP/1.0" 200 23300 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:28 +0400] "GET /stroy/6/ HTTP/1.0" 200 23445 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:28 +0400] "GET /stroy/60/ HTTP/1.0" 200 22928 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:29 +0400] "GET /stroy/61/ HTTP/1.0" 200 24945 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:29 +0400] "GET /stroy/62/ HTTP/1.0" 200 22748 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:29 +0400] "GET /stroy/63/ HTTP/1.0" 200 24041 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:30 +0400] "GET /stroy/64/ HTTP/1.0" 200 22689 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:30 +0400] "GET /stroy/65/ HTTP/1.0" 200 22609 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:30 +0400] "GET /stroy/66/ HTTP/1.0" 200 22094 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:31 +0400] "GET /stroy/67/ HTTP/1.0" 200 24370 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:31 +0400] "GET /stroy/68/ HTTP/1.0" 200 22854 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:31 +0400] "GET /stroy/69/ HTTP/1.0" 200 22702 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:32 +0400] "GET /stroy/7/ HTTP/1.0" 200 23100 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:32 +0400] "GET /stroy/70/ HTTP/1.0" 200 23217 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:33 +0400] "GET /stroy/71/ HTTP/1.0" 200 22769 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:33 +0400] "GET /stroy/72/ HTTP/1.0" 200 22160 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:33 +0400] "GET /stroy/73/ HTTP/1.0" 200 23209 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:35 +0400] "GET /stroy/74/ HTTP/1.0" 200 22745 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:35 +0400] "GET /stroy/75/ HTTP/1.0" 200 23101 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:36 +0400] "GET /stroy/76/ HTTP/1.0" 200 22817 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:36 +0400] "GET /stroy/77/ HTTP/1.0" 200 22551 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:36 +0400] "GET /stroy/78/ HTTP/1.0" 200 24901 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:37 +0400] "GET /stroy/79/ HTTP/1.0" 200 22258 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:37 +0400] "GET /stroy/8/ HTTP/1.0" 200 21926 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:37 +0400] "GET /stroy/80/ HTTP/1.0" 200 22228 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:38 +0400] "GET /stroy/81/ HTTP/1.0" 200 22979 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:38 +0400] "GET /stroy/82/ HTTP/1.0" 200 21108 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:42 +0400] "GET /stroy/83/ HTTP/1.0" 200 24873 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
217.107.36.73 - - [27/May/2009:14:17:43 +0400] "GET /stroy/9/ HTTP/1.0" 200 22848 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
Хостинг держится, но всему есть предел. Остановите, пожалуйста, распоясавшегося бота.
site_id=336847

Al Pacino 27.05.2009 15:06
snooker, а как определил что более 50000 обращений? статса какая-то есть особая? я просто в awstats такого не найду - отследить нападение робота, может что не так ищу?

Warchild 27.05.2009 15:09
Al Pacino Просто посчитать сколько строчек в странице, и умножить на количество страниц. :)

snooker 27.05.2009 15:10
Al Pacino, просто посмотрел общее кол-во строк в файле ~58000, при обычном, среднеквадратичном кол-ве на этом сателлите ~500, смело предположил, что не менее 50000 только сапа. Да там сложно увидеть другие ip среди такого количества.
Опять будет хостер виноват, мол забанил пушистого бота.

Warchild 27.05.2009 15:23
Пишите в обратную связь, скопируйте то что сюда вставили.

Al Pacino 27.05.2009 17:11
Цитата:
Сообщение от Warchild (Сообщение 460336)
Al Pacino Просто посчитать сколько строчек в странице, и умножить на количество страниц.
ну допустим строчки - это запись одного захода, хорошо, можно отфильтровать только по саповским айпишникам, так.

а зачем на количество страниц умножать? он что все страницы переходит что ли? чёт не верицца.

Warchild 27.05.2009 17:17
Да не на те страницы умножить... :)

Добавлено через 31 секунду
А на количество страниц отчета.

snooker 28.05.2009 14:06
Нападение продолжается: сегодня "проиндексировано" 60000 страниц из имеющихся 1000. Письмо в обратку ушло, но реакции нет, как нет и письма в обратной связи. Видимо, письмо не прошло из-за количества символов, но почему тогда не было ни ошибки, ни предупреждения?
Самый интересный вопрос: что надо этому боту и почему бот тратит ресурсы (свои и мои) когда это никому не нужно? Выкачано уже все по 50-100 раз. Бот, остановись! (или остановите его, пока я его сам не забанил).

zorro 28.05.2009 14:10
Бот так нападает, что хостинги банят сапе а потом возникают ошибки

Wink 28.05.2009 14:36
Перекройте роботу доступ по IP, пока не разберутся.


Часовой пояс GMT +3, время: 21:01.
Страница 1 из 4 1 234
Показывать 40 сообщений этой темы на одной странице

Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.