27.05.2009, 15:01 | #1 |
Специалист
Регистрация: 03.10.2008
Сообщений: 222
Вес репутации: 199
|
Нападение робота-индексатора
В течении последних суток наблюдаю атаку робота-индексатора сапы на один-единственный сайт из нескольких десятков.
С полуночи было 50000 обращений к страницам, притом к не находящимся в сапе, как будто идет индексация круг за кругом, останавливаться не собирается. Переиндексация не заказывалась, причин, кроме глюка, предположить не могу. Лог-файл 10Mb только из-за робота. Кусок лога: Код HTML:
217.107.36.73 - - [27/May/2009:14:17:10 +0400] "GET /stroy/10/ HTTP/1.0" 200 24356 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:10 +0400] "GET /stroy/11/ HTTP/1.0" 200 23632 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:10 +0400] "GET /stroy/12/ HTTP/1.0" 200 23481 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:11 +0400] "GET /stroy/13/ HTTP/1.0" 200 23602 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:11 +0400] "GET /stroy/14/ HTTP/1.0" 200 22817 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:11 +0400] "GET /stroy/15/ HTTP/1.0" 200 24690 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:11 +0400] "GET /stroy/16/ HTTP/1.0" 200 24207 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:12 +0400] "GET /stroy/17/ HTTP/1.0" 200 23312 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:13 +0400] "GET /stroy/18/ HTTP/1.0" 200 22426 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:13 +0400] "GET /stroy/19/ HTTP/1.0" 200 23362 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:13 +0400] "GET /stroy/2/ HTTP/1.0" 200 22875 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:14 +0400] "GET /stroy/20/ HTTP/1.0" 200 24847 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:14 +0400] "GET /stroy/21/ HTTP/1.0" 200 23344 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:14 +0400] "GET /stroy/22/ HTTP/1.0" 200 21890 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:14 +0400] "GET /stroy/23/ HTTP/1.0" 200 22315 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:15 +0400] "GET /stroy/24/ HTTP/1.0" 200 22246 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:15 +0400] "GET /stroy/25/ HTTP/1.0" 200 23120 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:15 +0400] "GET /stroy/26/ HTTP/1.0" 200 23907 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:16 +0400] "GET /stroy/27/ HTTP/1.0" 200 22941 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:16 +0400] "GET /stroy/28/ HTTP/1.0" 200 24296 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:16 +0400] "GET /stroy/29/ HTTP/1.0" 200 23151 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:17 +0400] "GET /stroy/3/ HTTP/1.0" 200 23812 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:17 +0400] "GET /stroy/30/ HTTP/1.0" 200 25740 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:17 +0400] "GET /stroy/31/ HTTP/1.0" 200 23086 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:17 +0400] "GET /stroy/32/ HTTP/1.0" 200 22465 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:18 +0400] "GET /stroy/33/ HTTP/1.0" 200 26736 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:18 +0400] "GET /stroy/34/ HTTP/1.0" 200 21638 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:18 +0400] "GET /stroy/35/ HTTP/1.0" 200 22339 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:19 +0400] "GET /stroy/36/ HTTP/1.0" 200 22120 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:19 +0400] "GET /stroy/37/ HTTP/1.0" 200 23403 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:19 +0400] "GET /stroy/38/ HTTP/1.0" 200 22998 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:20 +0400] "GET /stroy/39/ HTTP/1.0" 200 22664 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:20 +0400] "GET /stroy/4/ HTTP/1.0" 200 24059 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:20 +0400] "GET /stroy/40/ HTTP/1.0" 200 21565 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:21 +0400] "GET /stroy/41/ HTTP/1.0" 200 23283 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:21 +0400] "GET /stroy/42/ HTTP/1.0" 200 23285 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:21 +0400] "GET /stroy/43/ HTTP/1.0" 200 23058 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:22 +0400] "GET /stroy/44/ HTTP/1.0" 200 24491 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:22 +0400] "GET /stroy/45/ HTTP/1.0" 200 22627 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:23 +0400] "GET /stroy/46/ HTTP/1.0" 200 23919 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:23 +0400] "GET /stroy/47/ HTTP/1.0" 200 23371 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:24 +0400] "GET /stroy/48/ HTTP/1.0" 200 22840 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:24 +0400] "GET /stroy/49/ HTTP/1.0" 200 24405 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:24 +0400] "GET /stroy/5/ HTTP/1.0" 200 25157 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:25 +0400] "GET /stroy/50/ HTTP/1.0" 200 22312 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:25 +0400] "GET /stroy/51/ HTTP/1.0" 200 22636 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:25 +0400] "GET /stroy/52/ HTTP/1.0" 200 22525 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:25 +0400] "GET /stroy/53/ HTTP/1.0" 200 23426 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:26 +0400] "GET /stroy/54/ HTTP/1.0" 200 22633 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:26 +0400] "GET /stroy/55/ HTTP/1.0" 200 23307 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:26 +0400] "GET /stroy/56/ HTTP/1.0" 200 22005 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:27 +0400] "GET /stroy/57/ HTTP/1.0" 200 23325 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:27 +0400] "GET /stroy/58/ HTTP/1.0" 200 23681 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:27 +0400] "GET /stroy/59/ HTTP/1.0" 200 23300 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:28 +0400] "GET /stroy/6/ HTTP/1.0" 200 23445 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:28 +0400] "GET /stroy/60/ HTTP/1.0" 200 22928 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:29 +0400] "GET /stroy/61/ HTTP/1.0" 200 24945 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:29 +0400] "GET /stroy/62/ HTTP/1.0" 200 22748 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:29 +0400] "GET /stroy/63/ HTTP/1.0" 200 24041 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:30 +0400] "GET /stroy/64/ HTTP/1.0" 200 22689 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:30 +0400] "GET /stroy/65/ HTTP/1.0" 200 22609 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:30 +0400] "GET /stroy/66/ HTTP/1.0" 200 22094 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:31 +0400] "GET /stroy/67/ HTTP/1.0" 200 24370 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:31 +0400] "GET /stroy/68/ HTTP/1.0" 200 22854 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:31 +0400] "GET /stroy/69/ HTTP/1.0" 200 22702 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:32 +0400] "GET /stroy/7/ HTTP/1.0" 200 23100 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:32 +0400] "GET /stroy/70/ HTTP/1.0" 200 23217 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:33 +0400] "GET /stroy/71/ HTTP/1.0" 200 22769 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:33 +0400] "GET /stroy/72/ HTTP/1.0" 200 22160 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:33 +0400] "GET /stroy/73/ HTTP/1.0" 200 23209 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:35 +0400] "GET /stroy/74/ HTTP/1.0" 200 22745 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:35 +0400] "GET /stroy/75/ HTTP/1.0" 200 23101 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:36 +0400] "GET /stroy/76/ HTTP/1.0" 200 22817 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:36 +0400] "GET /stroy/77/ HTTP/1.0" 200 22551 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:36 +0400] "GET /stroy/78/ HTTP/1.0" 200 24901 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:37 +0400] "GET /stroy/79/ HTTP/1.0" 200 22258 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:37 +0400] "GET /stroy/8/ HTTP/1.0" 200 21926 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:37 +0400] "GET /stroy/80/ HTTP/1.0" 200 22228 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:38 +0400] "GET /stroy/81/ HTTP/1.0" 200 22979 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:38 +0400] "GET /stroy/82/ HTTP/1.0" 200 21108 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:42 +0400] "GET /stroy/83/ HTTP/1.0" 200 24873 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" 217.107.36.73 - - [27/May/2009:14:17:43 +0400] "GET /stroy/9/ HTTP/1.0" 200 22848 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)" site_id=336847 |
27.05.2009, 15:06 | #2 |
Эксперт
Регистрация: 09.05.2008
Адрес: ПГ
Сообщений: 1,704
Вес репутации: 0
|
snooker, а как определил что более 50000 обращений? статса какая-то есть особая? я просто в awstats такого не найду - отследить нападение робота, может что не так ищу?
__________________
|
27.05.2009, 15:10 | #4 |
Специалист
Регистрация: 03.10.2008
Сообщений: 222
Вес репутации: 199
|
Al Pacino, просто посмотрел общее кол-во строк в файле ~58000, при обычном, среднеквадратичном кол-ве на этом сателлите ~500, смело предположил, что не менее 50000 только сапа. Да там сложно увидеть другие ip среди такого количества.
Опять будет хостер виноват, мол забанил пушистого бота. |
27.05.2009, 17:11 | #6 | |
Эксперт
Регистрация: 09.05.2008
Адрес: ПГ
Сообщений: 1,704
Вес репутации: 0
|
Цитата:
а зачем на количество страниц умножать? он что все страницы переходит что ли? чёт не верицца.
__________________
|
|
27.05.2009, 17:17 | #7 |
Эксперт
Регистрация: 31.05.2008
Адрес: ТамБов
Сообщений: 2,509
Вес репутации: 399
|
Да не на те страницы умножить...
Добавлено через 31 секунду А на количество страниц отчета.
__________________
__________________ Последний раз редактировалось Warchild; 27.05.2009 в 17:17. Причина: Добавлено сообщение |
28.05.2009, 14:06 | #8 |
Специалист
Регистрация: 03.10.2008
Сообщений: 222
Вес репутации: 199
|
Нападение продолжается: сегодня "проиндексировано" 60000 страниц из имеющихся 1000. Письмо в обратку ушло, но реакции нет, как нет и письма в обратной связи. Видимо, письмо не прошло из-за количества символов, но почему тогда не было ни ошибки, ни предупреждения?
Самый интересный вопрос: что надо этому боту и почему бот тратит ресурсы (свои и мои) когда это никому не нужно? Выкачано уже все по 50-100 раз. Бот, остановись! (или остановите его, пока я его сам не забанил). |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Есть ли у робота-индексатора Сапе кэш на каждую площадку? | y_avdeev | Ошибки при работе с системой | 6 | 16.01.2009 19:06 |
Некорректная работа индексатора | Zloy | Ошибки при работе с системой | 10 | 10.01.2009 09:53 |
Какой ип у робота сапы? | Ruzaevka | Вопросы по работе системы | 1 | 27.10.2008 16:39 |
Затык робота индексатора | polgete | Ошибки при работе с системой | 4 | 18.09.2008 06:32 |
Вопрос про робота | akapaka | Вопросы по работе системы | 2 | 25.07.2007 18:22 |
Часовой пояс GMT +3, время: 07:19.