А Боты то фальшивые....

[shadx]

Интересный эксперимент получился. Надо было написать парсер лога Apache, который бы, по заданному критерию, ip собрал и обратную ДНС запись посмотрел.

Решил я ради теста, в качестве критерия написать "googlebot".

Вот собранные адреса (не с самого посещаемого адреса, по времени где то за сегодняшнее утро)

67.228.166.38
174.37.100.238
75.126.206.251
66.249.76.84
174.36.23.108
75.126.252.47
75.126.205.156
75.126.254.224
174.37.120.233
75.126.170.74
174.37.114.240
174.36.9.16
75.126.234.140
66.249.76.200
75.126.212.75
208.43.49.240
75.126.227.246

У всех UserAgent - GoogleBot

И собственно обратки (не все, ток хоть чем то уникальные):

IP: 174.37.100.238
Reverse DNS Lookup
174.37.100.238-static.reverse.softlayer.com
Forward DNS Lookup
174.37.100.238

IP: 66.249.76.84
Reverse DNS Lookup
crawl-66-249-76-84.googlebot.com
Forward DNS Lookup
66.249.76.84

IP: 75.126.234.140
Reverse DNS Lookup
liex.ru
Forward DNS Lookup
81.94.197.202

IP: 66.249.76.200
Reverse DNS Lookup
crawl-66-249-76-200.googlebot.com
Forward DNS Lookup
66.249.76.200

Два настоящих гугльбота из всех записей я нашел. Вопрос, че с остальными делать ибо трафик они генерят тоже некислый?

p/s
Кто хочет побаловаться. идем http://netfaq.ru/checkip
Кушает любой текст, если написать критерий, то будет выбирать на анализ тока те строки где этот критерий содержится.

p/p/s Ток чур не поламайте.

[zhegloff]

Сообщение от shadx

Вопрос, че с остальными делать ибо трафик они генерят тоже некислый?

лиекс - забанить, однозначно

[shadx]

так не удивлюсь, если там и сапа встретится. Ониж как то на клоакинг проверять должны.

Добавлено через 8 минут
с яндексом как то все по приличнее. Всего три ip адреса и все три нормальные.

IP: 95.108.158.245
Reverse DNS Lookup
img-spider-95-108-158-245.yandex.com
Forward DNS Lookup
95.108.158.245


IP: 77.88.22.3
Reverse DNS Lookup
robotmon.yandex.ru
Forward DNS Lookup
77.88.22.3


IP: 95.108.246.253
Reverse DNS Lookup
spider-95-108-246-253.yandex.com
Forward DNS Lookup
95.108.246.253

[Sergoff]

У меня на сайтах пасется Яндекс-бот 95.108.247.252. Заполнил наизусть адрес, т.к. в логах всегда вижу)))

[shadx]

IP: 95.108.247.252
Reverse DNS Lookup
spider-95-108-247-252.yandex.com
Forward DNS Lookup
95.108.247.252

Нормальный бот.

Добавлено через 1 минуту
переходы под видом яши смотрел, все нормальные попались. А вот с гошей беда какая то.

[Sergoff]

Сообщение от shadx

IP: 95.108.247.252
Нормальный бот.

Отличный бот. Я не спорю. Всегда радуюсь, когда на сайты приходит