Надежная идентификация поисковых систем

[ahsinis]

Может кто знает, как можно программно на сервере относительно точно идентифицировать поисковую систему, зашедшую на сайт.
Первичную информацию можно конечно получить из USER_AGENT, но я подозреваю, что для некоторых роботов он не заполняется. Может по IP адресу можно как-то дополнительно отлеживать?
Никто не сталкивался с такой проблемой?
Буду благодарен за советы.

[formalist]

Юзер-агент прописывается для всех ботов, которые не маскируются под соседа.
Этого ващето вполне хватает.
Если тока не надо жестко клоачить.
А если надо - то тебе сюда или сюда

[D.iK.iJ]

Можно записывать IP тех, кто заглядывает в Robots.txt

[Wink]

Для поисковых роботов достаточно USER_AGENT

[formalist]

Действительно, можно что-то типа влепить

RewriteEngine on 
Options +FollowSymlinks 
RewriteBase / 
RewriteRule ^robots.txt$ /cgi-bin/count.cgi?%{REQUEST_URI}

[D.iK.iJ]

Сообщение от formalist

Действительно, можно что-то типа влепить

RewriteEngine on 
Options +FollowSymlinks 
RewriteBase / 
RewriteRule ^robots.txt$ /cgi-bin/count.cgi?%{REQUEST_URI}

Просто включить PHP обработку для роботс (txt файлы) и добавить туда пару строк кода

[D.iK.iJ]

Как вариант для роботов не читающих роботс.txt - сделать на сайте скрытую ссылку на файл, запрещенный в роботс.txt. Кто зайдет - плохой робот!

[Dreamer.rus]

Вот файлик с собранными идентификаторами ботов. Собирался для vbulletin. Может найдете в нем, что-нить интересного

[Kashey]

Хлам этот файлик, 90% этих роботов заходят на сайт раз в год.
Активны только 7 ботов - Я,Г,Рам,Гога,Лайф,Служебный Микрософта, ПСбот и Яху..
остальные генерят в сотни раз меньший траф

[ahsinis]

Какой у gogo юзер агент или он роботом mail.ru заходит?
Что такое Лайф? liveinternet?
Ве-бальта, я так понял, умерла?