Форум SAPE.RU - Надежная идентификация поисковых систем

Страница 1 из 2

Показывать 40 сообщений этой темы на одной странице

Форум SAPE.RU (http://forum.sape.ru/index.php)

- Разработка и сопровождение сайтов (http://forum.sape.ru/forumdisplay.php?f=29)

- - Надежная идентификация поисковых систем (http://forum.sape.ru/showthread.php?t=13189)

ahsinis

17.05.2008 17:55

Надежная идентификация поисковых систем

Может кто знает, как можно программно на сервере относительно точно идентифицировать поисковую систему, зашедшую на сайт.
Первичную информацию можно конечно получить из USER_AGENT, но я подозреваю, что для некоторых роботов он не заполняется. Может по IP адресу можно как-то дополнительно отлеживать?
Никто не сталкивался с такой проблемой?
Буду благодарен за советы. :)

formalist

17.05.2008 18:48

Юзер-агент прописывается для всех ботов, которые не маскируются под соседа.
Этого ващето вполне хватает.
Если тока не надо жестко клоачить.
А если надо - то тебе сюда или сюда

D.iK.iJ

17.05.2008 18:56

Можно записывать IP тех, кто заглядывает в Robots.txt :)

Wink	17.05.2008 19:06

Для поисковых роботов достаточно USER_AGENT

formalist

17.05.2008 19:07

Действительно, можно что-то типа влепить

Код:

RewriteEngine on 

Options +FollowSymlinks 

RewriteBase / 

RewriteRule ^robots.txt$ /cgi-bin/count.cgi?%{REQUEST_URI}

D.iK.iJ

17.05.2008 19:11

Цитата:

Сообщение от formalist (Сообщение 157907)

Действительно, можно что-то типа влепить

Код:

RewriteEngine on 

Options +FollowSymlinks 

RewriteBase / 

RewriteRule ^robots.txt$ /cgi-bin/count.cgi?%{REQUEST_URI}

Просто включить PHP обработку для роботс (txt файлы) и добавить туда пару строк кода :)

D.iK.iJ

17.05.2008 19:13

Как вариант для роботов не читающих роботс.txt - сделать на сайте скрытую ссылку на файл, запрещенный в роботс.txt. Кто зайдет - плохой робот! :D

Dreamer.rus

17.05.2008 23:41

Вложений: 1

Вот файлик с собранными идентификаторами ботов. Собирался для vbulletin. Может найдете в нем, что-нить интересного

Kashey

18.05.2008 08:40

Хлам этот файлик, 90% этих роботов заходят на сайт раз в год.
Активны только 7 ботов - Я,Г,Рам,Гога,Лайф,Служебный Микрософта, ПСбот и Яху..
остальные генерят в сотни раз меньший траф

ahsinis

18.05.2008 10:54

Какой у gogo юзер агент или он роботом mail.ru заходит?
Что такое Лайф? liveinternet?
Ве-бальта, я так понял, умерла?

Часовой пояс GMT +3, время: 08:50.

Страница 1 из 2

Показывать 40 сообщений этой темы на одной странице