17.05.2008, 17:55 | #1 |
Мастер
Регистрация: 17.03.2008
Сообщений: 638
Вес репутации: 242
|
Надежная идентификация поисковых систем
Может кто знает, как можно программно на сервере относительно точно идентифицировать поисковую систему, зашедшую на сайт.
Первичную информацию можно конечно получить из USER_AGENT, но я подозреваю, что для некоторых роботов он не заполняется. Может по IP адресу можно как-то дополнительно отлеживать? Никто не сталкивался с такой проблемой? Буду благодарен за советы. |
17.05.2008, 18:56 | #3 |
Дикий
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,551
Вес репутации: 360
|
Можно записывать IP тех, кто заглядывает в Robots.txt
__________________
Делаю кулоны с опалами в стекле и не только! |
17.05.2008, 19:11 | #6 |
Дикий
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,551
Вес репутации: 360
|
Просто включить PHP обработку для роботс (txt файлы) и добавить туда пару строк кода
__________________
Делаю кулоны с опалами в стекле и не только! |
17.05.2008, 19:13 | #7 |
Дикий
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,551
Вес репутации: 360
|
Как вариант для роботов не читающих роботс.txt - сделать на сайте скрытую ссылку на файл, запрещенный в роботс.txt. Кто зайдет - плохой робот!
__________________
Делаю кулоны с опалами в стекле и не только! |
17.05.2008, 23:41 | #8 |
Специалист
Регистрация: 08.03.2008
Сообщений: 246
Вес репутации: 209
|
Вот файлик с собранными идентификаторами ботов. Собирался для vbulletin. Может найдете в нем, что-нить интересного
|
18.05.2008, 08:40 | #9 |
Специалист
Регистрация: 02.07.2007
Сообщений: 453
Вес репутации: 222
|
Хлам этот файлик, 90% этих роботов заходят на сайт раз в год.
Активны только 7 ботов - Я,Г,Рам,Гога,Лайф,Служебный Микрософта, ПСбот и Яху.. остальные генерят в сотни раз меньший траф
__________________
И как всегда это все ScanLog записывает |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
База поисковых спамеров | Serge_vet | Деловое сотрудничество | 6 | 11.12.2008 11:36 |
Идентификация О | mnemonic | Пожелания пользователей системы | 7 | 19.12.2007 01:37 |
Дружественные для поисковых систем URL | MixLSD | Google, MSN, Yahoo | 1 | 07.10.2007 12:10 |
Язык поисковых запросов | Avish | Пожелания пользователей системы | 0 | 26.07.2007 20:06 |
Пожелания по новым категориям для добавления сайтов в систем | WebNamo | Пожелания пользователей системы | 2 | 05.06.2007 05:22 |
Часовой пояс GMT +3, время: 12:10.