06.06.2009, 11:32 | #1 |
Мафиози
Регистрация: 11.09.2008
Адрес: <H1></H1>
Сообщений: 1,174
Вес репутации: 243
|
Боты, юзер агенты
Поделитесь списками плиз. Хочу позабанить лишних ботов поисковиков и т.д.
Добавлено через 2 минуты Ну или не юзер агенты. Как их там блокировать, через .htaccess вроде
__________________
Последний раз редактировалось Русская мафия; 06.06.2009 в 11:32. Причина: Добавлено сообщение |
06.06.2009, 15:08 | #2 |
Специалист
Регистрация: 19.01.2009
Адрес: вебмастеринг
Сообщений: 386
Вес репутации: 199
|
Вот список, который лазиит ко мне на сайт (определен автоматом, тут есть и хорошие - выбирайте)
Yandex/1.01.001 (compatible; Win16; I) StackRambler/2.0 (MSIE incompatible) Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Direct/2.01.000 (compatible; Win16; Dyatel; D) Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) msnbot/1.1 (+http://search.msn.com/msnbot.htm) Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html) Begun Robot Crawler SimilarPages/Nutch-1.0-dev (SimilarPages Nutch Crawler; http://www.similarpages.com; info at similarpages dot com) Yandex/1.01.001 (compatible; Win16; H) Yandex/1.01.001 (compatible; Win16; M) SAPE.BOT is watching you! Gigabot/3.0 (http://www.gigablast.com/spider.html) AportCatalogRobot/2.0 msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) Yanga WorldSearch Bot v1.1/beta (http://www.yanga.co.uk/) Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) YaDirectBot/1.0 StackRambler/2.0 SurveyBot/2.3 (Whois Source) Yandex/1.02.000 (compatible; Win16; F) ia_archiver panscient.com Mozilla/4.0 (compatible; www.cys.ru, Laboratory N3, Cybernetic biology) Yandex/1.03.003 (compatible; Win16; D) Aport Catalog Robot Вот интересные статьи http://www.xaker.name/forvb/showthread.php?t=10602 http://pulse-art.co.cc/blocking-bad-...d-site-rippers Последний раз редактировалось EndyVelvet; 06.06.2009 в 15:13. |
06.06.2009, 16:17 | #3 |
Специалист
Регистрация: 16.07.2008
Сообщений: 452
Вес репутации: 208
|
__________________
|
06.06.2009, 16:48 | #5 |
Мафиози
Регистрация: 11.09.2008
Адрес: <H1></H1>
Сообщений: 1,174
Вес репутации: 243
|
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
юзер-агент | GhosTama | Вопросы от новичков | 2 | 14.04.2009 11:57 |
Боты сапы и флуд защита на хостинге | IPU | Ошибки при работе с системой | 14 | 18.08.2008 02:46 |
Статус 304 и поисковые боты | 4X_Pro | Установка кода на различные движки | 0 | 10.12.2007 13:29 |
Боты Яшеньки(большая история) | Smok | Яндекс | 10 | 19.11.2007 20:25 |
Часовой пояс GMT +3, время: 07:36.