Боты. Как сохранить сайт от ботов?

[elf2002]

Постоянно лазают, трафик гоняют и проц напрягают.
Как избавиться от этого говна?
Может есть какие-то списки ойпишнеков?

[Алексей Барыкин]

order allow deny
deny from all

и боты не пройдут!
правда и юзеры тоже...

[elf2002]

Сообщение от Алексей Барыкин

и боты не пройдут!
правда и юзеры тоже...

нужно чтобы юзеры прошли

Добавлено через 9 минут
Залез в статистику, там такое есть:

Роботи або павуки-вiдвiдувачi
Yandex bot 21240+79 505.18 МБ 14 Лют 2010 - 02:07
Yahoo Slurp 3802+59 90.38 МБ 14 Лют 2010 - 02:02
ASpider (Associative Spider) 1925+16 22.37 МБ 14 Лют 2010 - 01:48
MSNBot 707+218 15.12 МБ 14 Лют 2010 - 01:32
Unknown robot (identified by 'crawl') 764+95 16.91 МБ 14 Лют 2010 - 00:21
Googlebot 780+20 257.78 МБ 14 Лют 2010 - 01:45
StackRambler 493+4 11.93 МБ 08 Лют 2010 - 02:08
Exabot 84+17 1.49 МБ 14 Лют 2010 - 00:43
MJ12bot 71+3 3.58 МБ 13 Лют 2010 - 22:22
Unknown robot (identified by 'spider') 23+28 196.49 кБ 13 Лют 2010 - 15:09
Unknown robot (identified by hit on 'robots.txt') 0+42 912 байтiв 13 Лют 2010 - 22:01
Alexa (IA Archiver) 24+16 2.88 МБ 13 Лют 2010 - 11:06
Unknown robot (identified by 'robot') 12+25 134.24 кБ 13 Лют 2010 - 22:33
HTTrack off-line browser 18 273.25 кБ 08 Лют 2010 - 12:11
BSpider 0+15 360 байтiв 13 Лют 2010 - 16:20
Ask 6+4 170.02 кБ 10 Лют 2010 - 03:34
Speedy Spider 3+6 25.62 кБ 11 Лют 2010 - 04:07
MSNBot-media 6+3 324.09 кБ 13 Лют 2010 - 09:09
Google AdSense 4+3 50.71 кБ 12 Лют 2010 - 22:53
Python-urllib 6 250.89 кБ 12 Лют 2010 - 19:38
The web archive (IA Archiver) 0+5 120 байтiв 13 Лют 2010 - 22:01
psbot 3+2 70.97 кБ 11 Лют 2010 - 05:12
BaiDuSpider 1+4 26.46 кБ 13 Лют 2010 - 04:50
Yahoo! Slurp China 2+2 24.11 кБ 08 Лют 2010 - 20:43
Unknown robot (identified by 'bot/' or 'bot-') 2+2 29.09 кБ 04 Лют 2010 - 04:06
MSIECrawler 3 89.13 кБ 10 Лют 2010 - 23:03
SurveyBot 1+1 11.15 кБ 04 Лют 2010 - 00:30
Java (Often spam bot) 2 627.06 кБ 08 Лют 2010 - 05:48
Netcraft 2 10.96 кБ 05 Лют 2010 - 23:19
Cursor 1 18.64 кБ 07 Лют 2010 - 12:52
Xenu Link Sleuth 1 10.98 кБ 06 Лют 2010 - 00:51

может этих немного поприбивать, особенно тех кто анкноун.

[Djeremy]

У меня статистика firestats, взял экспорт поисковиков
# FireStats bots list
# Generated at Sun Feb 14 20:31:21 UTC 2010
(info@netforex.org)
Apache XML RPC
ApacheBench
Ask Jeeves
BlogCorpusReader
BlogPeople
BlogPulseLive
BlogRanking/RSS checker
BlogSearch
Bookdog
bot
BuzzTracker
CFNetwork
Charlotte
CK-SEARCHALOT
compatible; LiteFinder/1.0
Crawler
DAUM Web Robot
Debian-2.0.0.1 dfsg-2
DepSpid
Eclipse Mylyn
Exabot
Feed::Find
Feedfetcher-Google
Google-Sitemaps/1.0
GoogleBot
heritrix
http://pear.php.net/
http://sagool.jp/
http://www.page-store.com
http://www.zine.se
HTTrack
Indy Library
InternetSeer.com
Interseek
larbin
libwww-perl
Link Title Checker
LinkWalker
LiteFinder
MaSagool
Microsoft URL Control
Missigua Locator 1.9
Mylyn
NaverBot
NetSurf
Newskraft.de
Nutch
page_verifier
panscient.com
playstarmusic.com
PlayStation Portable
psbot/0.1
Python-urllib
QihooBot
radianrss-1.0
RSS_READER
Runnk RSS finder
ScoutJet
Scrubby/3.0
SEC-SGHC200C
shelob
slurp
Snoopy
Sphere Scout
spider
such_de
Sutchi!;
SymbianOS/9.2
TechnoratiSnoop/1.0
TrackBack
Twiceler-0.9
User-Agent:
Wells Search II
West Wind Internet Protocols
Wget
WordPress/2.3
WWW-Mechanize
www.eurocasher.de
www.searchme.com
Xenu Link Sleuth
Yahoo Pipes 1.0
Yahoo! Slurp
YahooSeeker
Yandex
Yoono
yourname
^$
^Bloglines
^Bloglines Title Fetch
^bot/
^cfetch/
^curl/
^DoCoMo
^e-SocietyRobot
^Explorer /
^findlinks
^Gigabot
^HMSE_Robot
^htdig/
^ia_archiver
^ichiro/
^intraVnews
^Jakarta Commons-HttpClient/
^Java/
^lanshanbot
^libwww-perl
^Mediapartners-Google
^monit/
^Moreoverbot
^Mozilla/5.0$
^msnbot
^OutfoxBot
^Python-urllib
^ShopWiki
^sogou spider
^sproose
^StackRambler
^Technoratibot
^UniversalFeedParser/
^unknown$
^UOLCrawler
^vBSEO
^voyager
^W3C-checklink
^w3m
^webbot
^worio
^XML Sitemaps Generator 1.0
^Y!J-SRD
^yacy
^YahooFeedSeeker

[Alexey]

Купите себе нормальный хостинг. Это недорого!

[elf2002]

Сообщение от Alexey

Купите себе нормальный хостинг. Это недорого!

Хостинг нормальный.
Но с установкой сейп нагрузка на сайт увеличилась.
Каг бы они на колокейшн не стали нас склонять.
(колокейшн будет дороговато)

[FreeBird]

useragent.org или как-то так пишется

[Alexey]

elf2002, какой же он нормальный, если с ботов дохнет?

Не занимайтесь фигней, сам не первый год сайты размещаю на хостингах - в нормальных компаниях никогда проблем с ботами не было. Ходят много, но ведь это только хорошо!

P.S: закрытие сайта от ботов влечет за собой бан в сапе.