Старый 14.02.2010, 22:56   #1
Специалист
 
Регистрация: 01.12.2009
Сообщений: 280
Вес репутации: 0
elf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краях
По умолчанию Боты. Как сохранить сайт от ботов?

Постоянно лазают, трафик гоняют и проц напрягают.
Как избавиться от этого говна?
Может есть какие-то списки ойпишнеков?
elf2002 вне форума   Ответить с цитированием
Старый 14.02.2010, 22:58   #2
Хитрый жук
 
Аватар для Алексей Барыкин
 
Регистрация: 05.12.2007
Адрес: Конаково
Сообщений: 2,987
Вес репутации: 334
Алексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущееАлексей Барыкин - прекрасное будущее
По умолчанию

Цитата:
order allow deny
deny from all
и боты не пройдут!
правда и юзеры тоже...
Алексей Барыкин вне форума   Ответить с цитированием
Старый 14.02.2010, 23:12   #3
Специалист
 
Регистрация: 01.12.2009
Сообщений: 280
Вес репутации: 0
elf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краях
По умолчанию

Цитата:
Сообщение от Алексей Барыкин Посмотреть сообщение
и боты не пройдут!
правда и юзеры тоже...
нужно чтобы юзеры прошли

Добавлено через 9 минут
Залез в статистику, там такое есть:

Цитата:
Роботи або павуки-вiдвiдувачi
Yandex bot 21240+79 505.18 МБ 14 Лют 2010 - 02:07
Yahoo Slurp 3802+59 90.38 МБ 14 Лют 2010 - 02:02
ASpider (Associative Spider) 1925+16 22.37 МБ 14 Лют 2010 - 01:48
MSNBot 707+218 15.12 МБ 14 Лют 2010 - 01:32
Unknown robot (identified by 'crawl') 764+95 16.91 МБ 14 Лют 2010 - 00:21
Googlebot 780+20 257.78 МБ 14 Лют 2010 - 01:45
StackRambler 493+4 11.93 МБ 08 Лют 2010 - 02:08
Exabot 84+17 1.49 МБ 14 Лют 2010 - 00:43
MJ12bot 71+3 3.58 МБ 13 Лют 2010 - 22:22
Unknown robot (identified by 'spider') 23+28 196.49 кБ 13 Лют 2010 - 15:09
Unknown robot (identified by hit on 'robots.txt') 0+42 912 байтiв 13 Лют 2010 - 22:01
Alexa (IA Archiver) 24+16 2.88 МБ 13 Лют 2010 - 11:06
Unknown robot (identified by 'robot') 12+25 134.24 кБ 13 Лют 2010 - 22:33
HTTrack off-line browser 18 273.25 кБ 08 Лют 2010 - 12:11
BSpider 0+15 360 байтiв 13 Лют 2010 - 16:20
Ask 6+4 170.02 кБ 10 Лют 2010 - 03:34
Speedy Spider 3+6 25.62 кБ 11 Лют 2010 - 04:07
MSNBot-media 6+3 324.09 кБ 13 Лют 2010 - 09:09
Google AdSense 4+3 50.71 кБ 12 Лют 2010 - 22:53
Python-urllib 6 250.89 кБ 12 Лют 2010 - 19:38
The web archive (IA Archiver) 0+5 120 байтiв 13 Лют 2010 - 22:01
psbot 3+2 70.97 кБ 11 Лют 2010 - 05:12
BaiDuSpider 1+4 26.46 кБ 13 Лют 2010 - 04:50
Yahoo! Slurp China 2+2 24.11 кБ 08 Лют 2010 - 20:43
Unknown robot (identified by 'bot/' or 'bot-') 2+2 29.09 кБ 04 Лют 2010 - 04:06
MSIECrawler 3 89.13 кБ 10 Лют 2010 - 23:03
SurveyBot 1+1 11.15 кБ 04 Лют 2010 - 00:30
Java (Often spam bot) 2 627.06 кБ 08 Лют 2010 - 05:48
Netcraft 2 10.96 кБ 05 Лют 2010 - 23:19
Cursor 1 18.64 кБ 07 Лют 2010 - 12:52
Xenu Link Sleuth 1 10.98 кБ 06 Лют 2010 - 00:51
может этих немного поприбивать, особенно тех кто анкноун.

Последний раз редактировалось elf2002; 14.02.2010 в 23:12. Причина: Добавлено сообщение
elf2002 вне форума   Ответить с цитированием
Старый 14.02.2010, 23:32   #4
Мастер
 
Регистрация: 27.09.2008
Адрес: Уфа
Сообщений: 594
Вес репутации: 153
Djeremy - просто великолепная личностьDjeremy - просто великолепная личностьDjeremy - просто великолепная личностьDjeremy - просто великолепная личностьDjeremy - просто великолепная личностьDjeremy - просто великолепная личностьDjeremy - просто великолепная личность
Отправить сообщение для Djeremy с помощью ICQ
По умолчанию

У меня статистика firestats, взял экспорт поисковиков
# FireStats bots list
# Generated at Sun Feb 14 20:31:21 UTC 2010
(info@netforex.org)
Apache XML RPC
ApacheBench
Ask Jeeves
BlogCorpusReader
BlogPeople
BlogPulseLive
BlogRanking/RSS checker
BlogSearch
Bookdog
bot
BuzzTracker
CFNetwork
Charlotte
CK-SEARCHALOT
compatible; LiteFinder/1.0
Crawler
DAUM Web Robot
Debian-2.0.0.1 dfsg-2
DepSpid
Eclipse Mylyn
Exabot
Feed::Find
Feedfetcher-Google
Google-Sitemaps/1.0
GoogleBot
heritrix
http://pear.php.net/
http://sagool.jp/
http://www.page-store.com
http://www.zine.se
HTTrack
Indy Library
InternetSeer.com
Interseek
larbin
libwww-perl
Link Title Checker
LinkWalker
LiteFinder
MaSagool
Microsoft URL Control
Missigua Locator 1.9
Mylyn
NaverBot
NetSurf
Newskraft.de
Nutch
page_verifier
panscient.com
playstarmusic.com
PlayStation Portable
psbot/0.1
Python-urllib
QihooBot
radianrss-1.0
RSS_READER
Runnk RSS finder
ScoutJet
Scrubby/3.0
SEC-SGHC200C
shelob
slurp
Snoopy
Sphere Scout
spider
such_de
Sutchi!;
SymbianOS/9.2
TechnoratiSnoop/1.0
TrackBack
Twiceler-0.9
User-Agent:
Wells Search II
West Wind Internet Protocols
Wget
WordPress/2.3
WWW-Mechanize
www.eurocasher.de
www.searchme.com
Xenu Link Sleuth
Yahoo Pipes 1.0
Yahoo! Slurp
YahooSeeker
Yandex
Yoono
yourname
^$
^Bloglines
^Bloglines Title Fetch
^bot/
^cfetch/
^curl/
^DoCoMo
^e-SocietyRobot
^Explorer /
^findlinks
^Gigabot
^HMSE_Robot
^htdig/
^ia_archiver
^ichiro/
^intraVnews
^Jakarta Commons-HttpClient/
^Java/
^lanshanbot
^libwww-perl
^Mediapartners-Google
^monit/
^Moreoverbot
^Mozilla/5.0$
^msnbot
^OutfoxBot
^Python-urllib
^ShopWiki
^sogou spider
^sproose
^StackRambler
^Technoratibot
^UniversalFeedParser/
^unknown$
^UOLCrawler
^vBSEO
^voyager
^W3C-checklink
^w3m
^webbot
^worio
^XML Sitemaps Generator 1.0
^Y!J-SRD
^yacy
^YahooFeedSeeker
Djeremy вне форума   Ответить с цитированием
Старый 14.02.2010, 23:43   #5
Мне повезёт!
 
Аватар для Alexey
 
Регистрация: 05.05.2007
Сообщений: 1,076
Вес репутации: 221
Alexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущее
По умолчанию

Купите себе нормальный хостинг. Это недорого!
__________________
Everything will be great in the end.
If it's not great, it's not the end.
Alexey вне форума   Ответить с цитированием
Старый 15.02.2010, 00:59   #6
Специалист
 
Регистрация: 01.12.2009
Сообщений: 280
Вес репутации: 0
elf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краяхelf2002 не любят в этих краях
По умолчанию

Цитата:
Сообщение от Alexey Посмотреть сообщение
Купите себе нормальный хостинг. Это недорого!
Хостинг нормальный.
Но с установкой сейп нагрузка на сайт увеличилась.
Каг бы они на колокейшн не стали нас склонять.
(колокейшн будет дороговато)
elf2002 вне форума   Ответить с цитированием
Старый 15.02.2010, 09:35   #7
Специалист
 
Аватар для FreeBird
 
Регистрация: 21.05.2008
Адрес: Южная Столица
Сообщений: 231
Вес репутации: 144
FreeBird - весьма и весьма положительная личностьFreeBird - весьма и весьма положительная личность
Отправить сообщение для FreeBird с помощью ICQ
По умолчанию

useragent.org или как-то так пишется
FreeBird вне форума   Ответить с цитированием
Старый 15.02.2010, 09:38   #8
Мне повезёт!
 
Аватар для Alexey
 
Регистрация: 05.05.2007
Сообщений: 1,076
Вес репутации: 221
Alexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущееAlexey - прекрасное будущее
По умолчанию

elf2002, какой же он нормальный, если с ботов дохнет?

Не занимайтесь фигней, сам не первый год сайты размещаю на хостингах - в нормальных компаниях никогда проблем с ботами не было. Ходят много, но ведь это только хорошо!

P.S: закрытие сайта от ботов влечет за собой бан в сапе.
__________________
Everything will be great in the end.
If it's not great, it's not the end.
Alexey вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Сохранить сайт на народе sivilister Разработка и сопровождение сайтов 2 19.11.2009 12:11
Боты, юзер агенты Русская мафия Курилка 4 06.06.2009 16:48
Боты сапы и флуд защита на хостинге IPU Ошибки при работе с системой 14 18.08.2008 02:46
Статус 304 и поисковые боты 4X_Pro Установка кода на различные движки 0 10.12.2007 13:29
Боты Яшеньки(большая история) Smok Яндекс 10 19.11.2007 20:25


Часовой пояс GMT +3, время: 16:04.