Русскоязычная аудитория и ино-роботы

gun · 21.09.2008, 16:41

Как ограничить деятельность ненашинских роботов, траффик жрут отменный, толку ни какого:
Yahoo Slurp 85241+97 1.16 ГБ
Alexa (IA Archiver) 4602+61 386.61 МБ
MSNBot 2310+383 75.04 МБ
Yahoo-MMCrawler 2057+289 46.17 МБ
За пол дня. Что прописать?, либо в robot.txt, либо в .htaccsess

Mkt · 21.09.2008, 17:13

Старинный джедайский прием:

RewriteEngine On
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^.*msn [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*WebAlta [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*CazoodleBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*psbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Mail.Ru [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*HTMLParser [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*perl [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Wget
RewriteRule ^.* - [F,L]

Globalzru · 21.09.2008, 20:48

хм, траффик? неужели его еще кто-то считает? а толк от них всегда хоть какой-то, но есть

den78ru · 21.09.2008, 21:01

Действительно, кого волнует трафик?

Massacre · 22.09.2008, 01:00

только тех, кто решил сэкономить и поискать дешевый трафиковый пакет у хостера

а вообще нормальные хостеры лимитируют только по месту на сервере. ну и ЦПУ

Oprioris · 22.09.2008, 01:50

Берите анлим и не забивайте голову

Mkt · 22.09.2008, 09:29

Фишка не в трафиге, а в том чтобы поболее жирьненьких сайтегов на один виртуальный хостинг запихать. Вышеперечисленые боты создают очень многа нагрузки на процессор.

nuendo1907 · 22.09.2008, 09:33

не больше чем яша

Veles · 22.09.2008, 10:50

Цитата:

Сообщение от Mkt

Фишка не в трафиге, а в том чтобы поболее жирьненьких сайтегов на один виртуальный хостинг запихать. Вышеперечисленые боты создают очень многа нагрузки на процессор.

Согласен. Для примера, на одном хостинге 12 сайтов по 70 мгб трафика в среднем в сутки для каждого...

Tatul · 22.09.2008, 11:52

В файл роботс добавьте

User-agent: Slurp
Crawl-delay: 60

User-agent: YahooSeeker
Crawl-delay: 60

Будут реже на сайт заходить, как MNS ограничить не знаю.
Но для Яхо бота работает нормально.

21.09.2008, 16:41	#1
gun Banned Регистрация: 15.03.2007 Сообщений: 145 Вес репутации: 0	Русскоязычная аудитория и ино-роботы Как ограничить деятельность ненашинских роботов, траффик жрут отменный, толку ни какого: Yahoo Slurp 85241+97 1.16 ГБ Alexa (IA Archiver) 4602+61 386.61 МБ MSNBot 2310+383 75.04 МБ Yahoo-MMCrawler 2057+289 46.17 МБ За пол дня. Что прописать?, либо в robot.txt, либо в .htaccsess

21.09.2008, 20:48	#3
Globalzru Глобальный Wordpress'овед Регистрация: 20.06.2008 Адрес: Чешская республика Сообщений: 1,853 Вес репутации: 297	хм, траффик? неужели его еще кто-то считает? а толк от них всегда хоть какой-то, но есть __________________ Заходите на мой личный блог [Обменяюсь ссылками с подобными сайтами, ТИЦ от 10] Стабильный хостинг - Хочешь скидку 25% на любой НОВЫЙ заказ? Напиши! Недорогие услуги по Wordpress

22.09.2008, 01:00	#5
Massacre Эксперт Регистрация: 04.05.2007 Адрес: Kiev, UA Сообщений: 3,649 Вес репутации: 313	только тех, кто решил сэкономить и поискать дешевый трафиковый пакет у хостера а вообще нормальные хостеры лимитируют только по месту на сервере. ну и ЦПУ __________________ NEON2 NCC системный интегратор. Установка кода SAPE (от $10), бесплатные консультации клиентам (рефералам). Аттестат продавца.

22.09.2008, 09:33	#8
nuendo1907 Специалист Регистрация: 15.02.2008 Адрес: о.Хортица Сообщений: 208 Вес репутации: 203	не больше чем яша __________________ партнерка с оплатой за клики от 100 уникомов + партнерка 2 с оплатой за клики + конечно сейп хватает на пожить и погонять шары

22.09.2008, 11:52	#10
Tatul Эксперт Регистрация: 16.11.2007 Сообщений: 1,253 Вес репутации: 252	В файл роботс добавьте User-agent: Slurp Crawl-delay: 60 User-agent: YahooSeeker Crawl-delay: 60 Будут реже на сайт заходить, как MNS ограничить не знаю. Но для Яхо бота работает нормально. __________________ Мой форум seo форум Партнёрская программа для белых и серых сайтов Ювелирные украшения 10%, женская одежда и сумки 10%, аудио и видео техника 3%.

21.09.2008, 17:13	#2
Mkt Banned Регистрация: 14.04.2008 Адрес: UK.London.Middlesex Сообщений: 228 Вес репутации: 0	Старинный джедайский прием: RewriteEngine On RewriteBase / RewriteCond %{HTTP_USER_AGENT} ^.msn [OR] RewriteCond %{HTTP_USER_AGENT} ^.Twiceler [OR] RewriteCond %{HTTP_USER_AGENT} ^.Slurp [OR] RewriteCond %{HTTP_USER_AGENT} ^.WebAlta [OR] RewriteCond %{HTTP_USER_AGENT} ^.Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} ^.CazoodleBot [OR] RewriteCond %{HTTP_USER_AGENT} ^.psbot [OR] RewriteCond %{HTTP_USER_AGENT} ^.Mail.Ru [OR] RewriteCond %{HTTP_USER_AGENT} ^.HTMLParser [OR] RewriteCond %{HTTP_USER_AGENT} ^.perl [OR] RewriteCond %{HTTP_USER_AGENT} ^.Wget RewriteRule ^. - [F,L]

21.09.2008, 21:01	#4
den78ru Погулять вышел Регистрация: 15.05.2007 Адрес: С-Пб! О/ВМ 50/50 Сообщений: 1,921 Вес репутации: 316	Действительно, кого волнует трафик?

22.09.2008, 01:50	#6
Oprioris Новичок Регистрация: 20.09.2008 Сообщений: 25 Вес репутации: 0	Берите анлим и не забивайте голову

22.09.2008, 09:29	#7
Mkt Banned Регистрация: 14.04.2008 Адрес: UK.London.Middlesex Сообщений: 228 Вес репутации: 0	Фишка не в трафиге, а в том чтобы поболее жирьненьких сайтегов на один виртуальный хостинг запихать. Вышеперечисленые боты создают очень многа нагрузки на процессор.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Спам роботы	Condenser	Курилка	14	18.09.2008 19:41
Роботы яндекса, индексация и прочее	linoge	Яндекс	0	07.09.2008 12:56
Роботы опять отдыхают?	big.bon	Яндекс	31	22.07.2008 07:09
Роботы Яндекса отдыхают?	big.bon	Яндекс	12	17.06.2008 13:43
С каких IP ходят роботы sape?	craziman	Вопросы по работе системы	4	27.12.2007 11:54