Бот мэил ру разгулялся не на шутку :)

[Walk]

хы, им клиенты деньги приносят, так еще и уговаривают)

P.S. юзаю роад2веб, пока средне, лучше пока не нашел, и искать особо некогда.

[Vlad64]

А бот Яндекса даёт меньше нагрузки?

[dva-main]

Сообщение от Vlad64

А бот Яндекса даёт меньше нагрузки?

Яша более менее по понятиям работает, а gogo часто беспредельничает. mail.ru необходимо срочно рунет перелопатить - бабки вложенные оправдать, и они плюют на приличия. а кого их трудности волнуют, в конце концов? в России бабок немеряно - а траф и для людей оставить надо...

[Vlad64]

Сообщение от dva-main

Яша более менее по понятиям работает, а gogo часто беспредельничает. mail.ru необходимо срочно рунет перелопатить - бабки вложенные оправдать, и они плюют на приличия. а кого их трудности волнуют, в конце концов? в России бабок немеряно - а траф и для людей оставить надо...

Насчёт по понятиям, сегодня только за два часа, у меня Яндекс сделал 2416 хитов! Чем вызвал вот такую нагрузку:

2008-07-14 04:00:02 2008-07-14 04:15:02 3.17 % 0.95 min 2.24
2008-07-14 03:45:03 2008-07-14 04:00:02 3.34 % 1 min 2.95
2008-07-14 03:30:11 2008-07-14 03:45:03 3.03 % 0.9 min 4.7
2008-07-14 03:15:05 2008-07-14 03:30:11 4.04 % 1.22 min 4.21
2008-07-14 03:00:03 2008-07-14 03:15:05 3.56 % 1.07 min 4.78
2008-07-14 02:45:03 2008-07-14 03:00:03 5.3 % 1.59 min 6.98

Для моего тарифа (BETA - Петерхост) допустимым считается приблизительно 2,5%. Вот Гугл тот да, работает по понятиям, за два дня 1163 хитов, но распределены по времени что не вызывало никакой нагрузки. Яндекс заходит вероломно делая сразу немеренное число запросов к базе

П.С. Вот и приходится лавировать. На сутки банить Яндекс, потом когда письма счастья отступают снимать бан для индексации

[sca]

Сообщение от Vlad64

П.С. Вот и приходится лавировать. На сутки банить Яндекс, потом когда письма счастья отступают снимать бан для индексации

жуть какая-то, а не жизнь у вас

[dva-main]

Сообщение от sca

жуть какая-то, а не жизнь у вас

для клиентов Петерхоста это скучные будни , а Яша да, иногда любит отловить невинный сайтик ночью (вроде как траф поменьше) и в извращённой форме его, с особым цинизмом... при нормальном хостере это ему с рук сходит...

[sca]

Сообщение от dva-main

для клиентов Петерхоста это скучные будни

а что вас у него держит?

[dva-main]

Сообщение от sca

а что вас у него держит?

дурость, но не моя , а моих клиентов... приходится применять превентивные меры - записывать в договор условие о переходе к нормальному хостеру

[omsknews]

Сообщение от dva-main

дурость, но не моя , а моих клиентов... приходится применять превентивные меры - записывать в договор условие о переходе к нормальному хостеру

а что мешает прикрутить кэширование и не мучать запросами к базе хостера?

[Vlad64]

Надо было сюда пост писать. Сделал ограничение для ботов на ненужные страницы в Сапе. Нагрузка сразу снизилась. При этом Яндекс, Гугл и прочие Боты спокойно заходят и сканируют форум. В robots txt прописываем такой код:

User-agent: *
Disallow: /index.php?showuser=
Disallow: /index.php?showtopic=

Всё Роботы заходят и индексируют только те страницы которые нужны для Сапы