лечение ЕРРОР : то что хостер назначил :)

[TristanVI]

Если ошибься разделом, прошу тему не удалять, а перенести.
Итак, размещены все сайты на мажоромо. кто пользуется наверное знаком с главной проблемой даного хостера, а именное нагрузкой на проц в 15% даже на самом дорогом тариф шаред.
При обходе сайтов сапоботом, нагрузка возрастает в результате чего сайты отключаются на 10 минут, в итоге половина ссылок в ЕРРОРе.
С этим же вопросом обратился в саппорт, где мне посоветовали сделать вот что.

создайте в корне сайта файл robots.txt а в нем пропишите:
\n User-agent: *
\n Crawl-delay: 10
Crawl-delay: устанавливает время, которое робот должен выдерживать между загрузкой страниц. Если робот будет загружать страницы слишком часто, это может создать излишнюю нагрузку на сервер.

также, еще есть такие директивы:
\nUser-agent: *
\nRequest-rate: 1/5 # загружать не более одной страницы за пять секунд
\nVisit-time: 0600-0845 # загружать страницы только в промежуток с 6 утра до 8:45 по Гринвичу.
\n

Как все это отразится на индексировании ссылок сапоботом, станет ли ошибок меньше ?

PS конечно понимаю, что уже пора переезжать на VPS, но сейчас никак не могу. Просто я сам сейчас должен переехать, хозяин квартиры которую я снимал попросил ее освободить, так что сейчас мне более чем хреново и придется оставить сайты без присмотра дней на 10.
Всем спасибо.

[zhegloff]

никак не отразится.

[TristanVI]

никак не отразится.

почему это ? боту наплевать или что ? разве нагрузка на сервер не снизится , а если нет то фига хостер мне это осоветовал ?

[Ank]

Сообщение от TristanVI

то фига хостер мне это осоветовал ?

ну надо же чтото сказать то.
Сапоботу на ЭТО место в роботсе - по барабану.
Либо оптимизировать сайт/скрипты, либо голосовать ногами за другого хостера.
Я бы начал с оптимизации сайта...
Сколько ссылок то продано, в штуках?

[TristanVI]

Сколько ссылок то продано, в штуках?

На сайте где происходит ошибка более 1500, сайт движке joomla 1.5 никаких лишних модулей и прибамбасов нет коме sape_mod. все работы по оптимизации уже проведены, разве , что картнки сжать осталось
Хостер сменить идея была, но идеальных не существует, а едиснтвенный минус мажордомо это нагрузка на проц в 15%.
С остальными сайтами все в порядке, они на дле и вп.

Добавлено через 1 минуту
Может в будущем sape свой хостинг откроет?

[jay-forum]

Сообщение от Ank

Сапоботу на ЭТО место в роботсе - по барабану.

зато поисковым роботам не по барабану

[chahlic]

Сообщение от jay-forum

зато поисковым роботам не по барабану

А кто спорит? Речь ведь о том, что сапо-бот сайты кладет, а не ПС

[jay-forum]

сапобот вкупе с пс. если поисковые боты постоянно тусят на сайте, то Crawl-delay очень даже поможет

[Ank]

jay-forum, вы тут пришли показать уровень познаний? или просто пофлудить?

[jay-forum]

помочь человеку разобраться с этим

разве нагрузка на сервер не снизится , а если нет то фига хостер мне это осоветовал ?