403 - нагрузка с хост
Добрый день форумчане/саперы
Проблема такова что сапаробот при индексации нагружает хост и тот ему в ответ через несколько страниц начинает отдавать 403. Вопрос - как решить эту проблему без смены хостинга? поиском форума пользоваться, нашел схожую проблему, но решения в ней не было. |
Цитата:
|
Ну тут выходов не так много:
1) забанить сапу. 2) сменить хостинг. 3) закешировать страницы (чтобы не грузили базу). 4) попробовать снизить нагрузку от других ботов. P.S. а почему 403 ? Т.е. получается что это хостинг специально блокирует активного бота... |
решение нашел
User-agent: * Crawl-delay: 10 |
Не поможет. Какой ip сапы перегружает хост и сколько запросов в час делает?
|
правда теперь робот.тхт переписал, а теперь не знаю как перезапустить переиндексацию :)))))
подскажите плз :) где-то прочитал удалить/добавить проект. Только добавить можно не раньше чем через 2 дня :( Есть еще варианты? Добавлено через 17 минут Цитата:
скачал с хоста фалы логов но там такая каша о0 |
Цитата:
|
Цитата:
Меняйте хостинг. |
спасибо за совет. С другими ботами буду разбирается (правда еще не знаю как). А насчет именно "почему именно сапабот" - потому что в списках индексированных страниц в разделе "ошибки" выдало кучу страниц с 403й ошибкой.
Сайт при эот у меня не падает. Просто клиента, от которого исходит много запросов (вероятно это в настройках хостинга) его банят на коротки промежуток времяни.... Как определить сапа бота? А почему команда Crawl-delay: 10 не поможет? Добавлено через 3 минуты Цитата:
|
Боты САПЫ:
217.107.36.73 81.177.144.46 93.191.15.81 217.107.36.132 87.242.74.101 80.251.136.38 93.191.15.77 список может быть не полным, сделайте запрос, Вам дадут актуальный список Crawl-delay: 10 не поможет, потому что не является директивой обязательной к исполнению. |
Часовой пояс GMT +3, время: 12:59. |
Работает на vBulletin® версия 3.8.7.
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Перевод: zCarot
SAPE.RU — система купли-продажи ссылок с главных и внутренних страниц сайтов.