403 - нагрузка с хост

[Voody]

Добрый день форумчане/саперы

Проблема такова что сапаробот при индексации нагружает хост и тот ему в ответ через несколько страниц начинает отдавать 403.

Вопрос - как решить эту проблему без смены хостинга?


поиском форума пользоваться, нашел схожую проблему, но решения в ней не было.

[Asterada]

Сообщение от Voody

поиском форума пользоваться, нашел схожую проблему, но решения в ней не было.

и решили создать новую

[vipraskrutka]

Ну тут выходов не так много:
1) забанить сапу.
2) сменить хостинг.
3) закешировать страницы (чтобы не грузили базу).
4) попробовать снизить нагрузку от других ботов.

P.S. а почему 403 ? Т.е. получается что это хостинг специально блокирует активного бота...

[Voody]

решение нашел
User-agent: *
Crawl-delay: 10

[Uss]

Не поможет. Какой ip сапы перегружает хост и сколько запросов в час делает?

[Voody]

правда теперь робот.тхт переписал, а теперь не знаю как перезапустить переиндексацию ))))

подскажите плз
где-то прочитал удалить/добавить проект. Только добавить можно не раньше чем через 2 дня

Есть еще варианты?

Добавлено через 17 минут

Сообщение от Uss

Не поможет. Какой ip сапы перегружает хост и сколько запросов в час делает?

если б я знал как это узнать....

скачал с хоста фалы логов но там такая каша о0

[Uss]

Сообщение от Voody;

если б я знал как это узнать....
скачал с хоста фалы логов но там такая каша о0

Откуда тогда уверенность что это сапа грузит хост? Есть три раза дохрена бесполезных ботов, которые готовы тягать ваш сайт целиком каждый день. Если у Вас несколько тысяч страниц, то разберитесь сначала с ними, потом с дико прожорливым yahoo и уж потом надо поминать биржевой бот...

[zhegloff]

Сообщение от Voody

решение нашел
User-agent: *
Crawl-delay: 10

Плевать робот сапы хотел на ваш Crawl-delay

Меняйте хостинг.

[Voody]

спасибо за совет. С другими ботами буду разбирается (правда еще не знаю как). А насчет именно "почему именно сапабот" - потому что в списках индексированных страниц в разделе "ошибки" выдало кучу страниц с 403й ошибкой.

Сайт при эот у меня не падает. Просто клиента, от которого исходит много запросов (вероятно это в настройках хостинга) его банят на коротки промежуток времяни....

Как определить сапа бота?

А почему команда Crawl-delay: 10 не поможет?

Добавлено через 3 минуты

Сообщение от zhegloff

Плевать робот сапы хотел на ваш Crawl-delay

Меняйте хостинг.

Для меня это не очень желательно.... есть еще какие нибудь варианты?

[Uss]

Боты САПЫ:
217.107.36.73
81.177.144.46
93.191.15.81
217.107.36.132
87.242.74.101
80.251.136.38
93.191.15.77
список может быть не полным, сделайте запрос, Вам дадут актуальный список

Crawl-delay: 10 не поможет, потому что не является директивой обязательной к исполнению.