Crawl-delay

[edne]

Да сапа ничем не гнушается, она подрабатывает по ночам ддосером. Платите деньги - отключат

[besdfase]

Вот именно этот непроизвольный ддос и расстраивает

[Последний Герой]

Сообщение от chahlic

придумала свой парметр в роботс.тхт

за что ей Яша скажет большое спасибо

надо создавать отдельный файл для сапе, который Яша не найдет

[BMG]

зачем создавать что-то дополнительное если можно использовать то, что уже есть...

[besdfase]

Было бы разумно. Тогда позволило бы держать больше сайтов на одном хостинге (опустим безопасность и етс).

[1373]

Сайт от сапы у меня не рухнет по двум причинам.
1. Безлимитный траффик.
2. Хостер особо назойливых перекрывает.
Так вот из-за второй причины ссылки практически постоянно в ерроре. Вынырнет и на дно. Соответственно доход две копейки в сутки. Ссылки на сайте прикованы как рабы на галерах. Неплохо было бы в настройках аккаунта сделать например такую опцию: Производить запрос 1 раз в минуту. Или что-то в этом роде.

[besdfase]

1373, а это и прописывается в Crawl-delay. Там вы сами выставляете параметры интервала в запросах. Мне 2 секунды на Яшку и 4 на всех остальных ПСботов хватило чтобы снизить нагрузку на хостера в 2-3 раза.

[zhegloff]

Сообщение от 1373

Производить запрос 1 раз в минуту

в час.

[besdfase]

zhegloff, по 1 страничке?

Сорри, не удержался.

[1373]

Сообщение от besdfase

1373, а это и прописывается в Crawl-delay. Там вы сами выставляете параметры интервала в запросах. Мне 2 секунды на Яшку и 4 на всех остальных ПСботов хватило чтобы снизить нагрузку на хостера в 2-3 раза.

Но для сапы файл ROBOTS.TXT, к сожалению, не указ. В теме это и обсуждается.

Добавлено через 38 секунд

Сообщение от zhegloff

в час.

В час это слишком.

Добавлено через 45 минут
И ещё. Я попробовал к сайту подключить площадки от трёх других компаний.
НИ ОДНОЙ ошибки. Возникает законный вопрос: почему?
Хотелось бы услышать компетентный ответ и обещание всё урегулировать. И очень не хотелось бы получить простой совет: вот с ними и работайте.