Crawl-delay
 

Хотелось бы чтобы бот сапы учитывал Crawl-delay в robots.txt.

+1000

Или что бы можно было в кабинете выбирать - скакой скоростью бот сапы будет индексировать страницы...

а то что поисковые роботы индексирует быстрее не задумывались? мне как О совершенно не надо чтобы сылка висела в ОК, а поисковик видел 500-504.
я частенько ВС винком пересчитываю на купленных сайта и если вижу "--" (как правило 0 код - нет коннекта) сразу в ГБЛ

как в вебмастере гоши? мне пожалуйста максимальную скорость для всех моих сайтов и сайтов, на которых я купил ссылки как О.

И все же будет такое дело? Просто нагрузка идет весьма хорошая и хотелось бы запулить это в роботс.тхт

Лучше сайт оптимизруйте

CAESARARTS, ну как вам сказать. Данный параметр в чем-то тоже является оптимизаторским.

Что то я не пойму - о какой скорости идет речь, вы хотите чтобы ваши сайты реже чем раз в день проверяли чтоли? Ну хорошо - проверяйте мой сайт раз в год - я не против... тема смахивает на бред...

P.S> Бот сапы не поисковик же и никому контент не выдает.... бр моск закипел

Crawl-delay как раз и позволяет избежать 5xx.

Речь идет о скорости сжирания страниц роботами поисковиков. Crawl-delay указывается в секундах. Бывает сайты падают на некоторое время из-за особо прожорливых ботов, особенно на обычных хостингах.

Atec Вы бы хоть сначала разобрались, зачем используется crawl-delay, прежде чем писать.

Мне кажется, если бы администрация САПы хотела, она давно бы придумала свой парметр в роботс.тхт, который только она учитывала, и соответственно, давала "сайту проср....".... И тем самым не запрашивала одновременно офигенно много страниц.


Но раз до сих пор не сделано, значит на то есть причины.