Crawl-delay

[i-сapitalist]

Хотелось бы чтобы бот сапы учитывал Crawl-delay в robots.txt.

[xumuk]

+1000

Или что бы можно было в кабинете выбирать - скакой скоростью бот сапы будет индексировать страницы...

[Последний Герой]

а то что поисковые роботы индексирует быстрее не задумывались? мне как О совершенно не надо чтобы сылка висела в ОК, а поисковик видел 500-504.
я частенько ВС винком пересчитываю на купленных сайта и если вижу "--" (как правило 0 код - нет коннекта) сразу в ГБЛ

Сообщение от xumuk

Или что бы можно было в кабинете выбирать

как в вебмастере гоши? мне пожалуйста максимальную скорость для всех моих сайтов и сайтов, на которых я купил ссылки как О.

[besdfase]

И все же будет такое дело? Просто нагрузка идет весьма хорошая и хотелось бы запулить это в роботс.тхт

[EndyVelvet]

Сообщение от besdfase

И все же будет такое дело? Просто нагрузка идет весьма хорошая и хотелось бы запулить это в роботс.тхт

Лучше сайт оптимизруйте

[besdfase]

CAESARARTS, ну как вам сказать. Данный параметр в чем-то тоже является оптимизаторским.

[Atec]

Что то я не пойму - о какой скорости идет речь, вы хотите чтобы ваши сайты реже чем раз в день проверяли чтоли? Ну хорошо - проверяйте мой сайт раз в год - я не против... тема смахивает на бред...

P.S> Бот сапы не поисковик же и никому контент не выдает.... бр моск закипел

[BMG]

Сообщение от Последний Герой

а то что поисковые роботы индексирует быстрее не задумывались? мне как О совершенно не надо чтобы сылка висела в ОК, а поисковик видел 500-504.

Crawl-delay как раз и позволяет избежать 5xx.

Сообщение от Atec

Что то я не пойму - о какой скорости идет речь, вы хотите чтобы ваши сайты реже чем раз в день проверяли чтоли?

Речь идет о скорости сжирания страниц роботами поисковиков. Crawl-delay указывается в секундах. Бывает сайты падают на некоторое время из-за особо прожорливых ботов, особенно на обычных хостингах.

[Delarante]

Сообщение от Atec

Что то я не пойму - о какой скорости идет речь, вы хотите чтобы ваши сайты реже чем раз в день проверяли чтоли? Ну хорошо - проверяйте мой сайт раз в год - я не против... тема смахивает на бред...

P.S> Бот сапы не поисковик же и никому контент не выдает.... бр моск закипел

Atec Вы бы хоть сначала разобрались, зачем используется crawl-delay, прежде чем писать.

[chahlic]

Мне кажется, если бы администрация САПы хотела, она давно бы придумала свой парметр в роботс.тхт, который только она учитывала, и соответственно, давала "сайту проср....".... И тем самым не запрашивала одновременно офигенно много страниц.


Но раз до сих пор не сделано, значит на то есть причины.