28.07.2009, 08:28 | #1 |
Новичок
Регистрация: 27.05.2009
Сообщений: 4
Вес репутации: 0
|
Crawl-delay
Хотелось бы чтобы бот сапы учитывал Crawl-delay в robots.txt.
|
06.08.2009, 11:41 | #3 |
Bannеd
Регистрация: 17.09.2008
Сообщений: 6,446
Вес репутации: 374
|
а то что поисковые роботы индексирует быстрее не задумывались? мне как О совершенно не надо чтобы сылка висела в ОК, а поисковик видел 500-504.
я частенько ВС винком пересчитываю на купленных сайта и если вижу "--" (как правило 0 код - нет коннекта) сразу в ГБЛ как в вебмастере гоши? мне пожалуйста максимальную скорость для всех моих сайтов и сайтов, на которых я купил ссылки как О. |
07.08.2009, 19:02 | #5 |
Специалист
Регистрация: 19.01.2009
Адрес: вебмастеринг
Сообщений: 386
Вес репутации: 204
|
Лучше сайт оптимизруйте
__________________
|
10.08.2009, 16:32 | #7 |
Специалист
Регистрация: 19.07.2007
Сообщений: 239
Вес репутации: 215
|
Что то я не пойму - о какой скорости идет речь, вы хотите чтобы ваши сайты реже чем раз в день проверяли чтоли? Ну хорошо - проверяйте мой сайт раз в год - я не против... тема смахивает на бред...
P.S> Бот сапы не поисковик же и никому контент не выдает.... бр моск закипел |
10.08.2009, 17:58 | #8 | |
Специалист
Регистрация: 14.09.2007
Сообщений: 271
Вес репутации: 215
|
Цитата:
Речь идет о скорости сжирания страниц роботами поисковиков. Crawl-delay указывается в секундах. Бывает сайты падают на некоторое время из-за особо прожорливых ботов, особенно на обычных хостингах.
__________________
|
|
10.08.2009, 21:44 | #9 |
Новичок
Регистрация: 11.02.2009
Сообщений: 61
Вес репутации: 192
|
Atec Вы бы хоть сначала разобрались, зачем используется crawl-delay, прежде чем писать.
|
11.08.2009, 07:36 | #10 |
Пожиратель черепашкоВ
Регистрация: 24.12.2008
Адрес: Телемелетрямдия
Сообщений: 4,739
Вес репутации: 400
|
Мне кажется, если бы администрация САПы хотела, она давно бы придумала свой парметр в роботс.тхт, который только она учитывала, и соответственно, давала "сайту проср....".... И тем самым не запрашивала одновременно офигенно много страниц.
Но раз до сих пор не сделано, значит на то есть причины.
__________________
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот Сапы и Crawl-delay | Sea | Вопросы по работе системы | 10 | 13.02.2012 12:17 |
Часовой пояс GMT +3, время: 04:23.