Робот Сапы и Crawl-delay

Sea · 25.01.2009, 00:29

В поиске форума искал но не нашёл ответа...
Знаю что робот Сапы заглядывает в robots.txt. Смотрит ли он на дерективу Crawl-delay: 5 ?
При индексации некоторых моих сайтов они временно падают, нагрузка на сервер... Можно ли этой дерективой немного утихомирить робота Сапы?

zhegloff · 25.01.2009, 03:21

нет, не смотрит.

Sea · 25.01.2009, 04:39

Цитата:

Сообщение от zhegloff

нет, не смотрит.

Что не смотрит? Роботс?

chahlic · 25.01.2009, 04:48

Цитата:

Сообщение от Sea

...
Знаю что робот Сапы заглядывает в robots.txt...

Цитата:

Сообщение от Sea

...Смотрит ли он на дерективу Crawl-delay: 5 ?
...

Цитата:

Сообщение от zhegloff

нет, не смотрит.

Помоему, все понятно....

Sea · 25.01.2009, 18:38

Теперь понятно

Значицо роботу Сапы никак нельзя дать понять, чтобы он потише работал )))

BP13 · 31.01.2010, 03:59

Кстати, тоже с этим испытываю проблемы. Плюсую за то, чтобы всё же поглядывал на эту директиву..

Jooz · 31.01.2010, 04:37

Нормальный хостинг брать нужно.

Sea · 01.02.2010, 21:15

Цитата:

Сообщение от BP13

Кстати, тоже с этим испытываю проблемы. Плюсую за то, чтобы всё же поглядывал на эту директиву..

Сейчас эта проблема снялась. Робот Сапы стал аккуратнее )))))

Добавлено через 1 минуту

Цитата:

Сообщение от Jooz

Нормальный хостинг брать нужно.

Проблема может быть в самом движке и его настройках...

romagromov · 20.07.2010, 02:49

У меня vps стоит. 1200 мб памяти. В спокойном режиме 500 занято. Когда заходит робот сапы - 1200 - дальше некуда. Сайты падают. Очень аккуратно выходит, а потом входит

zhegloff · 20.07.2010, 03:17

Цитата:

Сообщение от romagromov

У меня vps стоит. 1200 мб памяти. В спокойном режиме 500 занято. Когда заходит робот сапы - 1200 - дальше некуда. Сайты падают. Очень аккуратно выходит, а потом входит

оптимизируйте скрипты.

25.01.2009, 00:29	#1
Sea Новичок Регистрация: 05.01.2008 Сообщений: 32 Вес репутации: 214	Робот Сапы и Crawl-delay В поиске форума искал но не нашёл ответа... Знаю что робот Сапы заглядывает в robots.txt. Смотрит ли он на дерективу Crawl-delay: 5 ? При индексации некоторых моих сайтов они временно падают, нагрузка на сервер... Можно ли этой дерективой немного утихомирить робота Сапы?

25.01.2009, 03:21	#2
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1040	нет, не смотрит. __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

31.01.2010, 04:37	#7
Jooz Вредина Регистрация: 03.07.2007 Адрес: д.Коноплянка Сообщений: 3,535 Вес репутации: 447	Нормальный хостинг брать нужно. __________________ Чтобы произошло чудо нужно обязательно дунуть. Если не дунуть - чуда не произойдет! ツ

20.07.2010, 02:49	#9
romagromov Специалист Регистрация: 11.08.2008 Сообщений: 128 Вес репутации: 209	Уменя вообще vps У меня vps стоит. 1200 мб памяти. В спокойном режиме 500 занято. Когда заходит робот сапы - 1200 - дальше некуда. Сайты падают. Очень аккуратно выходит, а потом входит

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Робот сапы не видит установленный код	karizma	Установка кода на различные движки	7	16.07.2009 11:22
Индексирует ли робот сапы выпадающие ссылки в навигации???	iq2003	Вопросы от новичков	2	08.01.2009 16:18
робот сапы не видит ссылки	stremlenie1	Ошибки при работе с системой	2	26.11.2008 13:22
Робот сапы не видит код на .narod.ru	Эмка	Ошибки при работе с системой	2	23.10.2008 11:47
Робот Сапы невидит страници кроме главной	Konstantinus	Установка кода на различные движки	2	20.03.2008 12:26

25.01.2009, 18:38	#5
Sea Новичок Регистрация: 05.01.2008 Сообщений: 32 Вес репутации: 214	Теперь понятно Значицо роботу Сапы никак нельзя дать понять, чтобы он потише работал )))

31.01.2010, 03:59	#6
BP13 Новичок Регистрация: 20.07.2007 Сообщений: 37 Вес репутации: 220	Кстати, тоже с этим испытываю проблемы. Плюсую за то, чтобы всё же поглядывал на эту директиву..