25.01.2009, 00:29 | #1 |
Новичок
Регистрация: 05.01.2008
Сообщений: 32
Вес репутации: 204
|
Робот Сапы и Crawl-delay
В поиске форума искал но не нашёл ответа...
Знаю что робот Сапы заглядывает в robots.txt. Смотрит ли он на дерективу Crawl-delay: 5 ? При индексации некоторых моих сайтов они временно падают, нагрузка на сервер... Можно ли этой дерективой немного утихомирить робота Сапы? |
25.01.2009, 03:21 | #2 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
нет, не смотрит.
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
25.01.2009, 04:48 | #4 |
Пожиратель черепашкоВ
Регистрация: 24.12.2008
Адрес: Телемелетрямдия
Сообщений: 4,739
Вес репутации: 400
|
|
01.02.2010, 21:15 | #8 | |
Новичок
Регистрация: 05.01.2008
Сообщений: 32
Вес репутации: 204
|
Цитата:
Добавлено через 1 минуту Проблема может быть в самом движке и его настройках... Последний раз редактировалось Sea; 01.02.2010 в 21:15. Причина: Добавлено сообщение |
|
20.07.2010, 02:49 | #9 |
Специалист
Регистрация: 11.08.2008
Сообщений: 128
Вес репутации: 199
|
Уменя вообще vps
У меня vps стоит. 1200 мб памяти. В спокойном режиме 500 занято. Когда заходит робот сапы - 1200 - дальше некуда. Сайты падают. Очень аккуратно выходит, а потом входит
|
20.07.2010, 03:17 | #10 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
оптимизируйте скрипты.
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Робот сапы не видит установленный код | karizma | Установка кода на различные движки | 7 | 16.07.2009 11:22 |
Индексирует ли робот сапы выпадающие ссылки в навигации??? | iq2003 | Вопросы от новичков | 2 | 08.01.2009 16:18 |
робот сапы не видит ссылки | stremlenie1 | Ошибки при работе с системой | 2 | 26.11.2008 13:22 |
Робот сапы не видит код на .narod.ru | Эмка | Ошибки при работе с системой | 2 | 23.10.2008 11:47 |
Робот Сапы невидит страници кроме главной | Konstantinus | Установка кода на различные движки | 2 | 20.03.2008 12:26 |
Часовой пояс GMT +3, время: 12:45.