Старый 25.01.2009, 00:29   #1
Новичок
 
Регистрация: 05.01.2008
Сообщений: 32
Вес репутации: 168
Sea скоро станет известен
По умолчанию Робот Сапы и Crawl-delay

В поиске форума искал но не нашёл ответа...
Знаю что робот Сапы заглядывает в robots.txt. Смотрит ли он на дерективу Crawl-delay: 5 ?
При индексации некоторых моих сайтов они временно падают, нагрузка на сервер... Можно ли этой дерективой немного утихомирить робота Сапы?
Sea вне форума   Ответить с цитированием
Старый 25.01.2009, 03:21   #2
Добрый модератор
 
Аватар для zhegloff
 
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,611
Вес репутации: 994
zhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущее
По умолчанию

нет, не смотрит.
__________________
Установка кода сапы от $9.95. Пишите в личку.
Правильный хостинг.
В личке бесплатно не отвечаю обычно.
zhegloff вне форума   Ответить с цитированием
Старый 25.01.2009, 04:39   #3
Новичок
 
Регистрация: 05.01.2008
Сообщений: 32
Вес репутации: 168
Sea скоро станет известен
По умолчанию

Цитата:
Сообщение от zhegloff Посмотреть сообщение
нет, не смотрит.
Что не смотрит? Роботс?
Sea вне форума   Ответить с цитированием
Старый 25.01.2009, 04:48   #4
Пожиратель черепашкоВ
 
Аватар для chahlic
 
Регистрация: 24.12.2008
Адрес: Телемелетрямдия
Сообщений: 4,740
Вес репутации: 365
chahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущееchahlic - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Sea Посмотреть сообщение
...
Знаю что робот Сапы заглядывает в robots.txt...
Цитата:
Сообщение от Sea Посмотреть сообщение
...Смотрит ли он на дерективу Crawl-delay: 5 ?
...
Цитата:
Сообщение от zhegloff Посмотреть сообщение
нет, не смотрит.
Помоему, все понятно....
chahlic вне форума   Ответить с цитированием
Старый 25.01.2009, 18:38   #5
Новичок
 
Регистрация: 05.01.2008
Сообщений: 32
Вес репутации: 168
Sea скоро станет известен
По умолчанию

Теперь понятно
Значицо роботу Сапы никак нельзя дать понять, чтобы он потише работал )))
Sea вне форума   Ответить с цитированием
Старый 31.01.2010, 03:59   #6
Новичок
 
Аватар для BP13
 
Регистрация: 20.07.2007
Сообщений: 37
Вес репутации: 174
BP13 на пути к лучшему
По умолчанию

Кстати, тоже с этим испытываю проблемы. Плюсую за то, чтобы всё же поглядывал на эту директиву..
BP13 вне форума   Ответить с цитированием
Старый 31.01.2010, 04:37   #7
Вредина
 
Аватар для Jooz
 
Регистрация: 03.07.2007
Адрес: д.Коноплянка
Сообщений: 3,535
Вес репутации: 402
Jooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущее
По умолчанию

Нормальный хостинг брать нужно.
__________________
Чтобы произошло чудо нужно обязательно дунуть. Если не дунуть - чуда не произойдет!
Jooz вне форума   Ответить с цитированием
Старый 01.02.2010, 21:15   #8
Новичок
 
Регистрация: 05.01.2008
Сообщений: 32
Вес репутации: 168
Sea скоро станет известен
По умолчанию

Цитата:
Сообщение от BP13 Посмотреть сообщение
Кстати, тоже с этим испытываю проблемы. Плюсую за то, чтобы всё же поглядывал на эту директиву..
Сейчас эта проблема снялась. Робот Сапы стал аккуратнее )))))

Добавлено через 1 минуту
Цитата:
Сообщение от Jooz Посмотреть сообщение
Нормальный хостинг брать нужно.
Проблема может быть в самом движке и его настройках...

Последний раз редактировалось Sea; 01.02.2010 в 21:15. Причина: Добавлено сообщение
Sea вне форума   Ответить с цитированием
Старый 20.07.2010, 02:49   #9
Специалист
 
Регистрация: 11.08.2008
Сообщений: 128
Вес репутации: 163
romagromov скоро станет известен
По умолчанию Уменя вообще vps

У меня vps стоит. 1200 мб памяти. В спокойном режиме 500 занято. Когда заходит робот сапы - 1200 - дальше некуда. Сайты падают. Очень аккуратно выходит, а потом входит
romagromov вне форума   Ответить с цитированием
Старый 20.07.2010, 03:17   #10
Добрый модератор
 
Аватар для zhegloff
 
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,611
Вес репутации: 994
zhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущееzhegloff - прекрасное будущее
По умолчанию

Цитата:
Сообщение от romagromov Посмотреть сообщение
У меня vps стоит. 1200 мб памяти. В спокойном режиме 500 занято. Когда заходит робот сапы - 1200 - дальше некуда. Сайты падают. Очень аккуратно выходит, а потом входит
оптимизируйте скрипты.
__________________
Установка кода сапы от $9.95. Пишите в личку.
Правильный хостинг.
В личке бесплатно не отвечаю обычно.
zhegloff вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Робот сапы не видит установленный код karizma Установка кода на различные движки 7 16.07.2009 11:22
Индексирует ли робот сапы выпадающие ссылки в навигации??? iq2003 Вопросы от новичков 2 08.01.2009 16:18
робот сапы не видит ссылки stremlenie1 Ошибки при работе с системой 2 26.11.2008 13:22
Робот сапы не видит код на .narod.ru Эмка Ошибки при работе с системой 2 23.10.2008 11:47
Робот Сапы невидит страници кроме главной Konstantinus Установка кода на различные движки 2 20.03.2008 12:26


Часовой пояс GMT +3, время: 05:47.