Вопрос про Бота сапы

zuplov · 18.12.2010, 11:48

Скажите пожалуйста, можно ли как-то дозировать, при посещении сайта роботом сапы, количество запрашиваемых им страниц, типа как для яндекс-бота - задать таймаут - Crawl-delay: 4 ?

а то есть такая проблема, что хостинг не выдерживает такой нагрузки на сервер и отваливается, в результате индексируются не все страницы.

zhegloff · 18.12.2010, 11:50

нельзя. меняйте хостинг или оптимизируйте скрипты.

alex063 · 18.12.2010, 12:28

Цитата:

Сообщение от zuplov

Скажите пожалуйста, можно ли как-то дозировать, при посещении сайта роботом сапы, количество запрашиваемых им страниц, типа как для яндекс-бота - задать таймаут - Crawl-delay: 4 ?

а то есть такая проблема, что хостинг не выдерживает такой нагрузки на сервер и отваливается, в результате индексируются не все страницы.

Нафиг с такого хоста, если его даже робот сапы кладёт, в будущем с проблемами замучаетесь разбираться.

sdenisv · 20.12.2010, 12:35

Подскажите, где можно посмотреть/узнать ip-адреса ботов сапы?

zhegloff · 20.12.2010, 12:41

Цитата:

Сообщение от sdenisv

Подскажите, где можно посмотреть/узнать ip-адреса ботов сапы?

в первом сообщении этого топика или его наследников.

sdenisv · 20.12.2010, 12:47

Цитата:

Сообщение от zhegloff

в первом сообщении этого топика или его наследников.

спасибо! что-то как-то проглядел

18.12.2010, 11:48	#1
zuplov Новичок Регистрация: 09.12.2010 Сообщений: 21 Вес репутации: 0	Вопрос про Бота сапы Скажите пожалуйста, можно ли как-то дозировать, при посещении сайта роботом сапы, количество запрашиваемых им страниц, типа как для яндекс-бота - задать таймаут - Crawl-delay: 4 ? а то есть такая проблема, что хостинг не выдерживает такой нагрузки на сервер и отваливается, в результате индексируются не все страницы.

18.12.2010, 11:50	#2
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1025	нельзя. меняйте хостинг или оптимизируйте скрипты. __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Есть ли возможность сделать бота сапы менее шустрым?	borisow	Пожелания пользователей системы	2	21.06.2009 21:54
Вопрос по поводу SAPE-бота	KirillK	Ошибки при работе с системой	1	31.03.2009 21:02
Подскажите IP бота Сапы	bruner	Вопросы по работе системы	8	15.02.2009 10:42
Вопрос по Pr у Сапы	gualan	Курилка	2	29.09.2008 14:58
Срочно нужен ип или логин бота сапы	Atec	Вопросы по работе системы	4	05.08.2007 20:19

20.12.2010, 12:35	#4
sdenisv Новичок Регистрация: 06.07.2010 Сообщений: 2 Вес репутации: 0	Подскажите, где можно посмотреть/узнать ip-адреса ботов сапы?