Робот сапы перегружает сервер провайдера!

[ahsinis]

да не надо сравнивать поисковые роботы и робот сапы.
поисковые роботы могут приходить раз в месяц, скачать несколько страниц и все.
сапа скачивает сайт два раза в сутки
вопрос только - почему сайт надо скачивать за несколько минут, вызывая "раздражения хостеров"

[Последний Герой]

Сообщение от ahsinis

вопрос только - почему сайт надо скачивать за несколько минут, вызывая "раздражения хостеров"

текущий робот сапы берет только 1 страницу с сайта за раз
можно просто умышленно замедлить ответ вставив в конец скрипта flush и sleep, а значит замедлится и сканирование сайта

[www32]

объясните, почему боты Sapient Solution не могут сканировать страницы разных пользователей рандомно, так как это делают УМНЫЕ боты поисковых систем?

И не говорите мне, что боты поисковиков заходят раз в неделю и индексируют пару страниц. Возможно это и правда для говносайта, но у меня информационные ресурсы, на которых за сутки появляются десятки тысяч новых страниц и практически моментально они появляются в результатах поиска Гугле, а через какое-то время и в других поисковиках. Нагрузка на сервер нормальная, только во время сканирования сапой возникают пиковые нагрузки. Это не перегружает сервер и не останавливает работу сайтов, но реальные проблемы возникнут тогда когда такая пиковая нагрузка от сапы будет случайно накладываться на другие нагрузки.

Это же максимум день работы, а в результате будут счастливы тысячи пользователей, десятки хостеров, служба поддержки Сапы не будет получать сообщений и жалоб об Errors на площадках, на форуме можно будет закрыть целый раздел из-за отсутствия проблем.

[ahsinis]

www32, потому что гуглу "по-барабану", когда он просканирует ваши страницы, вот он и раскидывает посещения на протяжении суток.
А сапа "обязана" просканировать два раза в сутки (Сетлинкс вон заявляет, что каждый час ссылки проверяет). Согласитесь, маленько разные задачи?

[zhegloff]

Сообщение от www32

Это же максимум день работы,

Сразу видно профессионального программиста...

Разработка нового робота идет, но это не день и не неделя работы.

[nickolas]

Речь же не о том, чтобы замедлить работу сапабота, а о том, чтобы рендомно делать проверки страниц РАЗНЫХ сайтов, а не подряд идти по сайту с максимальной скоростью...

Добавлено через 48 секунд

Разработка нового робота идет, но это не день и не неделя работы.

Спасибо большое, это и хотелось услышать! )

[Последний Герой]

Сообщение от nickolas

чтобы рендомно делать проверки страниц РАЗНЫХ сайтов

1) увеличится нагрузка на ЦП
2) как построить такую очередь проверки, если ссылки постоянно покупаются и снимаются? это непростая задача. единственное решение пришедшее мне в голову, которое подходит для таких размеров проверки, это создать в базе еще один индекс - md5-сумму от айди страницы - тогда в обычном лексикографическом порядке по md5 страницы будут расположены хаотически, но это плохое решение

P.S. возникает интересный вопрос, а как найти такой порядок для md5-хешей, в котором исходные данные (наименьшая последовательность данных соответствующая хешу) идут в обычном лексикографическом порядке.

[Последний Герой]

Сообщение от slva200

Это будет обозначать, что любой БОТ попадая на ваш сайт

это делает robots.txt недействительным и все

[pinkponk]

другие сайты работают. надо попробывать уменьшить кол-во ссылок

[Grand1234]

Сообщение от Последний Герой

это делает robots.txt недействительным и все

С какого такого перепугу?

http://webmaster.ya.ru/replies.xml?item_no=1338