robot sape

[Krokus]

Я как то писал про систематические ERROR (страница не отвечает) разных страниц, которые стали появляться по утрам и исчезать после дневных проверок. Сайт старый давно в системе и на нём ничего не делалось за это время. Высказывалось много предположений о их происхождении, которые не подтвердились. Велась переписка с хостером, насчёт бана IP и так далее. По сотне раз вовремя индексации роботом sape просматривалась статистика доступа разных страниц сайта с разных стран. Всё показывало, что страницы живенько отвечают.
Количество ссылок между тем росло и уже после дневных проверок стали оставаться ERROR-ы.
Сегодня утром было более сотни, днём осталось 10.
Я глянул повнимательнее логи доступа и обнаружил, что бот sape слишком часто дёргает страницы.
Ну, например 10 запросов за 8 секунд по моему многовато. Или вот 50 запросов за 11 секунд - это уже перебор. id 51612

В связи с этим вопрос к администрации. Нельзя ли сделать так, чтобы робот не дёргал так часто сервер?

Отпишитесь у кого такая же проблема.

ps Please, не нужно в эту тему постить советы по смене хостера, предлагать выделенные сервера из личного курятника и т.п.

[klimov4382]

Коллега, наблюдал у себя аналогичную проблему в течении достаточно длительного времени.
По моему мнению причина была в слишком длительном ожидании ответа страницы боту Сапе на запрос, другими словами страница не отвечала вовремя.
Боролся с этой болезнью долго, но ничего не помагало, потом сам по себе выздоровел.
Мля, но в дополнение скажу, что запросов к базе My SQL во время одновременных апдейтов ПС и проверок Сапе создавалось столько, что сервер ложился и тихо умирал.

[Krokus]

Сообщение от klimov4382

Коллега, наблюдал у себя аналогичную проблему в течении достаточно длительного времени.
По моему мнению причина была в слишком длительном ожидании ответа страницы боту Сапе на запрос, другими словами страница не отвечала вовремя.

50 ответов за 11 секунд - это длительное ожидание? Очень смешно.

[big.bon]

Централизованно Системе лучше контролировать количество обращений в минуту на один IP-адрес сервера. Очень было бы полезно! Например, добавил одновременно 4 сайта на индексацию. В этот момент они все одновременно индексируются, и хостер на такой рост посещаемости реагирует неадекватно - временным баном подсети. В итоге сайты необходимо переиндексировать вручную.

Сделайте ограничение роботов Системы на один IP!

[poiuyt]

у себя наблюдал ситуацию в час ночи. сайт работал. зашел- проверил. дальше форум сапы. потом панел ВМ. вижу - все!! ссылки сайта отвалились. на сайте ничего не делал. зашел на сайт - он работает, ссылки нет. проверил через панельку сапы - написало что ссылки размещены. через пару часов ссылки вернулись в ок.

однозначно глюк сапы. вот только где - алгоритм работы или БД.
сегодня такая же ситуация повторилась на другом сайте, днем.

[Wink]

Скорость сканирования уменьшена не будет и об этом уже было написано - иначе робот не успеет обойти все сайты. Если ошибки возникают именно из-за этого (что далеко не факт еще, кстати) то там же были и полезные рецепты по этому поводу. Поиском то пользоваться никто не любит, и старые темы читать тоже, ага.

Сообщение от big.bon

Например, добавил одновременно 4 сайта на индексацию.

Ну так сам и виноват, значит. Куда спешить то?

[sergbond]

Сообщение от Wink

Скорость сканирования уменьшена не будет и об этом уже было написано - иначе робот не успеет обойти все сайты. Если ошибки возникают именно из-за этого (что далеко не факт еще, кстати) то там же были и полезные рецепты по этому поводу.

А зачем скорость сканирования снижать? Надо просто алгоритм слегка поправить: не все страницы подряд (подозреваю, что сейчас сделано именно так), а в разрядку: страница с прощадки А, Б, В и т.д.
Т.е., сделать нагрузку непиковой по отношению к площадкам.

PS: Решение в лоб: Сканировать страницы, номера которых заканчиваются на 0, потом на 1, потом на 2 и т.д.

[Krokus]

Сообщение от Wink

Скорость сканирования уменьшена не будет и об этом уже было написано - иначе робот не успеет обойти все сайты.

Скорость не при чём. Обычный ритм робота на моём сайте примерно 4-6 секунд. Потом вдруг начинает дёргать по 2-3 раза в секунду. Это то зачем? А потом вдруг начинает дрочить сервер ещё быстрее. 50 раз в 11 секунд - какая необходимость в такой скорости?

Если ошибки возникают именно из-за этого (что далеко не факт еще, кстати) то там же были и полезные рецепты по этому поводу. Поиском то пользоваться никто не любит, и старые темы читать тоже, ага.

Очевидно, что факт. Чем скоростней сервер, тем радостней робот его дёргает, тем быстрей попадает в бан. У меня один сайт на 30 центовом хостинге, тормозном донельзя. Вот там никаких Эрроров не наблюдал.
Я пользуюсь поиском и читаю старые темы. Подскажите, где вразумительные решения по этой проблеме?

[Lorenz]

нинаю, я добавлял 3 сайта одновременно с одного хостера, проблем не было, не пинайте ногами, но проблема в хостере, на мой взгляд..(

[Hanapi]

Длительно время у себя наблюдал аналогичные эрроры - вылечил перемещением блока сТсылок выше по коду страницы, придя к выводу, что (парадоксально, но факт) бот сапы просто не дожидается пока страница догрузится и бежит дальше, а в момент икс бот нагружает сам сервак так лихо, что тот начинает тормозить и генерить страницы по 50-60 миллисекунд. Кто-то из админов пояснил, что бот ждет не более 30 миллисекунд. Так что пробуйде перекинуть ссылки повыше..