Нападение робота-индексатора

[snooker]

Сообщение от Wink

Перекройте роботу доступ по IP, пока не разберутся.

Перекрыл, но ждать пока все выпадет в эррор не хочется. Надо как-то разбираться с неуправляемыми ботами.

[SeregaSV]

У меня та же самая фигня, только каждый день бот бегает под разными ip, блокировать бесполезно, может это не сапобот?, хавает по 100 метров трафика, помогите, а то выкинут с хостинга...

[RedPage]

А вить есть директива для бота которая прописывается в robots.txt

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

пускай сапу научат её понимать всем будет спокойней

Тут немного из хелпа:

Директива Crawl-delay
Задает таймаут в секундах, с которым поисковый робот закачивает страницы с вашего сервера (Crawl-delay).

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

[SeregaSV]

ниче не понял...что мне сделать с этим ботом? И бот сапы это или нет?

[Администрация 6-ой палаты]

Сообщение от RedPage

User-agent: *
Disallow: /search
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

хы, тогда как вести расчеты? в реальном времени не получится
будут задержки пока не проверит все страницы, а страниц бывает много

[RedPage]

Сообщение от Администрация 6-ой палаты

хы, тогда как вести расчеты? в реальном времени не получится
будут задержки пока не проверит все страницы, а страниц бывает много

Я просто рылся и вспомнил, что есть директива, ну а как она работает мне эти тонкости неизвестны

Я щас глянул у гоши это выглядит так:

0,5 запросов в секунду
2 сек. между запросами

Подымав нечего не понял, получается 0,5 страницы с интервалом в 2 сек

[FireWind]

Блин, сегодня такая же проблема - нагрузка из-за робота с этим же адресом 250%% - что за фигня.

Уважаемые админы SAPE, сделайте возможность вашему роботу понимать директиву Crawl-Delay и сообщите, какой User-Agent ставить для вашего бота - ну сил просто нету - такую нагрузку одномоментно создает, сервер того и гляди ляжет

[1373]

Да не мешало бы малость остепенить робота. Хостер перекрывает многочисленные обращения к серверу и ссылки вываливаются в статус ЕРРОР. Пообщался со службой поддержки, они мне посоветовали купить виртуальный сервер. А нафига он мне нужен? Я не готов отдавать 14 баксов в месяц.

[vedenyapin]

Сегодня вся площадка ушла в даун из-за робота Сапы.
3-4 запроса в секунду. Позвонил хостеру, тот корректно объяснил, что это не первый раз и не у меня одного. Почему боты Яндекса и Гугла так не флудят в логах как Сапа?

Товарищи разработчики усмирите бота!!!

[fortuna]

Это ппц, я сегодня с кучой своих сайтов наверно вырублю своего хостера, а он выкинет меня. СРОЧНО ПРИМИТЕ МЕРЫ