Нужен диапазон ip робота pr.sape или пятничные приколы

pufik · 30.05.2014, 15:22

Проблема такая, украинского хостера начали ДДосить и он запретил зарубежный трафик. В первый день не смог одобрить размещенные на моих сайтах заявки в pr.sape.ru, решил подождать, на второй день начали вываливаться эрроры в sape.ru и pr.sape.ru. Нашел диапазон роботов, дал хостеру, чтобы тот их разрешил, вроде разрешили, в sape.ru эрроры начали исчезать, а в pr.sape.ru нет и обзоры продолжают получать статус при проверке "Сервер недоступен". Получаем парадокс, один и тот же сайт - в обычной сапе все хорошо, в pr.sape.ru его заблокировали за эрроры...
Вчера вечером написал в саппорт сапы (29.05.2014 17:32:45) запрос на ip адрес бота, проверяющего обзоры, но до сих пор ответа нет... Впереди 2 выходных. Вопрос - закатить рукава и перенести основные сайты на новый хостинг, чтобы не потерять деньги на уже написанных 50 обзорах, но не одобренных системой или ждать с моря погоды (милости хостеров/снисхождения от саппорта)?

P.S. Самое смешное, что биржи ******* и ******* почему-то без проблем все одобряли и продолжают одобрять...

Nike99 · 30.05.2014, 16:29

pufik, я посмотрел, Вам в обратной связи написали адреса подсетей с которых заходят наши роботы, они используют весь диапозон адресов, поэтому приводятся в виде: 188.72.80.*, 193.232.121.*

Igor Vaskov · 31.05.2014, 14:04

Шикарно. А у нас главное, чтобы роботы сапы сайт посещали?
А то, что сайт не доступен пользователям, Гуглу, Яндексу - это как?
Лично я против того, что сайт доступен роботам и не доступен людям. В этом случае, совершенно правильно, должны быть error-ы и прекращено списание денег за ссылки.

zhegloff · 31.05.2014, 15:59

Цитата:

Сообщение от pufik

Вопрос - закатить рукава и перенести основные сайты на новый хостинг,

Да. Кому нужны ссылки с сайтов, которые доступны не всем?

Crazy_Nik · 06.06.2014, 12:57

1 запрос робота от sape

188.72.80.208 - - [05/Jun/2014:23:19:09 +0400] "GET / HTTP/1.1" 200 69912 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Потом робот sape скачивает 40 (!!!!) раз к файлу /robots.txt

188.72.80.208 - - [05/Jun/2014:23:19:15 +0400] "GET /robots.txt HTTP/1.1" 200 1327 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

И только потом начинает заходить и проверять страницы
естественно после такой атаки сервер испытывает перегруз и выдаёт ошибку 500

188.72.80.208 - - [05/Jun/2014:23:19:18 +0400] "GET /page.../ HTTP/1.1" 500 15928 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Кроме запросов от роботов на сайт заходят посетители с новостных агрегаторов и возможны пиковые нагрузки. А робот sape своими запросами к /robots.txt только усложняет ситуацию.

В результате около 10% всех размещенных заявок в статусе ошибка и площадка автоматически блокирована.

zhegloff · 06.06.2014, 18:07

Crazy_Nik, если у вас от 40 запросов к статическому текстовому файлу падает сервер, то стоит задуматся о его настройке.

Crazy_Nik · 06.06.2014, 20:06

Цитата:

Сообщение от zhegloff

если у вас от 40 запросов к статическому текстовому файлу падает сервер, то стоит задуматся о его настройке.

Файл генерируется автоматически из CMS по запросу. Файл robots.txt в корневой папке физически нет.
40 запросов к этому сгенерированному файлу производит в течение 2-3 секунд.
Потом сразу пытается открыть 3-4 страницы сайта, но получив ответ 500.
Повторяет десятки запросов к robots.txt и вновь попытка открыть другие страницы.
Так может повторяться несколько раз.

Обращаться к файлу robots.txt можно максимум раз в день или минимум раз в недель-месяц. Смысл его десятки раз запрашивать при открытии страниц сайта?

Igor Vaskov · 07.06.2014, 00:18

О! А я то думал, почему у меня периодически все ссылки в ERROR вылетают в сапе, несмотря на то, что они никуда не исчезали и не менялись.
А ведь у меня после такого запроса robots.txt веб- сервер просто на часок-другой блокирует шутника.
Программеры! Уймите свое поделие. Это не дело по 40 раз один файл запрашивать.

А по поводу формирования из системы robots.txt - это жесть. Руки поотрывать, кто такую CMS написал. Ну сформировал один раз и положи ты в корень и не парься.

30.05.2014, 15:22	#1
pufik Новичок Регистрация: 30.05.2014 Сообщений: 5 Вес репутации: 0	Нужен диапазон ip робота pr.sape или пятничные приколы Проблема такая, украинского хостера начали ДДосить и он запретил зарубежный трафик. В первый день не смог одобрить размещенные на моих сайтах заявки в pr.sape.ru, решил подождать, на второй день начали вываливаться эрроры в sape.ru и pr.sape.ru. Нашел диапазон роботов, дал хостеру, чтобы тот их разрешил, вроде разрешили, в sape.ru эрроры начали исчезать, а в pr.sape.ru нет и обзоры продолжают получать статус при проверке "Сервер недоступен". Получаем парадокс, один и тот же сайт - в обычной сапе все хорошо, в pr.sape.ru его заблокировали за эрроры... Вчера вечером написал в саппорт сапы (29.05.2014 17:32:45) запрос на ip адрес бота, проверяющего обзоры, но до сих пор ответа нет... Впереди 2 выходных. Вопрос - закатить рукава и перенести основные сайты на новый хостинг, чтобы не потерять деньги на уже написанных 50 обзорах, но не одобренных системой или ждать с моря погоды (милости хостеров/снисхождения от саппорта)? P.S. Самое смешное, что биржи ***** и ***** почему-то без проблем все одобряли и продолжают одобрять... Последний раз редактировалось Nike99; 30.05.2014 в 16:18.

30.05.2014, 16:29	#2
Nike99 Сотрудник Sape Регистрация: 13.11.2010 Сообщений: 2,295 Вес репутации: 251	pufik, я посмотрел, Вам в обратной связи написали адреса подсетей с которых заходят наши роботы, они используют весь диапозон адресов, поэтому приводятся в виде: 188.72.80., 193.232.121. __________________ "Научи дурака Богу молиться, — он себе лоб расшибёт."(с) Народная мудрость. "Голова на плечах есть. Вот бы еще мозгов немного..."(с).

06.06.2014, 18:07	#6
zhegloff Добрый модератор Регистрация: 09.07.2007 Адрес: глобус Украины Сообщений: 27,600 Вес репутации: 1025	Crazy_Nik, если у вас от 40 запросов к статическому текстовому файлу падает сервер, то стоит задуматся о его настройке. __________________ Установка кода сапы от $9.95. Пишите в личку. Правильный хостинг. В личке бесплатно не отвечаю обычно.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Пятничные сапосиськи	iFoxy	Курилка	2724	03.04.2024 02:23
Алгоритм робота Sape по индексации сайта	EvgenJekson	Вопросы по работе системы	3	11.11.2009 17:56
Количество запросов робота Sape с одного IP в минуту.	ancorid	Вопросы от новичков	0	10.11.2008 01:35
.masterhost банит робота sape?	Vitt	Вопросы по работе системы	27	05.06.2007 11:34

31.05.2014, 14:04	#3
Igor Vaskov Новичок Регистрация: 10.10.2010 Сообщений: 71 Вес репутации: 167	Шикарно. А у нас главное, чтобы роботы сапы сайт посещали? А то, что сайт не доступен пользователям, Гуглу, Яндексу - это как? Лично я против того, что сайт доступен роботам и не доступен людям. В этом случае, совершенно правильно, должны быть error-ы и прекращено списание денег за ссылки.

06.06.2014, 12:57	#5
Crazy_Nik Новичок Регистрация: 23.03.2014 Сообщений: 10 Вес репутации: 0	1 запрос робота от sape 188.72.80.208 - - [05/Jun/2014:23:19:09 +0400] "GET / HTTP/1.1" 200 69912 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" Потом робот sape скачивает 40 (!!!!) раз к файлу /robots.txt 188.72.80.208 - - [05/Jun/2014:23:19:15 +0400] "GET /robots.txt HTTP/1.1" 200 1327 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" И только потом начинает заходить и проверять страницы естественно после такой атаки сервер испытывает перегруз и выдаёт ошибку 500 188.72.80.208 - - [05/Jun/2014:23:19:18 +0400] "GET /page.../ HTTP/1.1" 500 15928 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" Кроме запросов от роботов на сайт заходят посетители с новостных агрегаторов и возможны пиковые нагрузки. А робот sape своими запросами к /robots.txt только усложняет ситуацию. В результате около 10% всех размещенных заявок в статусе ошибка и площадка автоматически блокирована.

07.06.2014, 00:18	#8
Igor Vaskov Новичок Регистрация: 10.10.2010 Сообщений: 71 Вес репутации: 167	О! А я то думал, почему у меня периодически все ссылки в ERROR вылетают в сапе, несмотря на то, что они никуда не исчезали и не менялись. А ведь у меня после такого запроса robots.txt веб- сервер просто на часок-другой блокирует шутника. Программеры! Уймите свое поделие. Это не дело по 40 раз один файл запрашивать. А по поводу формирования из системы robots.txt - это жесть. Руки поотрывать, кто такую CMS написал. Ну сформировал один раз и положи ты в корень и не парься.