30.05.2014, 15:22 | #1 |
Новичок
Регистрация: 30.05.2014
Сообщений: 5
Вес репутации: 0
|
Нужен диапазон ip робота pr.sape или пятничные приколы
Проблема такая, украинского хостера начали ДДосить и он запретил зарубежный трафик. В первый день не смог одобрить размещенные на моих сайтах заявки в pr.sape.ru, решил подождать, на второй день начали вываливаться эрроры в sape.ru и pr.sape.ru. Нашел диапазон роботов, дал хостеру, чтобы тот их разрешил, вроде разрешили, в sape.ru эрроры начали исчезать, а в pr.sape.ru нет и обзоры продолжают получать статус при проверке "Сервер недоступен". Получаем парадокс, один и тот же сайт - в обычной сапе все хорошо, в pr.sape.ru его заблокировали за эрроры...
Вчера вечером написал в саппорт сапы (29.05.2014 17:32:45) запрос на ip адрес бота, проверяющего обзоры, но до сих пор ответа нет... Впереди 2 выходных. Вопрос - закатить рукава и перенести основные сайты на новый хостинг, чтобы не потерять деньги на уже написанных 50 обзорах, но не одобренных системой или ждать с моря погоды (милости хостеров/снисхождения от саппорта)? P.S. Самое смешное, что биржи ******* и ******* почему-то без проблем все одобряли и продолжают одобрять... Последний раз редактировалось Nike99; 30.05.2014 в 16:18. |
30.05.2014, 16:29 | #2 |
Сотрудник Sape
Регистрация: 13.11.2010
Сообщений: 2,295
Вес репутации: 251
|
pufik, я посмотрел, Вам в обратной связи написали адреса подсетей с которых заходят наши роботы, они используют весь диапозон адресов, поэтому приводятся в виде: 188.72.80.*, 193.232.121.*
__________________
"Голова на плечах есть. Вот бы еще мозгов немного..."(с). |
31.05.2014, 14:04 | #3 |
Новичок
Регистрация: 10.10.2010
Сообщений: 71
Вес репутации: 167
|
Шикарно. А у нас главное, чтобы роботы сапы сайт посещали?
А то, что сайт не доступен пользователям, Гуглу, Яндексу - это как? Лично я против того, что сайт доступен роботам и не доступен людям. В этом случае, совершенно правильно, должны быть error-ы и прекращено списание денег за ссылки. |
31.05.2014, 15:59 | #4 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1025
|
Да. Кому нужны ссылки с сайтов, которые доступны не всем?
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
06.06.2014, 12:57 | #5 |
Новичок
Регистрация: 23.03.2014
Сообщений: 10
Вес репутации: 0
|
1 запрос робота от sape
188.72.80.208 - - [05/Jun/2014:23:19:09 +0400] "GET / HTTP/1.1" 200 69912 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" Потом робот sape скачивает 40 (!!!!) раз к файлу /robots.txt 188.72.80.208 - - [05/Jun/2014:23:19:15 +0400] "GET /robots.txt HTTP/1.1" 200 1327 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" И только потом начинает заходить и проверять страницы естественно после такой атаки сервер испытывает перегруз и выдаёт ошибку 500 188.72.80.208 - - [05/Jun/2014:23:19:18 +0400] "GET /page.../ HTTP/1.1" 500 15928 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)" Кроме запросов от роботов на сайт заходят посетители с новостных агрегаторов и возможны пиковые нагрузки. А робот sape своими запросами к /robots.txt только усложняет ситуацию. В результате около 10% всех размещенных заявок в статусе ошибка и площадка автоматически блокирована. |
06.06.2014, 18:07 | #6 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1025
|
Crazy_Nik, если у вас от 40 запросов к статическому текстовому файлу падает сервер, то стоит задуматся о его настройке.
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
06.06.2014, 20:06 | #7 | |
Новичок
Регистрация: 23.03.2014
Сообщений: 10
Вес репутации: 0
|
Цитата:
40 запросов к этому сгенерированному файлу производит в течение 2-3 секунд. Потом сразу пытается открыть 3-4 страницы сайта, но получив ответ 500. Повторяет десятки запросов к robots.txt и вновь попытка открыть другие страницы. Так может повторяться несколько раз. Обращаться к файлу robots.txt можно максимум раз в день или минимум раз в недель-месяц. Смысл его десятки раз запрашивать при открытии страниц сайта? |
|
07.06.2014, 00:18 | #8 |
Новичок
Регистрация: 10.10.2010
Сообщений: 71
Вес репутации: 167
|
О! А я то думал, почему у меня периодически все ссылки в ERROR вылетают в сапе, несмотря на то, что они никуда не исчезали и не менялись.
А ведь у меня после такого запроса robots.txt веб- сервер просто на часок-другой блокирует шутника. Программеры! Уймите свое поделие. Это не дело по 40 раз один файл запрашивать. А по поводу формирования из системы robots.txt - это жесть. Руки поотрывать, кто такую CMS написал. Ну сформировал один раз и положи ты в корень и не парься. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Пятничные сапосиськи | iFoxy | Курилка | 2724 | 03.04.2024 02:23 |
Алгоритм робота Sape по индексации сайта | EvgenJekson | Вопросы по работе системы | 3 | 11.11.2009 17:56 |
Количество запросов робота Sape с одного IP в минуту. | ancorid | Вопросы от новичков | 0 | 10.11.2008 01:35 |
.masterhost банит робота sape? | Vitt | Вопросы по работе системы | 27 | 05.06.2007 11:34 |
Часовой пояс GMT +3, время: 02:11.