Ошибки при проверке ссылок - взгляд со стороны хостинга.

[Omat]

Предлагаю посмотреть на проблему с другой стороны. Я - хостер.
В последнее время поступает много жалоб на ошибки при проверке ссылок. Код ошибки, как правило - "Страница не отвечает".
Проблемные пользователи расположены на разных серверах. На данный момент есть жалобы на 5 различных серверов. Каждый пользователь имеет выделенный IP.
Последняя жалоба (сегодня) относится к серверу, данные мониторинга которого я публикую:

Загрузка веб-сервера за сегодня:


...за вчера:


...за неделю:


...трафик за неделю (на всякий случай):


Тут нас больше интересует красное поле - время отклика веб-сервера. Как видно - никаких существенных проблем не наблюдалось.
Все боты находятся в белом списке и забанены быть не могут. И не банились - проверено по логам.

Пинг на ботов:
ping -c 1 217.107.36.73
PING 217.107.36.73 (217.107.36.73) 56(84) bytes of data.
64 bytes from 217.107.36.73: icmp_seq=1 ttl=52 time=188 ms

ping -c 1 217.107.36.132
PING 217.107.36.132 (217.107.36.132) 56(84) bytes of data.
64 bytes from 217.107.36.132: icmp_seq=1 ttl=52 time=189 ms

ping -c 1 81.177.144.46
PING 81.177.144.46 (81.177.144.46) 56(84) bytes of data.
64 bytes from 81.177.144.46: icmp_seq=1 ttl=52 time=187 ms

ping -c 1 87.242.74.101
PING 87.242.74.101 (87.242.74.101) 56(84) bytes of data.
64 bytes from 87.242.74.101: icmp_seq=1 ttl=58 time=176 ms

Трасса на 80.251.136.38 обрывается в Ростелекоме:
traceroute -n 80.251.136.38
traceroute to 80.251.136.38 (80.251.136.38), 30 hops max, 40 byte packets
1 67.228.4.33 0.615 ms 0.496 ms 0.476 ms
2 66.228.118.185 0.464 ms 0.456 ms 0.438 ms
3 208.43.118.194 204.071 ms * *
4 206.223.115.96 34.035 ms 34.049 ms 34.036 ms
5 87.245.232.1 174.757 ms 87.245.233.13 167.896 ms *
6 87.226.133.93 172.273 ms * *
7 * * 188.128.88.90 172.543 ms
8 * * *
9 * * *
10 * * *

Все сервера находятся в Далласе. Главный IP данного сервера: 67.228.4.37

[Omat]

Продолжу тему. Накопилась кое-какая статистика по доступности ботов и диспенсера:



80.251.136.38 стабильно не виден.

[Последний Герой]

вы собственно кто такой? какой хостинг?

[Omat]

Eskhosting http://www.eskhosting.ru/

[WebFX]

и что за скриптег?

[Omat]

Сообщение от WebFX

и что за скриптег?

Для мониторинга использовался ping + bash + RRD (если я правильно понял вопрос)

[Avelon]

спасибо. обязательно проанализируем.

[Hedgehog]

Из всех графиков можно сделать только один вывод: периодически есть проблемы со связью между рт-комм и далласом. К сожалению, повлиять на это мы никак не можем. У нас и так проверки идут из разных ДЦ и несколько раз в день.

У ваших клиентов эрроры всё время или только ночью, а потом всё ОК?

[Andrez]

Сообщение от Hedgehog

У ваших клиентов эрроры всё время или только ночью, а потом всё ОК?

Пользуюсь этим хостингом. Эрроры только ночью появляются и не на всех сайтах. Ближе к вечеру все рассасывается.

[Omat]

Обновил график (http://forum.sape.ru/showpost.php?p=497543&postcount=2)
Как видно, ситуация не изменилась. Связи с ботом 80.251.136.38 нет.
Ситуация с клиентами тоже не изменилась - ошибки появляются и исчезают. Появляются они, как правило - ночью, в течении дня они постепенно пропадают. Неужели 80.251.136.38 предназначен для индексации в ночное время?
Можно как-то определить - какой бот пытался проиндексировать страницу и сгенерировал ошибку "страница не отвечает"?

PS: Возможно, форум - не совсем подходящее место для подобных обсуждений, но других источников информации у меня нет.