Ошибки при проверке ссылок - взгляд со стороны хостинга.
 

Предлагаю посмотреть на проблему с другой стороны. Я - хостер.
В последнее время поступает много жалоб на ошибки при проверке ссылок. Код ошибки, как правило - "Страница не отвечает".
Проблемные пользователи расположены на разных серверах. На данный момент есть жалобы на 5 различных серверов. Каждый пользователь имеет выделенный IP.
Последняя жалоба (сегодня) относится к серверу, данные мониторинга которого я публикую:

Загрузка веб-сервера за сегодня:
http://www.eskhosting.ru/SAPE/cp6_apache_day.png

...за вчера:
http://www.eskhosting.ru/SAPE/cp6_apache_yesterday.png

...за неделю:
http://www.eskhosting.ru/SAPE/cp6_apache_week.png

...трафик за неделю (на всякий случай):
http://www.eskhosting.ru/SAPE/cp6_net_week.png

Тут нас больше интересует красное поле - время отклика веб-сервера. Как видно - никаких существенных проблем не наблюдалось.
Все боты находятся в белом списке и забанены быть не могут. И не банились - проверено по логам.

Пинг на ботов:
ping -c 1 217.107.36.73
PING 217.107.36.73 (217.107.36.73) 56(84) bytes of data.
64 bytes from 217.107.36.73: icmp_seq=1 ttl=52 time=188 ms

ping -c 1 217.107.36.132
PING 217.107.36.132 (217.107.36.132) 56(84) bytes of data.
64 bytes from 217.107.36.132: icmp_seq=1 ttl=52 time=189 ms

ping -c 1 81.177.144.46
PING 81.177.144.46 (81.177.144.46) 56(84) bytes of data.
64 bytes from 81.177.144.46: icmp_seq=1 ttl=52 time=187 ms

ping -c 1 87.242.74.101
PING 87.242.74.101 (87.242.74.101) 56(84) bytes of data.
64 bytes from 87.242.74.101: icmp_seq=1 ttl=58 time=176 ms

Трасса на 80.251.136.38 обрывается в Ростелекоме:
traceroute -n 80.251.136.38
traceroute to 80.251.136.38 (80.251.136.38), 30 hops max, 40 byte packets
1 67.228.4.33 0.615 ms 0.496 ms 0.476 ms
2 66.228.118.185 0.464 ms 0.456 ms 0.438 ms
3 208.43.118.194 204.071 ms * *
4 206.223.115.96 34.035 ms 34.049 ms 34.036 ms
5 87.245.232.1 174.757 ms 87.245.233.13 167.896 ms *
6 87.226.133.93 172.273 ms * *
7 * * 188.128.88.90 172.543 ms
8 * * *
9 * * *
10 * * *

Все сервера находятся в Далласе. Главный IP данного сервера: 67.228.4.37

Продолжу тему. Накопилась кое-какая статистика по доступности ботов и диспенсера:

http://www.eskhosting.com/SAPE/SAPE_week.png

80.251.136.38 стабильно не виден.

вы собственно кто такой? какой хостинг?

Eskhosting http://www.eskhosting.ru/

и что за скриптег?

Для мониторинга использовался ping + bash + RRD (если я правильно понял вопрос)

спасибо. обязательно проанализируем.

Из всех графиков можно сделать только один вывод: периодически есть проблемы со связью между рт-комм и далласом. К сожалению, повлиять на это мы никак не можем. У нас и так проверки идут из разных ДЦ и несколько раз в день.

У ваших клиентов эрроры всё время или только ночью, а потом всё ОК?

Пользуюсь этим хостингом. Эрроры только ночью появляются и не на всех сайтах. Ближе к вечеру все рассасывается.

Обновил график (http://forum.sape.ru/showpost.php?p=497543&postcount=2)
Как видно, ситуация не изменилась. Связи с ботом 80.251.136.38 нет.
Ситуация с клиентами тоже не изменилась - ошибки появляются и исчезают. Появляются они, как правило - ночью, в течении дня они постепенно пропадают. Неужели 80.251.136.38 предназначен для индексации в ночное время?
Можно как-то определить - какой бот пытался проиндексировать страницу и сгенерировал ошибку "страница не отвечает"?

PS: Возможно, форум - не совсем подходящее место для подобных обсуждений, но других источников информации у меня нет.