Error/Ошибки. Сюда пишем!-3(Только проблемы ссылок! не видно, не начисляется и т.д.)

[zhegloff]

Сообщение от Dvbnhbq

Скажите, пожалуйста, куда должен прийти ответ на вопрос, отправленный на страничке FAQ-ов?
Мне не пришло никакого подтверждения куда-либо, что мой вопрос вообще куда-то пришел и кто-то им занимается...

Уведомление об ответах высвечивается на каждой странице красным цветом в левом верхнем углу.

Добавлено через 3 минуты
Историю общения с саппортом можно почитать на странице http://help.sape.ru/feedback

[AkaUfo]

Приветствую всех!
У меня возникла проблема и заключается она в следующем - недели три назад при утреннем обходе роботом моего сайта (5-6 часов утра по московскому времени) из 3000 ссылок, размещенных на моем сайте, стабильно 1400-1700 ссылок выпадает в ошибку (ошибка соединения с сервером). Затем, в течение дня, при повторных обходах робота, которые происходят приблизительно в 14 и в 18 часов, количество ошибок уменьшается и к концу дня все ссылки возвращаются к нормальному статусу.

Ответы на вопросы -
0 - Естественно.
1 - www.dailytechinfo.org и www.nnm-club.info
2 - ИТЛ, Харьков. Первый сайт стоит отдельно на VPS, второй - рядом с другим на отдельном сервере, мощностей которого хватает "за глаза".
3 - Проблемы начались с 10-х чисел этого месяца
4 - страница - http://www.dailytechinfo.org/militar...yu-raketu.html
2012-07-12 05:22:38 ошибка соединения с сервером
2012-07-16 23:59:59 URL заморожен оптимизатором
2012-07-18 06:06:35 ошибка соединения с сервером
2012-07-18 23:59:59 URL заморожен оптимизатором
2012-07-21 05:25:51 ошибка соединения с сервером
2012-07-21 23:59:59 URL заморожен оптимизатором
2012-07-22 05:27:53 ошибка соединения с сервером
2012-07-24 05:25:32 ошибка соединения с сервером

5 - Да, все отображается совершенно нормально. Сам лично проверял работоспособность сайта и наличие ссылок во время, когда осуществляется проверка роботом, когда возникают ошибки.
6 - Никого никогда сам не банил, хостер уверяет, что входящий траффик не фильтруется никоим образом. Добавлю, что на некоторых других площадках, расположенных в том-же датацентре и работающих с Sape, подобных проблем не наблюдается.
7 - Ошибок нет, ссылки отображаются нормально.
8 - до 559426 и после, размер не изменился.
9 - 1251
10 - 1251
11 - 1251
12 - нет, не все ссылки выпадают в ошибку, около половины, плюс минус двести ссылок. Никакой систематичности в появлении замечено не было, но может я ее и не заметил, все-таки ~1500 ошибок отследить трудновато.

http://www.dailytechinfo.org/space/6...-proxodit.html
http://www.dailytechinfo.org/nanotec...erzhdenie.html

13 - да, прописан с самого начала работы с Sape
14 - все понимаю.

В дополнение к всему сказанном -
Провел ряд мероприятий по ускорению работы веб-сервера и движка (DLE).
Удалил ненужные логи, перезагрузил сервер, поотключал ненужные модули в движке и сделал более тонкую настройку nginx. На ситуацию с ошибками это никак не повлияло.
Во время обхода сайта роботом загрузка процессора сервера не поднимается выше 5 процентов, памяти и других ресурсов хватает с избытком, сейчас используется максимум 25-30 процентов от доступного.
За работоспособностью сайта следит Яндекс.Метрика, сообщений о неработоспособности за указанный период не было.

Ну вот и все, надеюсь на помощь в решении проблемы.

[Ank]

AkaUfo, что пишут в логах вашего сервера, когда сапобот пишет о невозможности соединения?
показан лог злостного мигальщика, после просыпания обычно всегда есть ошибка....

[AkaUfo]

Ank,
Ну вот пример не самого злостного мигальщика -
http://www.dailytechinfo.org/energy/...toplivnyx.html

2012-07-12 05:22:39 ошибка соединения с сервером
2012-07-16 05:42:14 ошибка соединения с сервером
2012-07-18 06:06:36 ошибка соединения с сервером
2012-07-20 06:11:04 ошибка соединения с сервером
2012-07-20 23:59:59 URL заморожен оптимизатором
2012-07-21 05:25:51 ошибка соединения с сервером
2012-07-24 05:25:32 ошибка соединения с сервером

Если глянуть внимательно, то да, после манипуляций оптимизатора ошибка проявилась, но она вылезла и спустя три дня после, и вылазила ранее безо всяких толчков со стороны оптимизатора.

В логах сервера за сегодня есть только одно обращение к этой странице со стороны робота поисковика Bing
207.46.13.93 - - [24/Jul/2012:03:27:32 +0300] "GET /energy/67-new-holland-nh2-traktor-na-vodorodnyx-toplivnyx.html HTTP/1.1" 200 11435 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

О присутствии сапобота (его обращению к вышеупомянутой странице) я в логах упоминаний не нахожу ни в
localhost.access.log, ни в error.log

Добавлено через 11 минут
Кстати, в логах сервера есть множество фактов успешного обращения сапобота к страницам сайта

188.72.80.220 - - [24/Jul/2012:03:52:30 +0300] "GET /robots.txt HTTP/1.1" 200 362 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)"
188.72.80.220 - - [24/Jul/2012:03:52:31 +0300] "GET /news/464-novaya-texnologiya-bureniya-pozvolit-proniknut-v.html HTTP/1.1" 200 11089 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)"
188.72.80.220 - - [24/Jul/2012:03:52:32 +0300] "GET /robots/2296-punching-pro-robot-v-kachestve-bokserskogo-sparring-partnera.html HTTP/1.1" 200 13007 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)"
188.72.80.220 - - [24/Jul/2012:03:52:33 +0300] "GET /medic/1227-sverxminiatyurnyj-datchik-vesa-pozvolyaet-vzvesit-otdelnye-zhivye-kletki-i-prosledit-process-ix-rosta.html HTTP/1.1" 200 12465 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)"
188.72.80.220 - - [24/Jul/2012:03:52:34 +0300] "GET /news/2550-kompaniya-lytro-ustraivaet-revolyuciyu-v-oblasti-cifrovoj-fotografii.html HTTP/1.1" 200 12739 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)"

Странно то, что, судя по количеству ошибок, около половины обращений проходят нормально, вторая половина не доходит. При этом дальше все (ошибки) в течение дня устраняется.

Добавлено через 35 минут
Да, и еще обратил внимание на то, что последнее успешное обращение сапобота было в 05:25:08 по Мск.
188.72.80.220 - - [24/Jul/2012:04:25:08 +0300] "GET /military/706-radar-v-shleme-soldata-pozvolit-videt-v-temnote-i.html HTTP/1.1" 200 12309 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)"

Все обращения, которые происходили позже, ушли в ошибку. Вряд-ли это связано с точным временем, ибо в каждый день моменты "затыка" разные, вот последний такой момент, который имел место пару дней назад
188.72.80.220 - - [22/Jul/2012:04:34:56 +0300] "GET /news/405-konec-sveta-otkladyvaetsya-do-novogo-goda.html HTTP/1.1" 200 12043 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 7.1; Trident/5.0)"

[Ank]

Сообщение от AkaUfo

что последнее успешное обращение сапобота было

значит виноват не ваш сервер. Кто то ДО него рубит канал. Где искать врага - не знаю, попробуйте поиметь хостера для начала

[Francua]

Сообщение от Ank

значит виноват не ваш сервер. Кто то ДО него рубит канал. Где искать врага - не знаю, попробуйте поиметь хостера для начала

У меня примерно та же ситуация... с 30 июня каждое утро занимаюсь тем, что пишу в саппорт прошение, проверить сайты... отвечают в течение 20-60 минут перепроверка ссылок переводит их в статус ОК, до следующего утра. Из 10 сайтов размещенных на данном сервере с различной регулярностью вылетают 3-7 сайтов ежедневно

Трассировка с обеих сторон показала проблему не у хостера, и не у бота сапы, а где то между...

[Ank]

Сообщение от Francua

а где то между...

на что и намекал.... А вот как найти того кто между и починить его - не ведаю.

[zhegloff]

tigor95, http://help.sape.ru/sape/faq/186

[AkaUfo]

Сообщение от Ank

А вот как найти того кто между и починить его - не ведаю

А можно-ли каким-нибудь праведным или неправедным путем получить кусочек лога со стороны Sape, расшифровывающий подробности возникающей неприятности?

[Ank]

Сообщение от AkaUfo

праведным или неправедным путем получить

что либо подобное можно в ТП. Попробуйте там их попросить.