Время ERROR'ов

[Апокалипсис]

sergbond, представте сколько страниц в системе
Естественно нагрузка будет - сейчас просто 2 типа ерроров - и пишется в базу единичка или двойка что особую нагрузку не создает. А тут заголовки писать и дату.

[Rublev]

Указывать дату и время ошибки нужно обязательно. Тому есть еще одна малоизвестная причина - сапобот иногда "прогуливает" вечерние проверки сайтов, но вебмастер может узнать об этом только по логам сайтов, что не очень удобно. Если утром вы видите ерроры (не важно по какой причине), а потом сапобот "забыл" сделать вечернюю проверку, то вы гарантированно останетесь без начислений за этот день. Если будет указываться не только дата, но время ошибки, то сразу будет видно, что сапобот сделал "прогул". А сейчас вебмастер даже не подозревает, что его ошибки висят целые сутки только лишь из-за глюков сапобота.

Короче, дата и время ошибки крайне необходимы для вебмастеров.

[tuders]

Нужно время.
И если делать, то ещё время для унслипов и полный лог для слипов.
Чтобы всё было единообразно.

[sergbond]

Сообщение от Апокалипсис

sergbond, представте сколько страниц в системе
Естественно нагрузка будет - сейчас просто 2 типа ерроров - и пишется в базу единичка или двойка что особую нагрузку не создает. А тут заголовки писать и дату.

Абисняю
1. В базу-то статус страниц пишется не одномоментно, а по мере обхода страниц роботами, не? Т.е., нагрузка на базу практически не возрастает (будет не одно поле писаться, а три - это семечки)
2. Дату писать может сам SQL-сервер - это так же снимает часть нагрузки.

Единственное тонкое место которое я вижу - робот должен дождаться заголовков от сайта, но он ведь и так это делает, нес па?

[replicant]

Конечно это было бы очень полезно, но этим воспользуются и горе вебмастера, которые точно будут знать время обходов сайтов сапо-роботом и моргать с ним в такт.

[webm17]

Пожелание, которое я пишу, тесно связано с этой темой. В настоящее время сапобот ломится с одного и того же адреса IP на все страницы сайта, причём с такой интенсивностью, что, увы, многие хостинги воспринимают это за DoS. Можно много говорить о том, что для многих хостингов это не проблема, но действительно это не проблема только для нескольких московских хостингов, не обременённых промежуточными каналами связи с Сапой. Вчера ночью сапобот не в первый раз уложил все страницы основного сайта в ERROR, потом были всем заметные внутренние проблемы на Сапе, вечерней проверки не было, и сегодня я лишился дневного заработка с сайта тИЦ 425. Сайт до сих пор в ERROR.
Вот интересно: на что надеялся автор алгоритма обхода сапоботом, при получении кода "Страница не отвечает", продолжая ломиться с того же IP? Причин может быть 3: этот IP временно забанен у хостера (наибольшая вероятность), сервер лежит (оставшаяся наибольшая вероятность), вебмастер удалил эту страницу/сайт (вероятность гораздо менее 1%). Почему при получении такого кода не производится ротация адресов сапобота, которых целых 5? Почему ротация не производится при обычной проверке? С исключением, например, на сутки, отдельного IP, если был получен код, который может интерпретироваться как блокировка IP-адреса. При ротации, во-первых, будет гораздо ниже вероятность словить блокировку IP-адреса от хостера из-за кажущегося DoS-а, во-вторых, не будет 100% эрроров, когда сайт доступен. Вчера сайт был доступен для 3000 уников, если смотреть серверную статистику. Стоит счётчик li, который тоже показывает нормальную посещаемость. А Сапа, видение которой при проверке сайтов ограничено одним IP-адресом, занимает в алгоритме сапобота максимально выгодную оптимизаторам позицию, максимально способствующую "субботникам" на сайтах. Почему нельзя сделать в sape.php добавку, что, когда страница получила статус эррор, при заходе на неё посетителя в первый раз после получения этого статуса отправить запрос на перепроверку с другого IP, а не того, который уложил сайт в эррор? Ведь нечто похожее реализовано для отсутствующего links.db, и тут Сапа занимает предельно лояльную позицию для оптимизаторов - файл (при его отсутствии) закачивается при первом же обращении на любую страницу сайта, где установлен код Сапы. Почему такое неравенство в отношении Сапы к оптимизаторам и вебмастерам?

[Al Pacino]

мне не нужно знать какое время эррора.

[webm17]

Сообщение от replicant

Конечно это было бы очень полезно, но этим воспользуются и горе вебмастера, которые точно будут знать время обходов сайтов сапо-роботом и моргать с ним в такт.

Во-первых, ничего не мешает моргать и сейчас, без указания времени ошибки Сапой. Во-вторых, если в вебмастере как человеке есть ментальная гниль, то технический способ показать её окружающим всегда найдётся. А из-за чьих-то пороков не улучшать функционал - ну, тогда можно далеко зайти...

[maxim77]

Нужно, если при этом будет ответ сервера, а то как понять?