Сапобот перестал заходить на сайты (?)

[Rublev]

Так и знал, что придется создавать эту тему. Вчера возникло подозрение, что сапо-бот перестал заходить на сайты, сегодня это подозрение подтвердилось.

Вчера хостинг Majordomo забанил один из IP-адресов сапобота за чрезмерную нагрузку. Все ссылки выпали в ERROR. Вчера я недосчитался 300 руб, сегодня уже около 1000. Хотя саппорт Majordomo утверждает, что бан сапобота давно снят. И у меня нет оснований не доверять им, так как другие сайты, расположенные на этом же IP, ошибок не имеют.

Остаются только две причины для ERROR'ов - либо все сайты лежали в момент проверки, либо сапобот просто не заходил на сайты. Вчера я до полуночи следил за логами и пришел к выводу, что сапобот действительно не заходил на сайты - ни ночью, ни днем, ни вечером. Естественно все ссылки висят в ошибках и сейчас, причем помеченные вчерашним числом.

Кто-то возразит - а вдруг твои сайты действительно лежали в момент проверки? Отвечу - это очень маловероятно. Во-первых Majordomo очень стабильный хостинг, сайты лежат очень редко, а тем более сразу три на разных IP-адресах, в то время как другие сайты на этих же IP - в порядке. Во-вторых, сапобот не заходил и на другие сайты, расположенные вообще на других хостингах - ht-systems, ipsserver. Там висели одиночные ERROR'ы для новых ночных ссылок, и они провисели весь день до самой полуночи, хотя обычно исправлялись к вечеру. Я стал изучать логи этих других сайтов - и тоже не нашел там посещений сапобота. Сапобот более суток вообще отсутствовал на сайте. Естественно, одиночный ERROR не заметен на доходах, но когда их сотни...

Ссылки до сих пор висят в ERROR'ах, причем помеченные вчерашним числом 12 января. Проверил сегодняшние логи от 13 января - бот не заходил (если бы он зашел, даты ошибок сменились бы на 13.01 или вообще исчезли бы.)

Площадки - 201940, 230428, 266153.

На 99% процентов можно утверждать, что недоначисления на моих сайтах действительно связаны с тем, что сапобот не заходил на повторные проверки. (Один процент оставлю на случай, если Majordomo все еще не разбанил сапу, хотя по их словам, разбанили уже давно - другие сайты на этом сервере в порядке.)

Ждем комментариев от администрации - почему сапобот не заходит на повторные проверки сайтов и как теперь пересчитывать сегодняшние недоначисления?

P.S. Я понимаю, что эта тема "неудобна" для администрации, поэтому я весь вчерашний вечер и сегодняшнее утро проверял свои подозрения, пока не убедился, что сапобот действительно решил "отдохнуть". Сейчас еще раз проверил вчерашние логи на ht-systems, где сутки висел одиночный ERROR - бота не было. Значит, и тут я теряю деньги, хотя в общей массе это заметить сложно.

[Sega]

а код проверяли? бот не ходит туда, где кода нет

[bubblegum]

Тоже сегодня впервые за всю историю не получил начислений с одной крупной площадки, причина как у ТС много ссылок в error, хостинг - valuehost. Рад что кто-то описал проблему, утром смотрел - на форуме тишина, подумал что такая ерунда только у меня. Но есть площадки на других хостангах, там всё в порядке, думаю может был какой-то временный баг с маршрутизацией для некого сегмента интернета?

[Wink]

У меня все сайты на ht-systems. Никаких проблем с ботом. По логам последнее обращение было сегодня ночью, а предпоследнее вчера в районе обеда.

81.177.144.46 - - [13/Jan/2009:05:35:24 +0300] "GET /robots.txt HTTP/1.1" 200 301 "-" "SAPE.BOT is watching you!"
81.177.144.46 - - [13/Jan/2009:05:35:24 +0300] "GET / HTTP/1.1" 200 17144 "-" "SAPE.BOT is watching you!"

[Rublev]

Сообщение от Sega

а код проверяли? бот не ходит туда, где кода нет

Ну, разумеется, код стоит везде, с самого начала работы.

Добавлено через 3 минуты

Сообщение от bubblegum

Тоже сегодня впервые за всю историю не получил начислений с одной крупной площадки, причина как у ТС много ссылок в error, хостинг - valuehost. Рад что кто-то описал проблему, утром смотрел - на форуме тишина, подумал что такая ерунда только у меня. Но есть площадки на других хостангах, там всё в порядке, думаю может был какой-то временный баг с маршрутизацией для некого сегмента интернета?

Может, у Вас и такая же проблема. Но - если бы бот не достучался до сайта, то в ошибках было бы написано: "2009-01-13 - страница не отвечает". А там до сих пор висит: "2009-01-12 страница не отвечает". Похоже, последние сутки бот попросту не стучался вообще.

[ruslan_1980]

ТС пишите в поддержку

[Rublev]

Сообщение от Wink

У меня все сайты на ht-systems. Никаких проблем с ботом. По логам последнее обращение было сегодня ночью, а предпоследнее вчера в районе обеда.

У меня вчера на ht-systems были одиночные ерроры, которые висели ровно сутки, хотя они всегда исчезали вечером. Это вызвало мои подозрения и я стал проверять логи - вчера бота не было весь день и весь вечер, появился он только сегодня утром (217.107.36.73). Значит, начислений за эти одиночные ерроры тоже не было. А если учесть, что эти одиночные ночные ерроры - это прямой глюк сапы, то многие систематически не получают эту часть начислений.

Но это все мелочи по сравнению с массовыми еррорами на мажордомо. Судя по всему, сапобот не стал вчера проверять ерроры на мажордомо, и они висят до сих пор с датой от 12 числа. Отсюда и массовые недоначисления -1000 руб с трех сайтов.

Я и раньше замечал, что сапобот любит иногда "прогуливать" проверки сайтов, но закрывал на это глаза, так как потери были невелики, а вчерашние и сегодняшние наблюдения показали, что его "прогулки" носят весьма систематический характер.

Ждем комментариев от ответственных лиц, и, конечно же, начислений за те ссылки, которые сапобот соизволил не проверять.

Добавлено через 2 минуты

Сообщение от ruslan_1980

ТС пишите в поддержку

Учитывая скорость ответов обратной связи и ее невысокую квалификацию, не верю, что поддержка разберется. Последний раз мне отвечали две недели, с тех пор я разочаровался в них.

Вопрос горячий, поэтому надеемся решить все здесь.

Добавлено через 2 часа 55 минут
Итак, прошла уже большая часть этих суток, ерроры до сих пор висят.
Только что я еще раз спросил у саппорта Majordomo - точно ли разбанены IP сапобота и не лежали ли случайно мои сайты в последние двое суток? Ответ: "Сайты не лежали, айпи адреса не забанены, во всяком случае эти -
217.107.36.73
217.107.36.132
81.177.144.46
87.242.74.101
80.251.136.38 "

Хотя в этом и так не было сомнений, так как у меня на одном сервере в majordomo работают 7 сайтов, а ерроры висят только на трех.

[HomoSAPEns]

Сайт также хостится на Majordomo, сегодня заметил что начисленная сумма меньше обычной более чем на 50%, ссылок продается более 2000 поэтому иногда случается Erorre, но потом приходит дневной бот и происходят доначисления, сегодня не было возможности утром промониторить площадку в sape на наличие erorre, сейчас посмотрю в логах, что там твориться.

[Avelon]

Сообщение от Rublev

P.S. Я понимаю, что эта тема "неудобна" для администрации, поэтому я весь вчерашний вечер и сегодняшнее утро проверял свои подозрения, пока не убедился, что сапобот действительно решил "отдохнуть". Сейчас еще раз проверил вчерашние логи на ht-systems, где сутки висел одиночный ERROR - бота не было. Значит, и тут я теряю деньги, хотя в общей массе это заметить сложно.

действительно бот был 1 раз, я вижу.

разбираемся в проблеме

сегодня как я понимаю все ок у вас.

[Апокалипсис]

Wink, +1000 ht-systems лучший хостинг - просто лучше я не встречал.
По теме. Я с мажордомо убежал по этой причине - проверяющий бот вешал мой проект, а техподдержка говорила что у меня тяжёлые скрипты. (хотя там все до байта мною отлажено).
Зарегал второй акк на ht-systems - дешевле в 2 раза мажоровского и поставил проект в подписи - ниразу не было ерроров. (просто я не думал что такой дешев. тариф выдержит целый чат).
На хостинге с MD каждый день терял 20% заработка.