Старый 13.01.2009, 08:51   #1
Специалист
 
Регистрация: 05.10.2008
Сообщений: 157
Вес репутации: 150
Rublev - весьма и весьма положительная личностьRublev - весьма и весьма положительная личностьRublev - весьма и весьма положительная личность
По умолчанию Сапобот перестал заходить на сайты (?)

Так и знал, что придется создавать эту тему. Вчера возникло подозрение, что сапо-бот перестал заходить на сайты, сегодня это подозрение подтвердилось.

Вчера хостинг Majordomo забанил один из IP-адресов сапобота за чрезмерную нагрузку. Все ссылки выпали в ERROR. Вчера я недосчитался 300 руб, сегодня уже около 1000. Хотя саппорт Majordomo утверждает, что бан сапобота давно снят. И у меня нет оснований не доверять им, так как другие сайты, расположенные на этом же IP, ошибок не имеют.

Остаются только две причины для ERROR'ов - либо все сайты лежали в момент проверки, либо сапобот просто не заходил на сайты. Вчера я до полуночи следил за логами и пришел к выводу, что сапобот действительно не заходил на сайты - ни ночью, ни днем, ни вечером. Естественно все ссылки висят в ошибках и сейчас, причем помеченные вчерашним числом.

Кто-то возразит - а вдруг твои сайты действительно лежали в момент проверки? Отвечу - это очень маловероятно. Во-первых Majordomo очень стабильный хостинг, сайты лежат очень редко, а тем более сразу три на разных IP-адресах, в то время как другие сайты на этих же IP - в порядке. Во-вторых, сапобот не заходил и на другие сайты, расположенные вообще на других хостингах - ht-systems, ipsserver. Там висели одиночные ERROR'ы для новых ночных ссылок, и они провисели весь день до самой полуночи, хотя обычно исправлялись к вечеру. Я стал изучать логи этих других сайтов - и тоже не нашел там посещений сапобота. Сапобот более суток вообще отсутствовал на сайте. Естественно, одиночный ERROR не заметен на доходах, но когда их сотни...

Ссылки до сих пор висят в ERROR'ах, причем помеченные вчерашним числом 12 января. Проверил сегодняшние логи от 13 января - бот не заходил (если бы он зашел, даты ошибок сменились бы на 13.01 или вообще исчезли бы.)

Площадки - 201940, 230428, 266153.

На 99% процентов можно утверждать, что недоначисления на моих сайтах действительно связаны с тем, что сапобот не заходил на повторные проверки. (Один процент оставлю на случай, если Majordomo все еще не разбанил сапу, хотя по их словам, разбанили уже давно - другие сайты на этом сервере в порядке.)

Ждем комментариев от администрации - почему сапобот не заходит на повторные проверки сайтов и как теперь пересчитывать сегодняшние недоначисления?

P.S. Я понимаю, что эта тема "неудобна" для администрации, поэтому я весь вчерашний вечер и сегодняшнее утро проверял свои подозрения, пока не убедился, что сапобот действительно решил "отдохнуть". Сейчас еще раз проверил вчерашние логи на ht-systems, где сутки висел одиночный ERROR - бота не было. Значит, и тут я теряю деньги, хотя в общей массе это заметить сложно.
Rublev вне форума   Ответить с цитированием
Старый 13.01.2009, 09:26   #2
Мастер
 
Аватар для Sega
 
Регистрация: 15.03.2008
Адрес: Cayman Islands
Сообщений: 807
Вес репутации: 198
Sega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущееSega - прекрасное будущее
По умолчанию

а код проверяли? бот не ходит туда, где кода нет
Sega вне форума   Ответить с цитированием
Старый 13.01.2009, 09:32   #3
Новичок
 
Регистрация: 21.02.2008
Сообщений: 62
Вес репутации: 153
bubblegum скоро станет известен
По умолчанию

Тоже сегодня впервые за всю историю не получил начислений с одной крупной площадки, причина как у ТС много ссылок в error, хостинг - valuehost. Рад что кто-то описал проблему, утром смотрел - на форуме тишина, подумал что такая ерунда только у меня. Но есть площадки на других хостангах, там всё в порядке, думаю может был какой-то временный баг с маршрутизацией для некого сегмента интернета?
bubblegum вне форума   Ответить с цитированием
Старый 13.01.2009, 09:34   #4
Злой модератор
 
Аватар для Wink
 
Регистрация: 25.03.2007
Адрес: Deep forest
Сообщений: 5,346
Вес репутации: 458
Wink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущееWink - прекрасное будущее
По умолчанию

У меня все сайты на ht-systems. Никаких проблем с ботом. По логам последнее обращение было сегодня ночью, а предпоследнее вчера в районе обеда.
Цитата:
81.177.144.46 - - [13/Jan/2009:05:35:24 +0300] "GET /robots.txt HTTP/1.1" 200 301 "-" "SAPE.BOT is watching you!"
81.177.144.46 - - [13/Jan/2009:05:35:24 +0300] "GET / HTTP/1.1" 200 17144 "-" "SAPE.BOT is watching you!"
Wink вне форума   Ответить с цитированием
Старый 13.01.2009, 10:11   #5
Специалист
 
Регистрация: 05.10.2008
Сообщений: 157
Вес репутации: 150
Rublev - весьма и весьма положительная личностьRublev - весьма и весьма положительная личностьRublev - весьма и весьма положительная личность
По умолчанию

Цитата:
Сообщение от Sega Посмотреть сообщение
а код проверяли? бот не ходит туда, где кода нет
Ну, разумеется, код стоит везде, с самого начала работы.

Добавлено через 3 минуты
Цитата:
Сообщение от bubblegum Посмотреть сообщение
Тоже сегодня впервые за всю историю не получил начислений с одной крупной площадки, причина как у ТС много ссылок в error, хостинг - valuehost. Рад что кто-то описал проблему, утром смотрел - на форуме тишина, подумал что такая ерунда только у меня. Но есть площадки на других хостангах, там всё в порядке, думаю может был какой-то временный баг с маршрутизацией для некого сегмента интернета?
Может, у Вас и такая же проблема. Но - если бы бот не достучался до сайта, то в ошибках было бы написано: "2009-01-13 - страница не отвечает". А там до сих пор висит: "2009-01-12 страница не отвечает". Похоже, последние сутки бот попросту не стучался вообще.

Последний раз редактировалось Rublev; 13.01.2009 в 10:11. Причина: Добавлено сообщение
Rublev вне форума   Ответить с цитированием
Старый 13.01.2009, 10:18   #6
Новичок
 
Регистрация: 31.01.2007
Сообщений: 90
Вес репутации: 0
ruslan_1980 может только надеяться на улучшение
По умолчанию

ТС пишите в поддержку
ruslan_1980 вне форума   Ответить с цитированием
Старый 13.01.2009, 13:19   #7
Специалист
 
Регистрация: 05.10.2008
Сообщений: 157
Вес репутации: 150
Rublev - весьма и весьма положительная личностьRublev - весьма и весьма положительная личностьRublev - весьма и весьма положительная личность
По умолчанию

Цитата:
Сообщение от Wink Посмотреть сообщение
У меня все сайты на ht-systems. Никаких проблем с ботом. По логам последнее обращение было сегодня ночью, а предпоследнее вчера в районе обеда.
У меня вчера на ht-systems были одиночные ерроры, которые висели ровно сутки, хотя они всегда исчезали вечером. Это вызвало мои подозрения и я стал проверять логи - вчера бота не было весь день и весь вечер, появился он только сегодня утром (217.107.36.73). Значит, начислений за эти одиночные ерроры тоже не было. А если учесть, что эти одиночные ночные ерроры - это прямой глюк сапы, то многие систематически не получают эту часть начислений.

Но это все мелочи по сравнению с массовыми еррорами на мажордомо. Судя по всему, сапобот не стал вчера проверять ерроры на мажордомо, и они висят до сих пор с датой от 12 числа. Отсюда и массовые недоначисления -1000 руб с трех сайтов.

Я и раньше замечал, что сапобот любит иногда "прогуливать" проверки сайтов, но закрывал на это глаза, так как потери были невелики, а вчерашние и сегодняшние наблюдения показали, что его "прогулки" носят весьма систематический характер.

Ждем комментариев от ответственных лиц, и, конечно же, начислений за те ссылки, которые сапобот соизволил не проверять.

Добавлено через 2 минуты
Цитата:
Сообщение от ruslan_1980 Посмотреть сообщение
ТС пишите в поддержку
Учитывая скорость ответов обратной связи и ее невысокую квалификацию, не верю, что поддержка разберется. Последний раз мне отвечали две недели, с тех пор я разочаровался в них.

Вопрос горячий, поэтому надеемся решить все здесь.

Добавлено через 2 часа 55 минут
Итак, прошла уже большая часть этих суток, ерроры до сих пор висят.
Только что я еще раз спросил у саппорта Majordomo - точно ли разбанены IP сапобота и не лежали ли случайно мои сайты в последние двое суток? Ответ: "Сайты не лежали, айпи адреса не забанены, во всяком случае эти -
217.107.36.73
217.107.36.132
81.177.144.46
87.242.74.101
80.251.136.38 "

Хотя в этом и так не было сомнений, так как у меня на одном сервере в majordomo работают 7 сайтов, а ерроры висят только на трех.

Последний раз редактировалось Rublev; 13.01.2009 в 13:19. Причина: Добавлено сообщение
Rublev вне форума   Ответить с цитированием
Старый 13.01.2009, 19:36   #8
Новичок
 
Аватар для HomoSAPEns
 
Регистрация: 29.06.2008
Адрес: Минск, Беларусь
Сообщений: 51
Вес репутации: 149
HomoSAPEns скоро станет известен
По умолчанию

Сайт также хостится на Majordomo, сегодня заметил что начисленная сумма меньше обычной более чем на 50%, ссылок продается более 2000 поэтому иногда случается Erorre, но потом приходит дневной бот и происходят доначисления, сегодня не было возможности утром промониторить площадку в sape на наличие erorre, сейчас посмотрю в логах, что там твориться.
HomoSAPEns вне форума   Ответить с цитированием
Старый 13.01.2009, 20:19   #9
Администратор
 
Регистрация: 22.11.2006
Сообщений: 5,868
Вес репутации: 21475121
Avelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспоримаAvelon - репутация неоспорима
По умолчанию

Цитата:
Сообщение от Rublev Посмотреть сообщение

P.S. Я понимаю, что эта тема "неудобна" для администрации, поэтому я весь вчерашний вечер и сегодняшнее утро проверял свои подозрения, пока не убедился, что сапобот действительно решил "отдохнуть". Сейчас еще раз проверил вчерашние логи на ht-systems, где сутки висел одиночный ERROR - бота не было. Значит, и тут я теряю деньги, хотя в общей массе это заметить сложно.
действительно бот был 1 раз, я вижу.

разбираемся в проблеме

сегодня как я понимаю все ок у вас.
Avelon вне форума   Ответить с цитированием
Старый 13.01.2009, 20:24   #10
Эксперт
 
Регистрация: 13.05.2008
Сообщений: 7,498
Вес репутации: 341
Апокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущееАпокалипсис - прекрасное будущее
По умолчанию

Wink, +1000 ht-systems лучший хостинг - просто лучше я не встречал.
По теме. Я с мажордомо убежал по этой причине - проверяющий бот вешал мой проект, а техподдержка говорила что у меня тяжёлые скрипты. (хотя там все до байта мною отлажено).
Зарегал второй акк на ht-systems - дешевле в 2 раза мажоровского и поставил проект в подписи - ниразу не было ерроров. (просто я не думал что такой дешев. тариф выдержит целый чат).
На хостинге с MD каждый день терял 20% заработка.
Апокалипсис вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Перестал работать пароль armor Ошибки при работе с системой 0 25.11.2008 13:08
Яша перестал кушать китайцев? justworker Яндекс 4 15.10.2008 18:42
Перестал индексироваться сайт Astrol Яндекс 38 02.07.2008 03:06
Чегото google bot перестал заходить Kashey Google, MSN, Yahoo 0 28.09.2007 21:57
Яндекс перестал добавлять сайты на индексацию toropchin Яндекс 20 26.09.2007 11:39


Часовой пояс GMT +3, время: 01:52.