"Cапа и Мастерхост"-3: скоро на наших экранах?
 

Пришло письмо с от Мастерхоста. Полностью цитировать не буду, вот главное:

Я правильно понимаю, что нам (клиентам МХ) потенциально опять грозит волна эрроров? Может быть, можно как-то подстраховаться, пока еще есть время - скажем, впендюрить в интерфейс галочку "сапофобный хостинг", проставление которой означало бы, что проверять ссылки данного эккаунта желательно понежнее? (думаю, это не только клиентам МХ было бы полезно, просто МХ самый массовый).

Spieler, ну если так и будет, мне лишний повод перенести все-таки десяток проектов висящих на МХ...
жаль конечно) они там уже лет 8 висят...
а может и пора уже?)

Тогда пусть уж и оптимизаторов будет возможность поставить галочку при поиске площадок "Отображать площадки на сапофобном хостинге" или " Не отображать площадки на сапофобном хостинге"

Полный бред! Может еще создадим категорию "сайты которые боятся бана", "которые не любят говнопульт" и т.п. А вообще лучше взять себе нормальный хост и не парить мозг на счет ерроров.

сервер надо брать :)

оптимизируйте скрипты. проставляйте индексы в бд. и не мешало бы кешировать страницы - тогда они просто считаются с диска, не создавая при этом нагрузки на ЦП

Spieler, новый робот в разработке, но когда будет готов - не понятно.
Скажите, а если МХ забанит робота яши, вы тоже на яше галочку просить будете?

Такие системы (контроля нагрузки и выдачи 503 в случае превышения порогов) у многих хостеров стоят. Собственно, срабатывает это при перепрыгивании через планку максимально допустимых процентов пожирания проца. Посему, если сайт у Вас периодически не отрубают за превышение нагрузки, то и бояться особенно нечего. Ну а бороться с этим только оптимизацией скриптов можно. Как вариант - написать скриптик, который будет отдавать роботу сапы страницы с задержкой.

Что же это за суперхостинг такой, что такие письма шлет?!
Обычно, когда сервис разрастается, наоборот проблемы с доступностью стараются ликвидировать, а этот наоборот внедряет :D

Российский хостинг уныл, к сожалению. Проблемы есть у всех, остаётся под них только подстраиваться.

Ссылка в подписи :) VPS и VDS. Error-ов не наблюдаю.

Ну Яша как бы не заинтересован в том, чтобы ссылки на моих сайтах нормально отображались и работали, а Сапа - как-то хочется верить, что хоть немножко заинтересована и сама.

Добавлено через 2 минуты
Бред. Если вы не понимаете, о чем речь - то не надо бросаться сразу писать херню. ОК, поясню конкретику МХ etc: фишка в том, что ссылки на сайтах нормально стоят и отображаются, но вот в момент прохода проверяльщика - сайт выпадает в 503, т.к. хостер считает, что его перегружает именно проверяльщик (ну, типа, слишком много сразу запрашивает). Т.е., оптимизатор тут ну никак не в проигрыше.

Добавлено через 2 минуты
дадада. А оптимизатор будет как дурак сидеть ждать, когда же купленные им ссылки наконец-то пробьют кэш...

Добавлено через 1 минуту
хм... а сколько он ждать-то готов, тот робот?

Все верно описал.
Добавлено через 49 секунд
Кривое решение. Страдают оптимизаторы, да и вебмастера будут в непоняткох, откуда у них ЕРРОРЫ полезли.... Проходили уже.

тока автор данного "мудрого" предложения все же не я :)

Смените хостера, настройте, уберите, лишние скрипты, узнайте у хостера на всех ли тарифах нагрузка на CPU одинаковая, если нет, смените тариф. Вариантов куча. Сервер на крайний случай.

В курсе, не затер строчку первую :)

Секунду - точно. :) Вроде как и три сойдёт, но три не проверял.

Сапа в первую очередь заинтересована в том, чтобы проверить наличие ссылки и дать достоверную информацию оптимизатору.
А в наличии ссылки заинтересованы в первую очередь вы.


Робот ждет 15 секунд, потом пишет в базу "Нет доступа".

Я бы не рекомендовал этого делать, а вот кешировать результаты запросов к бд, особенно если база широкая, имхо полезно, но это, конечно, в самописных скриптах уместно. Хотя где-то можно и влезть в чужой, вопрос как обращения к бд реализованы.

Так наличие-то как раз соблюдается круглосуточно - за исключением нескольких секунд после начала проверочного обращения сапоробота. Кэш Яши тому свидетель.

А насчет кэширования и прочих оптимизационных заморочек - в предыдущие два раза эрроры валились даже на те сайты, где вообще нет никаких БД. Просто, видимо, сам по себе практически одновременный вызов порядка 10 000 копий скрипта sape.php и вызывает (мнимую, на мой взгляд) перегрузку хостера.

робот не вызывает сапе пхп. ни одного раза :)

Сапа может проверить это только одним способом - к вам приходит робот и смотрит на вашу страницу. Если на странице нет ссылок или страница не отдается - значит проверка не пройдена.

Spieler, при твоих объемах задумайся о колокейшене. Если надо - помогу.
Юзаю Мастерхост для размещения своего сервера. Дорого, но хорошо.
Есть более дешевые хостеры, естессн.
У меня колокейшн с полутора десятком доп айпишников съедает около 6000рэ в месяц.

? Он же вызывает страницы, которые его инклюдят?

Добавлено через 1 минуту
Вот если щас действительно опять случится ой-ой-ой, то реально задумаюсь, правда.
Я уже думал, но так лениво все хозяйство переносить...

Ну типа началось... У меня поперли эрроры на МХ.

2009-04-14 ссылка не найдена на странице или размещена вне тегов «body» или «html»

Пару дней назад отписал им заявку - попросил дать текущую статистику загрузки ЦП по своим проектам, для того, чтобы при необходимости что-то оптимизировать. Сказали что такой информации не дают.

Зараза...

. ;)

нет. Все нужное ВАШ сервер уже забрал у диспенера, и сапе.пхп ходит только до него. Это на предмет когда инклюдят.
А проверяльщику вообще положить на метод расстановки, хоть руками.
Это НЕ ошибка изза хостера. Если только он принудительно не отдавал по полстраницы...
Это ручная работа. Заходите в спецтему - на лечение.

Такая же фигня :(

Я уж не знаю - чего хостер там делал, но ссылки на странице стоят и никуда не девались.

Добавлено через 4 минуты
Упс... Посмотрел внимательнее - возможно, виноват не МХ, а подслеповатый бот. Все выпавшие в еррор ссылки - контекстные. Но на странице показываются.

Ну так ходит-то он когда? Когда страницу вызовут, правильно? А страницу вызывает - проверяльщик. Нет, люди, конечно, тоже вызывают - но далеко не с такой концентрированной интенсивностью.

Я все это к чему - в ситуации "перегрузка сервера" возможен только один общий вариант ответа - "оптимизируй скрипты"; так вот - нет у меня на ряде сайтов других скриптов, кроме сапе.пхп. Просто нет. А перегрузка - боюсь, что щас будет, т.к. за два года два раза так уже было. А сапе.пхп оптимизировать я не возьмусь :(

вызов sape.php не грузит сервер.
Его грузят посетители сайта, которые открывют странички вашего сайта, запрашивая инфу из вашей БД

Вроде пронесло. По крайней мере, уже два дня, как на МХ эту фигню включили, а эрроров пока как всегда около 1%. Если это связано с доработками проверяльщика - спасибо!

P.S. И, за поднятие паники - "извините, был взволнован" (с).

включить они видимо все же включили, сегодня пришло письмо от МХ где смотреть логи с нагрузкой
посмотрел логи, сапа грузит проц от 6,8 до 10,4% при допустимых 5%
Надеюсь, они отличат разовый всплеск нагрузки от обычной

Да, я тоже щас получил такое.

Хмм, насколько я понимаю, под "при отсутствии общей повышенной нагрузки на сервере" подразумевалось не "если ваш сайт вообще-то такой нагрузки не дает, а тока щас и случайно", а "если в момент перегрузки от вас другие сайты нас особо не грузят, и наш проц не перенапрягается, несмотря на превышение 5% от вас". То есть, никто не будет заниматься установлением справедливости и отличением "разового всплеска" от "обычной нагрузки": повезет - не отключат, не повезет - отключат. Как фишка ляжет.

т.е. грубо говоря, если робот зашел в гости не только ко мне, но и к моим соседям то пиши пропало?
кстати, в договоре на что они ссылаются вообще прописано 2,5%, но в логах фигурирует 5%

Посмотрим. Вероятность того, что именно робот зайдет именно одновременно на два сайта, живущие на одном компе, крайне мала, по-моему. Гораздо выше вероятность иметь просто косячных соседей с левыми скриптами.

Посмотрел свои логи. Сайт посещаемый, 10-12к уников в сутки. Превышения есть, но сапиных айпишников (по крайней мере заявленных) не нешел. Отписал в техсаппорт - попросил писать в логах урлы по которым было превышение (присоединяйтесь - мабуть пропинаем). Непонятно - в каких случаях идет превышение локалхоста.

ну собсно седня включили и мне ....сайт 8 часов в дауне ... офигенно

А вы ничего не путаете?

лучший способ борьбы с проблемами мастерхоста - уйти с мастерхоста.