Решение вопросов нагрузки как на сервера SAPE, так и на сервера вебмастеров

[Последний Герой]

Сообщение от zhegloff

SellOut.Name, за такое можно бан пожизненный получить в системе.

zhegloff, где в правилах написано, что нельзя отдавать кешированную страницу с диска? где вообще написано каким образом сервер должен строить ответ? и нафига тогда особое размещение по фтп? собрать список на бан?

[zhegloff]

Сообщение от Последний Герой

zhegloff, где в правилах написано, что нельзя отдавать кешированную страницу с диска? где вообще написано каким образом сервер должен строить ответ? и нафига тогда особое размещение по фтп? собрать список на бан?

Я так понимаю, что товарищ отдает не кешированную страницу, а страницу, на которой, кроме ссылки сапы ничего нет. То бишь клоачит.

[Byte73]

Я согласен с коллегой Alexey, что переиндексация большого сайта в Сапе превращается в соревнование по проверке сайта на устойчивость против DOS атаки. Я - ВМ, в моем конкретном случае VDS с 1 Gb памяти, и он особенно не перегружен. Переиндексация сайтов, имеющих до 1500 страниц, проходит без ошибок. Как только доходит дело до сайта с 4000 страниц - в протоколе переиндексации сотни страниц помечены как ошибочные (при том что все они нормально отдаются с сервера за 0.3 - 0.5 сек). Эта ситуация воспроизводилась 2 раза, в сентябре и октябре 2011 г., до этого и этот сайт переиндексировался без проблем.
Тему я прочитал и скажу, что "тяжелых" страниц у меня нет, на всех сайтах преобладает простой текст, размер страниц до 50 кб.
Т.о. я, как ВМ, кажется, сделал все необходимое, чтобы страницы были доступны. Я считаю, что меры по уменьшению нагрузки на сайты при переиндексации были бы полезны. Подчеркну, что говорю именно о сравнительно редком процессе переиндексации, а не о постоянном процессе проверки ссылок.
Как это сделать - конструкторам Сапы виднее. Было предложение запрашивать старницы с одного сайта не чаще чем через 1.3 сек. Переиндексация большого сайта может затянуться на 10 суток - мне, как ВМ, это не важно, мне важно, чтобы процесс прошел без ошибок, чтобы новые страницы появились в системе - на радость оптимизаторам, самой Сапе... ну, и мне.

[ivan.rybin]

В общем вынужден поддержать коллег-ВМ, жалующихся на перегруз серверов проверкой ссылок от Sape. Сам держу все сайты, участвующие в системе на своём физическом сервере (дальше там идёт виртуализация, но это - не суть, т.к. они все на одной виртуалке).

И совершенно чётко видно как сервер прогибается около часа ночи, причём ежедневно. Появляющиеся ERROR-ы - в это самое время.

А учитывая, что ссылок там в сумме - тысяч 10 на около 20 сайтах и на некоторых из них - не 10 и не 20 страниц, то предложения от поддержки "оптимизируйте ваши сервера" - немного неуместно. По той простой причине, что если в этот самый час ночи происходит массовое обращение к тысячам страниц на одном физическом сервере - никакая оптимизация не спасёт - тут только тупо увеличение ресурсов. Даже разделение на несколько виртуальных серверов не поможет - несущий физический от этого "толще" не станет.

Не говоря о том, что это ненормальная работа системы - то есть увелечиние ресурсов для повседневной работы проектов не требуется, нагрузка на сервер не превышает 1 (для Unix). А в час ночи зашкаливает за 10.

Поэтому - огромная просьба к админам и разработчикам Sape - разнести проверку сайтов в одном аккаунте по времени! Ну или хотя-бы проверять сайты по очереди.

Да - на сервере все положенные оптимизации, вроде установки nginx и соответствуюшей настройки связки с apache выполнены. Занимаюсь этим не один год.