Ваш робот вешает мой сервак

[gorcer]

Страницы моего сайта генерируются динамически. Это блог в котором из базы подгружается текст.
Когда скрипт почти сразу пытается подгрузить сразу более ста страниц сервак виснет.

Хостинг у меня не виповский канечно. Но разве нет возможности сделать чтобы бот помедленей страницы перебирал?

[Avelon]

Сообщение от gorcer

Страницы моего сайта генерируются динамически. Это блог в котором из базы подгружается текст.
Когда скрипт почти сразу пытается подгрузить сразу более ста страниц сервак виснет.

Хостинг у меня не виповский канечно. Но разве нет возможности сделать чтобы бот помедленей страницы перебирал?

к сожалению практически нельзя. Или по крайней мере быстро это сделать тоже нельзя.

Если помедленнее то будем сутками проверять сайты.

вариант решения персонально для вас подсказали. Наши айпи указаны в links.db давайте им таймаут 2-3-5 секунд и все.

[timtroll]

to gorcer: Есть три варианта решения проблемы:

1. Поменять хостера, который имеет менее нагруженные сервера или более мощные сервера.

2. Поставить свой сервер только для своего проекта и самому администрировать его

3. Поменять движок сайта на другой, который не грузит сервер хостера при любом количестве запросов.

ЗЫ Ну, и наконец, можно написать сайт на html, тогда ничего, кроме сайта и его функционала менять не нуно

[zhegloff]

Послушайте совета - смените хостинг на нормальный. Или оптимизируйте ваши скрипты.... ибо как то у вас не очень хорошо все работает.

[gorcer]

Сообщение от Avelon

к сожалению практически нельзя. Или по крайней мере быстро это сделать тоже нельзя.

Если помедленнее то будем сутками проверять сайты.

вариант решения персонально для вас подсказали. Наши айпи указаны в links.db давайте им таймаут 2-3-5 секунд и все.

почемуто меня только сейчас осенило, что вы имели ввиду. Спасибо за то что повторились, действительно это выход. Я попробую. Спасибо.

[gorcer]

Проблема с ЕРРОРАМИ и загрузкой сервака решена.

Описание решения и скрипт здесь:
Решение проблемы с ЕРРОРАМИ в SAPE

[Lenka]

Замечаю, что эрроры бывают только при ночной проверке, а при дневной никогда.
У других тоже так? Как это можно объяснить?

[Wink]

Сообщение от keris

Подскажите, есть ли какое то решение(кроме смены хостера)

Самый доступный и бесплатный способ - настроить в движке кэширование страниц. Тогда нагрузка будет гораздо меньше и на базу данных и на процессор сервера.

[Sergeixp]

блин, в этой сетуации естьт всего 1 выход, этот сменить хостера, так как у большинства нормально, а у вас, что то не так! и при уходе крикнуть в ответ, что нельзя держатьт 1000 саитов на селероне с 512метрами памяти!!!

[klimov4382]

Сообщение от Sergeixp

блин, в этой сетуации естьт всего 1 выход, этот сменить хостера, так как у большинства нормально, а у вас, что то не так! и при уходе крикнуть в ответ, что нельзя держатьт 1000 саитов на селероне с 512метрами памяти!!!

Коллега, Вы не совсем правы. У меня выделенный сервер в Амхост, АМД 4000 Dual Core, 1 Гиг, 10 Мбит канал, и ложится сервак регулярно - каждый день 10% Ерров, которые к вечеру восстанавливаются.

Совместно с хостером боролся с этой проблемой, но причина недоступности страниц в тайм ауте, который ночью может достигать 20 сек, из-за критической загрузки MySQL. Как выяснилось, это бот Яху, который теперь эмулирует пользовательский заход при индексации, начинает открывать страницы, идет массированный запрос к базе данных, все страницы в свою очередь идут к раздатчику Сапе и дальше "по кругу".

При этом железо сервера загружено на 20% в самых критических случаях, так что дело здесь не в железе я думаю, а в ПО.

ИМХО, интересны Ваши комментарии по этому поводу!


Влад