Вернуться   Форум SAPE.RU > Система SAPE.ru > Пожелания пользователей системы

-->
Ответ
 
Опции темы
Старый 17.07.2009, 11:27   #1
Новичок
 
Регистрация: 19.04.2009
Сообщений: 75
Вес репутации: 185
slar на пути к лучшему
По умолчанию Оптимизиция запросов к БД Sape

Давно работаю с тяжелыми БД и хорошо знаю, что если запросы неоптимизированы, то возникает дополнительная нагрузка на сервер баз данных, что очень часто приводит к ошибке 504.
Примеры неоптимизированных запросов Sape для ВМ (для О то же самое)
1. Работая, к примеру, со страницей №5, после разбора ссылок система возвращает тебя не на стр. №5, а на первую. Причина - не используются закладки.
2. Разбирая ссылки на странице одновременно можно выбрать только одну причину отказа. Это значит, что придется снова возвращаться к той же странице чтобы обработать другие ссылки на предмет другой причины отказа. Также легко решается.
3. Список страниц выдается как 1,2,3,4,5,6.... последняя. Вопрос - сколько нужно телодвижений (запросов к БД) чтобы попасть на стр. 16 ? Три.

В итоге: чтобы обработать ссылки на стр. 16 по трем критериям, мне приходится вместо одного запроса сделать девять! А это и есть источник дополнительной нагрузки на сервер баз данных со всеми вытекающими последствиями.
Примечание: увеличение числа выдаваемых строк со 100 стандартных до скажем 500, не только не решает проблему, но и усугубляет ее, т.к. нагрузка на сервер БД возрастает нелинейно от количества строк в выборке.
slar вне форума   Ответить с цитированием
Старый 17.07.2009, 11:41   #2
Bannеd
 
Регистрация: 17.09.2008
Сообщений: 6,446
Вес репутации: 369
Последний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущее
По умолчанию

Цитата:
Сообщение от slar Посмотреть сообщение
В итоге: чтобы обработать ссылки на стр. 16 по трем критериям, мне приходится вместо одного запроса сделать девять!
Вы не правы. 1 ссылка - 1 запрос. Независимо подтверждение, отказ или ГБЛ.
И разницы нет по 1 ссылке или все сразу.

Добавлено через 1 минуту
Что касается удобства возможности помечать ссылки разными метками (ОК, ГБЛ, ОТКАЗ) и нажимать кнопку 1 раз - полностью с вами согласен.

Добавлено через 31 секунду
Что касается страниц - так выводите больше ссылок на странице

Последний раз редактировалось Последний Герой; 17.07.2009 в 11:41. Причина: Добавлено сообщение
Последний Герой вне форума   Ответить с цитированием
Старый 17.07.2009, 11:44   #3
Новичок
 
Регистрация: 19.04.2009
Сообщений: 75
Вес репутации: 185
slar на пути к лучшему
По умолчанию

Цитата:
Сообщение от Последний Герой Посмотреть сообщение
Вы не правы. 1 ссылка - 1 запрос. Независимо подтверждение, отказ или ГБЛ.
И разницы нет по 1 ссылке или все сразу.
Естественно речь идет о блоке ссылок, а одна там ссылка или 10, конечно это один запрос. Так что все остается в силе.
slar вне форума   Ответить с цитированием
Старый 17.07.2009, 11:46   #4
Bannеd
 
Регистрация: 17.09.2008
Сообщений: 6,446
Вес репутации: 369
Последний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущее
По умолчанию

Цитата:
Сообщение от slar Посмотреть сообщение
Естественно речь идет о блоке ссылок, а одна там ссылка или 10, конечно это один запрос. Так что все остается в силе.
Не вижу разницы
UPDATE что-то WHERE id=чему-то LIMIT 1
делать блоком или поотдельности
запросов столько же
Последний Герой вне форума   Ответить с цитированием
Старый 17.07.2009, 12:29   #5
Новичок
 
Регистрация: 19.04.2009
Сообщений: 75
Вес репутации: 185
slar на пути к лучшему
По умолчанию

Цитата:
Сообщение от Последний Герой Посмотреть сообщение
Не вижу разницы
UPDATE что-то WHERE id=чему-то LIMIT 1
делать блоком или поотдельности
запросов столько же
Если Вы не видите разницы, тогда попробуйте в одном запросе откажите 3-м ссылкам
по причине не подходит текст и 10 ссылкам откажите с занесением в GBL. И сообщите как это Вам удалось сделать. А заодно, может покажете как за один прием попасть на стр. №16 из ссылок, помеченых, например OK.

Добавлено через 11 минут
Увеличивая число ссылок на странице в выводе Вы увеличиваете вероятность ошибки 504, как я говорил зависимость здесь нелинейная. Эту особенность баз данных обойти невозможно.

Последний раз редактировалось slar; 17.07.2009 в 12:29. Причина: Добавлено сообщение
slar вне форума   Ответить с цитированием
Старый 17.07.2009, 12:36   #6
Bannеd
 
Регистрация: 17.09.2008
Сообщений: 6,446
Вес репутации: 369
Последний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущееПоследний Герой - прекрасное будущее
По умолчанию

про удобство я уже говорил, что с вами согласен

про нагрузку на сервера сапы - она не снизится

Цитата:
Сообщение от slar Посмотреть сообщение
Увеличивая число ссылок на странице в выводе Вы увеличиваете вероятность ошибки 504
не верно
Последний Герой вне форума   Ответить с цитированием
Старый 17.07.2009, 12:39   #7
Новичок
 
Регистрация: 19.04.2009
Сообщений: 75
Вес репутации: 185
slar на пути к лучшему
По умолчанию

За ошибкой 504 могу предположить чаще всего скрывается превышение лимита времени на обработку запроса, что зависит в свою очередь как от самого запроса, так и количества других одновременно обрабатываемых запросов. И чем меньше ненужных дополнительных запросов, тем реже Вы будете видеть 504 ошибку. Конечно это только один из факторов, но это один из самых важных факторов. Пусть админы поправят, если это не так.

Добавлено через 1 минуту
Цитата:
Сообщение от Последний Герой Посмотреть сообщение
не верно
Аргументируйте!

Последний раз редактировалось slar; 17.07.2009 в 12:39. Причина: Добавлено сообщение
slar вне форума   Ответить с цитированием
Ответ


Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Статистика запросов в Гугле Al Pacino Google, MSN, Yahoo 1 21.03.2009 03:12
Количество запросов робота Sape с одного IP в минуту. ancorid Вопросы от новичков 0 10.11.2008 01:35
Статистика запросов K0rwin Контекстные ссылки и все, что с ними связано 0 02.02.2008 17:55
Оптимизиция размера страницы с сылками orko Пожелания пользователей системы 2 20.09.2007 17:56
Язык поисковых запросов Avish Пожелания пользователей системы 0 26.07.2007 20:06


Часовой пояс GMT +3, время: 14:06.