Проблема с индексным поиском по документам

[boric]

Разработан индексный поиск по сайту. Морфология с лемами, лексемами и парадигмами, также расчет релевантности уже реализованы. В общем все работает и используется.

Но при большом количестве документов возникают проблемы с производительностью.

Проблема №1:

Имеется таблица соответствий "слово-документ", с двумя полями "word_id" и "document_id". По этой таблице можно определить какие слова в каких документах находятся. Оба с поля индексированные, поэтому можно мгновенно по слову получить список документов, в которых это слово содержится.

Но что делать с поисковой фразой из нескольких слов? Как сделать БЫСТРУЮ выборку документов, в которых содержатся одновременно все слова из искомой фразы?

Подчеркну: выборка должна работать быстро (доли секунды) при очень большом количестве строк в таблице (десятки-сотни миллионов).

Понимаю, что задача непростая, но мож быть кто-нибудь знает возможные пути решения?

[yayayagogogo]

Группировать документы имеющие эти несколько слов

[boric]

yayayagogogo

Группировать документы имеющие эти несколько слов

Имеете ввиду группировку sql-запросе? Щас посмотрю этот вариант по производительности и сравню со своими другими решениями.

[Atomic]

Я бы попробовал по тойже схеме: "фраза -документ"
Поработал бы над вариантами кеширования (например, кешировать запрос-ответ, все лучше чем множественные сканирования строк)
Попробовал бы уменьшить кол-во строк(даже в ущерб полноты поиска)
...

[yayayagogogo]

Atomic, Как быть с предложениями и если искомые слова находятся в разных местах документа?

[zhegloff]

СУБД какая?

[boric]

zhegloff,
Субд пока mysql5, но это не принципиально - в перспективе может быть любая.


yayayagogogo
С группировкой решение придумал: выборку документов, содержащих любое слово из фразы, буду группировать по полю word_id, ведя подсчет count(document_id) и выбирая только те записи, где count(document_id) равен количеству слов в фразе.
Позже сравню этот вариант с другими.

[yayayagogogo]

Какие есть другие варианты? То же хочется сравнить

[boric]

yayayagogogo,

Какие есть другие варианты? То же хочется сравнить

Например, через сравнение этой таблицы самой с собой по каждому слову из запроса, но этот вариант на фразах с количеством слов больше 5-6 тормозит по экспоненте, хотя на коротких фразах, пожалуй, самый быстрый.

Можно по очереди делать запросы для каждого слова, а потом делать пересечение выборки. В этом случае желательно учитывать частотность слов. На первый взгляд, это не лучший способ, но если не требуется полная "полнота" выборки, то появляются некоторые полезные возможности предварительного упорядочивания по некоторым статичным критериям.

[yayayagogogo]

Сообщение от boric

через сравнение этой таблицы самой с собой по каждому слову из запроса

Например из выборки по одному слову делается еще один SELECT в котором проверяется наличие другого слова по выборке прошлого слова?

Дайте пожалуйста SQL так понятнее будет