Совет по работе с ключевыми словами страницы

[Михаил)]

Здравствуйте! Прошу совету - помогите с алгоритмом:
Обрабатываю текстовый контент веб-страниц для получения наиболее часто повторяющихся слов и словосочетаний. Обрабатываются формы из одного, двух и трёх слов. Перед обработкой для чистоты текста из контента удаляются HTML-таги, в.т.ч. содержимое script, embed, комментарии.

Часто в результаты влазят словоформы из слов, бывших в разных местах страницы и не связанные между собой. Например:
"Подробнее" и "добавить комментарий" в очищенном тексте становятся рядом и воспринимаются как "Подробнее добавить" и "Подробнее добавить комментарий".

Вопрос: как разделить в тексте при очищении HTML-тэгов, текст, находившийся в разных местах страницы и не связанный между собой?

[Йода]

Никак. Ибо неправильный подход.
Сначала надо выделить значащие блоки текста.
Как- отдельный разговор. Можно по маркерам, можно еще както.
После того как вы их выделили- таких вопросов как ваш не возникнет в принципе, ибо "добавить комментарий" туда не попадет.

[Михаил)]

Т.к. анализ делается "на лету", не хотелось бы гонять несколько раз контент частями.

Вы навели меня на мысль - при очистке HTML, заменить некоторые теги (div, p, ? ) "кучей" пробелов. Таким образом поиск ключевых словосочетаний происходит также однократно, но не сливаются в словосочетания края разных текстовых блоков.