Определение тематики текстов. Интересны ваши предложения.

[boric]

Йода
Скажите, а для чего вы собираетесь использовать распознавание тематик? Я в смысле - стоит ли игра свеч?

Мне эта тема тоже была интересна. Самый простой способ - это использовать простой обучающийся оператором алгоритм на основе вычисления вероятностей отнесения слов к той или иной теме. Это легко реализовать, но этот метод не будет работать для связки слов. Например, словосочетание "звездные войны" он скорее отнесет к астрономии или политике, а не к кинофильмам. Разве что другие термины перевесят. С этой задачей может справиться нейронная сеть, но нейронная сеть - это черный ящик, невозможно увидеть картину принятия решения.

Еще есть проблема омонимии, но она меня меньше беспокоит - эту проблему частично можно решить простыми методами.

А за схему "подлежащее-сказуемое-причастие.." можно взяться для английского языка, а для русского имхо нереально. Я видел в инете корявые решения синтаксического анализа, но они все же предполагают грамотный текст на входе. А кто ж у нас пишет грамотно?... Тупик.

[Йода]

Сообщение от boric

для чего вы собираетесь использовать распознавание тематик?

Эта штука полезная во многих смыслах. От проверки доноров до ролуавтоматического генерирования текстов.

Сообщение от boric

Например, словосочетание "звездные войны" он скорее отнесет к астрономии или политике, а не к кинофильмам. Разве что другие термины перевесят.

Котофеич описывал свой алгоритм, который нормально проходит такие штуки по совокупности и по научению.

Сообщение от boric

нейронная сеть - это черный ящик

Нейросеть отнюдь не чорный яшшык, а статистико-собирающий автомат в модной упаковке с красивым названием, не более.

Омонимия- да, остается, но ее негативное влияние нивелируется другими значащими штуками, если текст приличной длинны.

Про вопрос Маленькой Сосны- я же написал, что я бы за это не взялся.


Что касается общего вопроса- у меня в голове есть достаточно дубовый алгоритм, работающий на статистических показателях текстов, который должен обучится на какойто выборке заранее оттематизированных кусков текста - все руки не доходят до него- щас чото работы набрал прилично..

[Alexey]

А у меня одногруппник пишет дисер на эту тему Но пока вроде света в конце тоннеля не видать...

[Йода]

Сообщение от Alexey

А у меня одногруппник пишет дисер на эту тему Но пока вроде света в конце тоннеля не видать...

Идей масса, тока прямого и быстрого финансового выхлопа с них нет, поэтому и лениво это делать..

Добавлено через 14 часов 47 минут

Сообщение от Маленькая сосна

можно просто карту текста сделать, может, какие наиболее типичные слова отыщутся?.. Ну и это, да, может, как-то сюда же граф присобачить, потому что если эти типичные слова существуют, то и связи у них наверняка тоже какие-то есть?...
Или это совсем-совсем неправильно?

Это очень-очень правильно, и очень интересно, но очень сложно..

[kotofeich]

Случайно наткнулся на эту старую тему. Много интересных идей.
Я свою идею на нейронных сетях довел до ума, в использовании всё очень просто:

регистрируемся сначала тут

далее код:

<?php
Header("Content-Type: text/html; charset=utf8");
include('IXR_Library.php');

$text="Когда я готовил салат, я думал добавить помидоры, а потом еще надо было сходить на охоту";
$login="login";
$password="password";

$client = new IXR_Client('http://extheme.ru/xmlrpc.php');
if (!$client->query('extheme.theme_text', $login, md5($password),$text)) {
die('An error occurred - '.$client->getErrorCode().":".$client->getErrorMessage());
}
print_r($client->getResponse());
?>

Сам использую это в связке с граббером и синонимайзером, для каталогизации статей на сайтах.

[5996682]

Китайцев нанять, как антигейт, и по доллару за определение тематики 1000 сайтов платить.
Правда, переводчик потребуется, но дело за малым.