Определение тематики текстов. Интересны ваши предложения.

Йода · 20.04.2009, 00:55

Я с детства делаю роботов. Раньше они у меня были из старых машинок, танчегов и мыльниц, они жжужали моторчиком, ползали на колесах по полу и питались от плоских батареек на 4.5 вольта. Щас они жужжат винчестерами, умещены не в мыльницы, а в одноюнитовые корпуса, стоят преимущественно в стойке и, как правило, по полу не ползают.

Щас я задумал новое "создание" и ему в мозг надо вставить модуль распознавания тематики текста. Ну я конечно порыл, умных книжек про искусственный интеллект поначитал, как работает Яндекс у Садовского спросил. Однако, пока чето не вырисовываецца.

Ну я и решил спросить у уважаемых коллег- а предложите пожалуйста свой алгоритм распознавания тематики текста. Естессно- с самообучающейся логикой, корректируемой оператором..

Всем заранее очень признателен.

ПС флуд приветствуецца

PlaDima · 20.04.2009, 01:02

Можно использовать ЯК. Парсим описания сайтов с ЯК"а, распределяем по тематикам... Далее программа берет текст сайта и сравнивает с описаниями в разных тематиках... Если текст сайта наиболее совпадает с описаниями из категории "Финансы" - относим сайт к этой тематике.

Апокалипсис · 20.04.2009, 01:02

Я тож всю жизнь занимался радиотехникой :P

dentist15 · 20.04.2009, 01:03

Выделить наиболее частые ключи и сверить их с базой.
_istio.com/rus/text/analyz/

andrej3337 · 20.04.2009, 01:03

tse, если удасться вам такое, то и в самом деле -

Цитата:

tse - за этого человека можно гордиться

и тогда фантастика снова станет реальностью...

Ну вот и пофлудил

ибо нифига в этом не понимаю - матматика, физика и прочие точные науки мне не дались - ворон на уроках считал... до пяти, потом снова начинал

Йода · 20.04.2009, 01:06

andrej3337, не пережывайте вы так. В этом нет абсолютно ничего сверхестественного. Обычная инженерная задача с элементами эвристики

PlaDima · 20.04.2009, 01:07

Цитата:

Сообщение от tse

andrej3337, не пережывайте вы так. В этом нет абсолютно ничего сверхестественного. Обычная инженерная задача с элементами эвристики

Эм... Чего?))

Йода · 20.04.2009, 01:08

Цитата:

Сообщение от PlaDima

Далее программа берет текст сайта и сравнивает с описаниями в разных тематиках

Ага. Наверное большинство методик в результате можно будет описать этой фразой.
Вопрос- что значит "сравнивать" ?

PlaDima · 20.04.2009, 01:15

Цитата:

Сообщение от tse

Вопрос- что значит "сравнивать" ?

Ну ты с Апокалипсисом физики - вот и думайте что значит сравнивать)

Что нам подсказывает ВиКи

Vektor'ok · 20.04.2009, 01:17

Можно взять ключевые слова и отрезать от них неизменяемую часть слова (приставку с корнем), данные куски расфасовать по темам (можно даже подтемы сделать), отбросив слова, не несущие смысловой нагрузки (и, или, не и т.д.) проверяем процент наличия тех или иных ключевиков в тексте и определяем к какой теме относится тот или иной текст.

20.04.2009, 00:55	#1
Йода Магистр Регистрация: 04.12.2007 Сообщений: 3,680 Вес репутации: 417	Определение тематики текстов. Интересны ваши предложения. Я с детства делаю роботов. Раньше они у меня были из старых машинок, танчегов и мыльниц, они жжужали моторчиком, ползали на колесах по полу и питались от плоских батареек на 4.5 вольта. Щас они жужжат винчестерами, умещены не в мыльницы, а в одноюнитовые корпуса, стоят преимущественно в стойке и, как правило, по полу не ползают. Щас я задумал новое "создание" и ему в мозг надо вставить модуль распознавания тематики текста. Ну я конечно порыл, умных книжек про искусственный интеллект поначитал, как работает Яндекс у Садовского спросил. Однако, пока чето не вырисовываецца. Ну я и решил спросить у уважаемых коллег- а предложите пожалуйста свой алгоритм распознавания тематики текста. Естессно- с самообучающейся логикой, корректируемой оператором.. Всем заранее очень признателен. ПС флуд приветствуецца __________________ С уважением, Йода

20.04.2009, 01:02	#2
PlaDima Эксперт Регистрация: 15.07.2008 Сообщений: 2,004 Вес репутации: 313	Можно использовать ЯК. Парсим описания сайтов с ЯК"а, распределяем по тематикам... Далее программа берет текст сайта и сравнивает с описаниями в разных тематиках... Если текст сайта наиболее совпадает с описаниями из категории "Финансы" - относим сайт к этой тематике. __________________ VDS KVM для профессионалов - 15Гб SSD/512Мб RAM - 149 руб в месяц.

20.04.2009, 01:02	#3
Апокалипсис Эксперт Регистрация: 13.05.2008 Сообщений: 7,497 Вес репутации: 387	Я тож всю жизнь занимался радиотехникой :P __________________ Ортопедические матрасы

20.04.2009, 01:06	#6
Йода Магистр Регистрация: 04.12.2007 Сообщений: 3,680 Вес репутации: 417	andrej3337, не пережывайте вы так. В этом нет абсолютно ничего сверхестественного. Обычная инженерная задача с элементами эвристики __________________ С уважением, Йода

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Закажу прогон по каталогам для 4х сайтов, Ваши предложения?	GreatAlf	Партнерские программы, баннерная реклама	8	23.02.2009 00:53
В связи с кризисом, какие темы для сайтов интересны Оптимиатором для покупки ссылок	FireWind	Курилка	9	23.12.2008 21:06
На сколько интересны ссылки с доменов третьего уровня...?	DFish	Яндекс	0	29.05.2008 17:46
Нужно добавить для площадок определение тематики из ЯК.	9dVSnVN6	Пожелания пользователей системы	1	09.10.2007 12:12
Предложения от ВМ, а не от О	new	Пожелания пользователей системы	8	12.08.2007 06:03

20.04.2009, 01:03	#4
dentist15 Специалист Регистрация: 26.07.2008 Сообщений: 119 Вес репутации: 196	Выделить наиболее частые ключи и сверить их с базой. _istio.com/rus/text/analyz/

20.04.2009, 01:17	#10
Vektor'ok Специалист Регистрация: 07.01.2008 Адрес: Чарочно-шкварочная республика Сообщений: 307 Вес репутации: 215	Можно взять ключевые слова и отрезать от них неизменяемую часть слова (приставку с корнем), данные куски расфасовать по темам (можно даже подтемы сделать), отбросив слова, не несущие смысловой нагрузки (и, или, не и т.д.) проверяем процент наличия тех или иных ключевиков в тексте и определяем к какой теме относится тот или иной текст.