Как убрать повторы слов из текстовой базы?

[D.iK.iJ]

Есть пара текстовых баз синонимов порядка 35 мегабайт и 800 тысяч строк каждая:

слово1|слово 2
слово 3|слово4|слово1 и т.д.

Можно ли как-то PHP скриптом убрать все повторы слов или строки с повторами?

Понятно, что полные совпадения удаляются array_unique();, но как дальше обработать пример выше? Написал несколько скриптов за 2 дня, но даже 100 000 строк обрабатывает на компьютере около часа.

[Sergius]

Засунуть в мускул.А там с помощью Select ... Distinct извлечь обратно.Это самый быстрый вариант,ибо она на то и рассчитана

[D.iK.iJ]

Сообщение от Sergius

Засунуть в мускул.А там с помощью Select ... Distinct извлечь обратно.Это самый быстрый вариант,ибо она на то и рассчитана

Мне бы со своим быдлокодингом на PHP-то разобраться... А с базами вообще никогда не работал.

[mnogoclipov]

PHP код:

$text = 'слово1|слово 2|слово 3|слово4|слово1|слово4|слово 3|слово 5';

$array = explode("|", $text);
$result = array_unique($array);
$text = implode("|", $result);

echo $text; // слово1|слово 2|слово 3|слово4|слово 5 


[D.iK.iJ]

mnogoclipov, спасибо, это я уже сделал. Слова в 1 строке не повторяются. Они повторяются в разных строках базы (как в примере выше).

Пробовал заносить каждое слово в $array[] и удалять строки с повторами слов, но там время работы - ужас просто.

[mnogoclipov]

А скиньте мне, я посмотрю.

Добавлено через 1 минуту
Прото тут разные варианты..можно array_diff заюзать. Короче нужно смотреть

[D.iK.iJ]

Вам 2 базы синонимов скануть на 60 мегабайт или скрипт? И если базы - то куда.

Добавлено через 4 минуты
Вообще, они бредовые, но нужно же с чего-то начинать при постройке и тестах синонимайзера:

чрево|брюхо|живот|внутренняя часть|внутренность|нутро|эпигастрий|недра|брюшко|ч ерево|мамон|утроба|лоно|пузо|
чревовещатель|вентролог|энгастрилок|вонючка|
чревосечение|вскрытие|лапаротомия|
чревоугодник|лакомка|сластена|сластоежка|гастроном |обжора|удав|объедала|чревобесник|объедало|прорва| гурман|
чревоугодница|жабрунья|гурманка|едунья|чревобесниц а|обжора|обжорка|
чревоугодничать|есть в три горла|объедаться|переедать|
чревоугодничающий|переедающий|объедающийся|
чревоугоднический|гурманский|
чревоугодничество|чревоугодие|переедание|гурманств о|обжорство|
чреда|вереница|череда|цепь|цепочка|галерея|гряда|л иния|ряд|
чредой|чередой|друг за другом|гуськом|гусем|цепью|вереницей|цепочкой|
чрез|сквозь|путем|посредством|через|
чрезвычайка|чека|положение|

[Sergius]

Предварительно создать таблицы mysql, а в начало скрипта установить соединение с БД и создать таблицу word_table с 2 полями-
word_value-поле,куда кладется ключ
id_str-поле,которое содержит id строки.
После работы по всем строкам оставляет только одно значение по первой попавшейся строке.

.................

PHP код:

$d=file($myfile);
for($i=0;$<sizeof($d);$i++):
   $word_array=explode('|',$d[$i]);
   for ($j=0;$j<sizeof($word_array);$j+=1):
     $q="SELECT count(*) FROM word_table WHERE word_value=".mysql_escape_string($word_array[$j])."'";
list($c)=mysql_query($q);
if ($c>0){$q="INSERT INTO word_table(id_str,word_value) VALUES($i,".mysql_escape_string($word_array[$j])."'"
$mysql_query($q);
}
   endfor;
endfor;
///после этого из таблицы взять значение по ключам.
Можно и быстрее.
for ($i=0;$<sizeof($d);$i++):
$q="SELECT word_value FROM word_table WHERE id_str=$i";
$r=mysql_query($q);
-получаем все слова для каждой строки. После можно упаковывать обратно любым способом.
endfor; 


Может содержать ошибки)))

[mnogoclipov]

D.iK.iJ - ну просто любопытно было посмотреть, чего оно так тупит с таким объемом. Хотя в чистом пхп я с таким объемом не работал, поэтому все возможно
А вот насчет базы тут правильно говорят. У меня на работе база весит полтора гига. И ниче..шоркается нормально.

ЗЫ Если с базой - самый простой способ - тупо брать все слова в строке и писать в базу. Но в базе поле со словом сделать уникальным, т.е. чтобы там были только уникальные слова.
Инсертим в цикле, а потом просто из базы вытягиваем готовую базу слов без повторов.

[Sergius]

Балин,

for($i=0;$<sizeof($d);$i++):
заменить на
for($i=0;$i<sizeof($d);$i++):
под конец $r -содержит результаты работы поиска слов по строкам.Браузер съел половину,так что восстанавливать не буду....