Как убрать повторы слов из текстовой базы?

[D.iK.iJ]

Sergius, спасибо. Если с PHP сегодня опять не выйдет, обязательно попробую.

[Sergius]

Только поосторожнее))Я не проверял))

[D.iK.iJ]

mnogoclipov, тупит, так как это Дэнвер под Виндоус XP на старом жутко тормознутом ноутбуке Acer
Я даже не вспомню с чего начинал и что последнее пробовал, но один из скриптов был такой:

PHP код:

<?
ini_set("memory_limit", "1000M");
@set_time_limit (300000);

$words=file(getenv("DOCUMENT_ROOT")."/words.dat");
$words=array_unique($words);
sort($words);

$i=count($words); echo "Всего строк: <b>$i</b><br><br>";
$words2="";$words2[]=""; $words3="";
$i2="0";


do{
$dt=explode("|", $words[$i2]);
$i_dt=count($dt);

if ($i_dt="2"){
$dt=str_replace("\r\n","",$dt);
if (!in_array($dt[0], $words2) and !in_array($dt[1], $words2)) $words3.=$words[$i2];
$words2[]=$dt[0];
$words2[]=$dt[1];


}elseif($i_dt="3"){
$dt=str_replace("\r\n","",$dt);
if (!in_array($dt[0], $words2) and !in_array($dt[1], $words2) and !in_array($dt[2], $words2)) $words3.=$words[$i2];
$words2[]=$dt[0];
$words2[]=$dt[1];
$words2[]=$dt[2];


}elseif($i_dt="4"){
$dt=str_replace("\r\n","",$dt);
if (!in_array($dt[0], $words2) and !in_array($dt[1], $words2) and !in_array($dt[2], $words2) and !in_array($dt[3], $words2)) $words3.=$words[$i2];
$words2[]=$dt[0];
$words2[]=$dt[1];
$words2[]=$dt[2];
$words2[]=$dt[3];

}elseif($i_dt="5"){
$dt=str_replace("\r\n","",$dt);
if (!in_array($dt[0], $words2) and !in_array($dt[1], $words2) and !in_array($dt[2], $words2) and !in_array($dt[3], $words2) and !in_array($dt[4], $words2)) $words3.=$words[$i2];
$words2[]=$dt[0];
$words2[]=$dt[1];
$words2[]=$dt[2];
$words2[]=$dt[3];
$words2[]=$dt[4];

}else{
$dt=str_replace("\r\n","",$dt);
if (!in_array($dt[0], $words2) and !in_array($dt[1], $words2) and !in_array($dt[2], $words2) and !in_array($dt[3], $words2) and !in_array($dt[4], $words2) and !in_array($dt[5], $words2)) $words3.=$words[$i2];
$words2[]=$dt[0];
$words2[]=$dt[1];
$words2[]=$dt[2];
$words2[]=$dt[3];
$words2[]=$dt[4];
$words2[]=$dt[5];
}

$i2++;} while ($i2<$i);


$hhh = fopen(getenv("DOCUMENT_ROOT")."/words3.dat","w+");
flock($hhh,LOCK_EX);
fwrite($hhh,stripslashes($words3));
flock($hhh,LOCK_UN);
fclose($hhh);

?>

[boric]

НЕ надо извращаться с ПХП - он с большими массивами плохо работает (памяти жрет офигенно).

Вот вам код на Питоне. Можете под любым никсом в консоли запустить или в виндах, если питон поставить.

inp_f = open("input_file.txt", "r")
out_f = open("output_file.txt", "w")

word_dict = {}

for line in inp_f:
    is_duplicate = False
    for word in line[0:-1].split("|"):
        if word_dict.has_key(word):
            is_duplicate = True
        
        if not is_duplicate:
            out_f.write(line)

        word_dict[word] = True

inp_f.close()
out_f.close()

[D.iK.iJ]

boric, на чем уж умею. Из меня программист, как из...
В принципе, нужно-то 2 раза запустить эту штуку на ноутбуке. А про память - ini_set("memory_limit", "1000M"), думаю, видно, да.

Боюсь, даже беглое изучение баз данных займет у меня больше времени, чем отработка тормознутого кода на PHP.
Спасибо.

Добавлено через 33 минуты
Пробую array_diff() использовать.

Добавлено через 4 часа 12 минут
Спасибо всем за участие. В итоге, получился такой вот скрипт. На каждую базу ушло минуты две работы. Объем каждой сократился мегабайт на 15.
В принципе, пробовал убирать комментарии // из кода, но размер итогового файла что-то не изменился.

PHP код:

<?
ini_set("memory_limit", "1000M");
@set_time_limit (3000);

$words=file(getenv("DOCUMENT_ROOT")."/words.dat");
$words=array_unique($words);
sort($words);
$i=count($words);
echo "Всего строк: <b>$i</b><br><br>";
$words2="";$words2[]="";
$i2="0";

do{
$dt=explode("|", $words[$i2]);
$i_dt=count($dt);
$dt=str_replace("\r\n","",$dt);

//if ($i_dt=="2"){

$words2[]="$dt[1]|$dt[0]\r\n";

//}elseif ($i_dt=="3"){
//$words2[]="$dt[0]|$dt[2]|$dt[1]\r\n";
//$words2[]="$dt[1]|$dt[2]|$dt[0]\r\n";
//$words2[]="$dt[1]|$dt[0]|$dt[2]\r\n";
//$words2[]="$dt[2]|$dt[1]|$dt[0]\r\n";
//$words2[]="$dt[2]|$dt[0]|$dt[1]\r\n";
//}else{
//$words2[]="$dt[0]|$dt[1]|$dt[3]|$dt[2]\r\n";
//$words2[]="$dt[0]|$dt[2]|$dt[1]|$dt[3]\r\n";
//$words2[]="$dt[0]|$dt[2]|$dt[3]|$dt[1]\r\n";
//$words2[]="$dt[0]|$dt[3]|$dt[1]|$dt[2]\r\n";
//$words2[]="$dt[0]|$dt[3]|$dt[2]|$dt[1]\r\n";
//$words2[]="$dt[1]|$dt[0]|$dt[2]|$dt[3]\r\n";
//$words2[]="$dt[1]|$dt[0]|$dt[3]|$dt[2]\r\n";
//$words2[]="$dt[1]|$dt[2]|$dt[0]|$dt[3]\r\n";
//$words2[]="$dt[1]|$dt[2]|$dt[3]|$dt[0]\r\n";
//$words2[]="$dt[1]|$dt[3]|$dt[0]|$dt[2]\r\n";
//$words2[]="$dt[1]|$dt[3]|$dt[2]|$dt[0]\r\n";
//$words2[]="$dt[2]|$dt[0]|$dt[1]|$dt[3]\r\n";
//$words2[]="$dt[2]|$dt[0]|$dt[3]|$dt[1]\r\n";
//$words2[]="$dt[2]|$dt[1]|$dt[0]|$dt[3]\r\n";
//$words2[]="$dt[2]|$dt[1]|$dt[3]|$dt[0]\r\n";
//$words2[]="$dt[2]|$dt[3]|$dt[0]|$dt[1]\r\n";
//$words2[]="$dt[2]|$dt[3]|$dt[1]|$dt[0]\r\n";
//$words2[]="$dt[3]|$dt[0]|$dt[1]|$dt[2]\r\n";
//$words2[]="$dt[3]|$dt[0]|$dt[2]|$dt[1]\r\n";
//$words2[]="$dt[3]|$dt[1]|$dt[0]|$dt[2]\r\n";
//$words2[]="$dt[3]|$dt[1]|$dt[2]|$dt[0]\r\n";
//$words2[]="$dt[3]|$dt[2]|$dt[0]|$dt[1]\r\n";
//$words2[]="$dt[3]|$dt[2]|$dt[1]|$dt[0]\r\n";
//}

$i2++;} while ($i2<$i);

$result=array_diff($words, $words2);
$result=implode("", $result);

$hhh = fopen(getenv("DOCUMENT_ROOT")."/words3.dat","w+");
flock($hhh,LOCK_EX);
if(fwrite($hhh,stripslashes($result))) {print "<br><font color='green'>Файл сохранен.</font>";} else {print "<font color='red'>Ошибка!  - не могу сохранить.</font>";}
flock($hhh,LOCK_UN);
fclose($hhh);
?>