29.12.2012, 20:51 | #11 |
Дикий
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,551
Вес репутации: 355
|
Sergius, спасибо. Если с PHP сегодня опять не выйдет, обязательно попробую.
__________________
Делаю кулоны с опалами в стекле и не только! |
29.12.2012, 20:58 | #13 |
Дикий
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,551
Вес репутации: 355
|
mnogoclipov, тупит, так как это Дэнвер под Виндоус XP на старом жутко тормознутом ноутбуке Acer
Я даже не вспомню с чего начинал и что последнее пробовал, но один из скриптов был такой: PHP код:
__________________
Делаю кулоны с опалами в стекле и не только! |
29.12.2012, 21:17 | #14 |
Эксперт
Регистрация: 05.03.2008
Сообщений: 1,095
Вес репутации: 249
|
НЕ надо извращаться с ПХП - он с большими массивами плохо работает (памяти жрет офигенно).
Вот вам код на Питоне. Можете под любым никсом в консоли запустить или в виндах, если питон поставить. Код:
inp_f = open("input_file.txt", "r") out_f = open("output_file.txt", "w") word_dict = {} for line in inp_f: is_duplicate = False for word in line[0:-1].split("|"): if word_dict.has_key(word): is_duplicate = True if not is_duplicate: out_f.write(line) word_dict[word] = True inp_f.close() out_f.close() |
30.12.2012, 02:18 | #15 |
Дикий
Регистрация: 02.06.2007
Адрес: <Noindex>
Сообщений: 2,551
Вес репутации: 355
|
boric, на чем уж умею. Из меня программист, как из...
В принципе, нужно-то 2 раза запустить эту штуку на ноутбуке. А про память - ini_set("memory_limit", "1000M"), думаю, видно, да. Боюсь, даже беглое изучение баз данных займет у меня больше времени, чем отработка тормознутого кода на PHP. Спасибо. Добавлено через 33 минуты Пробую array_diff() использовать. Добавлено через 4 часа 12 минут Спасибо всем за участие. В итоге, получился такой вот скрипт. На каждую базу ушло минуты две работы. Объем каждой сократился мегабайт на 15. В принципе, пробовал убирать комментарии // из кода, но размер итогового файла что-то не изменился. PHP код:
__________________
Делаю кулоны с опалами в стекле и не только! Последний раз редактировалось D.iK.iJ; 30.12.2012 в 02:18. Причина: Добавлено сообщение |
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Печать текстовой области web-страницы | fsb-sasha | Курилка | 5 | 27.11.2011 17:37 |
Повторы | Апокалипсис | Пожелания пользователей системы | 3 | 25.07.2010 04:39 |
Объем текстовой информации в новости на DLE | Elektra | Разработка и сопровождение сайтов | 2 | 28.02.2010 17:06 |
Повторы слов в ссылках реабилитировали? | llenivo | Ошибки при работе с системой | 12 | 21.03.2009 00:30 |
Предупреждения На Повторы Слов | MS555 | Пожелания пользователей системы | 16 | 29.10.2008 13:38 |
Часовой пояс GMT +3, время: 09:24.