![]() |
#81 |
Специалист
Регистрация: 16.03.2008
Сообщений: 127
Вес репутации: 0
![]() ![]() |
![]() сейчас 720 гигов и продолжает расти. Полная релевантность запросов (ну максимально возможная) ожидается где то в начале ноября. Сейчас идет глубокий пересчет базы. Изменения в принципе можно наблюдать ежедневно по определенному поисковому запросу.
__________________
![]() |
![]() |
![]() |
![]() |
#82 | |
Эксперт
Регистрация: 05.03.2008
Сообщений: 1,095
Вес репутации: 251
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() yayayagogogo
Цитата:
Просто у меня обработка одной средней страницы занимает около 0.1 сек. Правда у меня еще морфология учитывается (приведение каждого слова к исходной словоформе, учет омонимии и пр.) и конечно есть куда это дело оптимизировать. Но даже если еще в 5-10 раз ускорить, то все равно получается 0.01-0.02 сек. Т.е. 32 млн. документов должны обрабатываться на 3Гигагерцовом пентиуме порядка 100 часов. А о скачивании всех этих документов я уж и не говорю. Каждая страница в среднем скачивается за 1-3 сек. Можно создать например сотню потоков и скачивать по сотне страниц одновременно, но это опять в лучшем случае неделю займет. Или вы несколько компов одновременно используете? |
|
![]() |
![]() |
![]() |
#83 |
Специалист
Регистрация: 16.03.2008
Сообщений: 127
Вес репутации: 0
![]() ![]() |
![]() Используется три компа, в процессе оптимизации всех возможных нагрузок буду стремится к одному. Проблема в переиндексации, очень большая нагрузка на дисковую систему. В основном проблема не в скорости процессора, а в скорости жестких дисков.
__________________
![]() |
![]() |
![]() |
![]() |
#84 |
К черту кодекс !!
Регистрация: 19.12.2009
Адрес: [ forum.sape.ru ]
Сообщений: 2,168
Вес репутации: 377
![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() |
![]() yayayagogogo, а зачем вообще изобретать велосипед? Полюбому, он у вас получится детский-трехколесный..
Вот умные люди делают всё наоборот))
__________________
|
![]() |
![]() |
![]() |
#85 |
Специалист
Регистрация: 16.03.2008
Сообщений: 127
Вес репутации: 0
![]() ![]() |
![]() В процессе изобретения приобретаются новые познания, которые в последствии используются
__________________
![]() |
![]() |
![]() |
![]() |
#86 |
Специалист
Регистрация: 16.03.2008
Сообщений: 127
Вес репутации: 0
![]() ![]() |
![]() Вот подправил релевантность выдачи. Выскажите ваше мнение.
__________________
![]() |
![]() |
![]() |
![]() |
|
|
![]() |
||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Новая платежная система TeleMoney | Anadonam | Электронные деньги | 0 | 08.08.2010 04:34 |
так какая самая дерьмовая поисковая система? | sylex | Курилка | 2 | 28.11.2009 22:10 |
Особенности выдачи по запросу "поисковая система" | IskatelKR | Курилка | 4 | 18.09.2009 16:32 |
Часовой пояс GMT +3, время: 06:00.