Новая поисковая система

[yayayagogogo]

сейчас 720 гигов и продолжает расти. Полная релевантность запросов (ну максимально возможная) ожидается где то в начале ноября. Сейчас идет глубокий пересчет базы. Изменения в принципе можно наблюдать ежедневно по определенному поисковому запросу.

[boric]

yayayagogogo

Сейчас идет глубокий пересчет базы.

А сколько времени занимает пересчет базы (как я понимаю 32 миллионов документов)?
Просто у меня обработка одной средней страницы занимает около 0.1 сек. Правда у меня еще морфология учитывается (приведение каждого слова к исходной словоформе, учет омонимии и пр.) и конечно есть куда это дело оптимизировать. Но даже если еще в 5-10 раз ускорить, то все равно получается 0.01-0.02 сек. Т.е. 32 млн. документов должны обрабатываться на 3Гигагерцовом пентиуме порядка 100 часов.

А о скачивании всех этих документов я уж и не говорю. Каждая страница в среднем скачивается за 1-3 сек. Можно создать например сотню потоков и скачивать по сотне страниц одновременно, но это опять в лучшем случае неделю займет.

Или вы несколько компов одновременно используете?

[yayayagogogo]

Используется три компа, в процессе оптимизации всех возможных нагрузок буду стремится к одному. Проблема в переиндексации, очень большая нагрузка на дисковую систему. В основном проблема не в скорости процессора, а в скорости жестких дисков.

[Красавчег]

Сообщение от yayayagogogo

Используется три компа

Сообщение от yayayagogogo

Проблема в переиндексации

yayayagogogo, а зачем вообще изобретать велосипед? Полюбому, он у вас получится детский-трехколесный..

Вот умные люди делают всё наоборот))

[yayayagogogo]

В процессе изобретения приобретаются новые познания, которые в последствии используются

[yayayagogogo]

Вот подправил релевантность выдачи. Выскажите ваше мнение.