隨著校園網(wǎng)建設的迅速發(fā)展，校園網(wǎng)信息資源迅速增加，這使得全校師生迅速定位有價值的信息難度較大，浪費時間而且效率低下?；谛@網(wǎng)自身的特點，發(fā)展較成熟的通用搜索引擎不能完全適用于校園網(wǎng)，并且大量轉(zhuǎn)載網(wǎng)頁的存在造成檢索結(jié)果重復頁過多。通過分析校園網(wǎng)網(wǎng)頁的特點和現(xiàn)有去重技術，以解決校園網(wǎng)搜索引擎檢索結(jié)果重復網(wǎng)頁過多問題，針對不同類型的重復網(wǎng)頁，采用在索引和實時檢索時分別去重的策略，構(gòu)建了校園網(wǎng)搜索引擎，完成了如下幾項工作：
第一，對網(wǎng)頁去重的準備工作進行了研究和分析。首先，分析網(wǎng)頁噪音產(chǎn)生的原因、噪音的定義及類型，采用合并內(nèi)容塊技術對原始網(wǎng)頁集進行噪音去除和正文抽取，以獲得網(wǎng)頁的正文內(nèi)容。其次，研究中文分詞技術，對比現(xiàn)有中文分詞技術，最終采用庖丁解牛分詞軟件，對Nutch進行二次開發(fā)——修改Nutch源碼，實現(xiàn)中文分詞。
第二，對索引時網(wǎng)頁去重算法進行研究和改進。分析現(xiàn)有算法，針對完全重復或部分重復的網(wǎng)頁，采用最長段落簽名的網(wǎng)頁去重算法。首先對整篇文檔簽名后去重，其次對去重過濾后的文檔分段，對分好的段落排序，再取前N個段落對其進行指紋簽名，將其作為文檔的特征，當這兩個文檔中相同段落數(shù)超過系統(tǒng)給定的一個閾值時，就判定這兩個文檔為相互重復的文檔。提取前N段并進行指紋排序大大降低了計算的復雜度。實驗證明，該方法有較高的去重準確率。
第三，針對網(wǎng)頁轉(zhuǎn)載時對原網(wǎng)頁進行微小修改而產(chǎn)生的重復網(wǎng)頁，在實時檢索時采用優(yōu)化傅立葉變換去重算法。該算法把每篇文檔的每個詞映射成一個數(shù)值Fingerprint，那么每篇文檔就可以表示成一個離散數(shù)值序列。對該數(shù)值序列進行傅立葉變換得到傅立葉系數(shù)，比較系數(shù)的前若干項即可大致比較出兩個數(shù)列的相似性。實驗證明，基于優(yōu)化傅立葉變換的去重算法能夠在網(wǎng)頁發(fā)生修改的時候兼顧查全率和去重率。
以Nutch作為系統(tǒng)的開發(fā)工具，通過對Nutch源碼進行修改實現(xiàn)索引時的去重算法，并采用插件形式實現(xiàn)檢索時的網(wǎng)頁去重算法，在Nutch的基礎上設計實現(xiàn)校園網(wǎng)搜索引擎，并詳細說明了校園網(wǎng)搜索引擎系統(tǒng)開發(fā)過程和方法。最后對提出的去重策略進行實驗性能測試，采用Nutch爬取校園網(wǎng)網(wǎng)頁作為實驗的數(shù)據(jù)集，結(jié)果表明將兩種算法結(jié)合的去重策略提高了搜索結(jié)果的精確度和去重的準確率，并且搭建的校園網(wǎng)搜索引擎系統(tǒng)能夠有效的、正常的運行。