摘 要

　　　隨著Internet的迅速發(fā)展與廣泛應(yīng)用，網(wǎng)絡(luò)上的信息與日俱增,如何在海量的信息中快速地定位自己感興趣的信息，已成為人們最關(guān)注的問題之一。而搜索引擎技術(shù)在用戶和信息源之間架起了一道溝通的橋梁，為用戶提供了一個有效的信息檢索手段。因此，本著整合校園網(wǎng)資源的目的，在研究搜索引擎的基本原理、核心技術(shù)和處理流程的基礎(chǔ)上，結(jié)合校園網(wǎng)搜索引擎的個性化需求，本文設(shè)計了一個靈活、可配置、具有良好可擴(kuò)展性且效率較高的校園網(wǎng)搜索引擎系統(tǒng)。
　　　論文介紹了系統(tǒng)開發(fā)的背景和國內(nèi)外搜索引擎技術(shù)的發(fā)展現(xiàn)狀，并詳細(xì)地說明了該搜索引擎系統(tǒng)的開發(fā)過程和方法。首先從功能需求和非功能需求兩個方面對校園網(wǎng)搜索引擎的個性化需求進(jìn)行分析，然后根據(jù)需求分析的結(jié)果提出了系統(tǒng)的實現(xiàn)目標(biāo)和原則，繼而從系統(tǒng)的功能架構(gòu)和技術(shù)架構(gòu)兩個方面描述了系統(tǒng)的整體功能和總體流程，最后具體描述了插件機(jī)制的設(shè)計和爬取模塊、文檔解析模塊及檢索和索引模塊幾個關(guān)鍵模塊的詳細(xì)設(shè)計。

關(guān)鍵詞：校園網(wǎng)；搜索引擎；網(wǎng)絡(luò)爬蟲；文檔解析；索引
The Desine Of Campus Network Search Engine


ABSTRACT


With the Internet's rapid development ,How the information in the mass rapid positioning information of interest to them has become one of the most concern. The search engine technology between users and information sources to build a bridge to provide users with an effective means of information retrieva l. Therefore, based on integration of campus network resources, in the study of the basic principles of search engine, the core technology and processes, based on the campus network search engine combined with the individual requirements, the paper design of a flexible, configurable, can be a good scalability and efficient search engine of campus network systems.
　　This paper introduces the context of system development and search engine technology at home and abroad to develop the status quo, and a detailed description of the search engine system development process and methods. First, from the functional requirements and non-functional requirements of the campus network the two aspects of the personalized search engine needs analysis, needs analysis based on the results of the system to achieve the objectives and principles, and then from the system architecture and technical structure of the two aspects describes the system's overall function and the overall process, and finally describes the plug-in mechanism for the specific design and climbing access module, document analysis and retrieva l and indexing module of several modules of the detailed design of key modules.

KEY WORDS：Campus Network; search engine; network reptiles; document analysis; Index

　　　　　　　　　　　　　　　　　　目　錄


前　言 1
第1章 緒論 2
　　§1.1 系統(tǒng)開發(fā)背景 2
　　§1.2 國內(nèi)外搜索引擎發(fā)展現(xiàn)狀 2
　　　　§1.2.1 國內(nèi)外技術(shù)發(fā)展概況 2
　　　　§1.2.2 搜索引擎發(fā)展現(xiàn)狀 3
　　§1.3 本文的主要工作 4
　　§1.4 本文的組織結(jié)構(gòu) 4
第2章 系統(tǒng)架構(gòu)設(shè)計 5
　　§2.1 需求分析 5
　　§2.2 系統(tǒng)設(shè)計目標(biāo)和原則 5
　　§2.3 系統(tǒng)功能架構(gòu)設(shè)計 6
　　　§2.3.1 系統(tǒng)功能描述 6
　　　§2.3.2 系統(tǒng)總體流程 7
　　　§2.3.3 爬取模塊設(shè)計 8
　　　§2.3.4 中文分詞模塊 10
　　　§2.3.5 索引和檢索模塊 11
　　§2.4 系統(tǒng)技術(shù)架構(gòu)設(shè)計 15
　　　§2.4.1 插件機(jī)制 15
　　　§2.4.2 MapRedtic分布式處理模型 17
第3章 系統(tǒng)詳細(xì)設(shè)計 20
　　§3.1 插件機(jī)制的詳細(xì)設(shè)計 20
　　　　§3.1.1 重要概念 20
　　　　§3.1.2 類裝載策略 21
　　　　§3.1.3 類圖 22
　　　　§3.1.4 配置文件結(jié)構(gòu) 23
　　　　§3.1.5 擴(kuò)展點設(shè)計 24
　　§3.2分布式處理和存儲 24
　　§3.3主要模塊詳細(xì)設(shè)計 25
　　　　§3.3.1爬取模塊 25
　　　　§3.3.2文檔解析模塊 27
　　　　§3.3.3索引和檢索模塊 28
結(jié)　論 31
參考文獻(xiàn) 32
致　謝 34