校園網(wǎng)搜索引擎設計

摘 要

　　　隨著Internet的迅速發(fā)展與廣泛應用，網(wǎng)絡上的信息與日俱增,如何在海量的信息中快速地定位自己感興趣的信息，已成為人們最關(guān)注的問題之一。而搜索引擎技術(shù)在用戶和信息源之間架起了一道溝通的橋梁，為用戶提供了一個有效的信息檢索手段。因此，本著整合校園網(wǎng)資源的目的，在研究搜索引擎的基本原理、核心技術(shù)和處理流程的基礎上，結(jié)合校園網(wǎng)搜索引擎的個性化需求，本文設計了一個靈活、可配置、具有良好可擴展性且效率較高的校園網(wǎng)搜索引擎系統(tǒng)。
　　　論文介紹了系統(tǒng)開發(fā)的背景和國內(nèi)外搜索引擎技術(shù)的發(fā)展現(xiàn)狀，并詳細地說明了該搜索引擎系統(tǒng)的開發(fā)過程和方法。首先從功能需求和非功能需求兩個方面對校園網(wǎng)搜索引擎的個性化需求進行分析，然后根據(jù)需求分析的結(jié)果提出了系統(tǒng)的實現(xiàn)目標和原則，繼而從系統(tǒng)的功能架構(gòu)和技術(shù)架構(gòu)兩個方面描述了系統(tǒng)的整體功能和總體流程，最后具體描述了插件機制的設計和爬取模塊、文檔解析模塊及檢索和索引模塊幾個關(guān)鍵模塊的詳細設計。

關(guān)鍵詞：校園網(wǎng)；搜索引擎；網(wǎng)絡爬蟲；文檔解析；索引
The Desine Of Campus Network Search Engine

ABSTRACT

With the Internet's rapid development ,How the information in the mass rapid positioning information of interest to them has become one of the most concern. The search engine technology between users and information sources to build a bridge to provide users with an effective means of information retrieva l. Therefore, based on integration of campus network resources, in the study of the basic principles of search engine, the core technology and processes, based on the campus network search engine combined with the individual requirements, the paper design of a flexible, configurable, can be a good scalability and efficient search engine of campus network systems.
　　This paper introduces the context of system development and search engine technology at home and abroad to develop the status quo, and a detailed description of the search engine system development process and methods. First, from the functional requirements and non-functional requirements of the campus network the two aspects of the personalized search engine needs analysis, needs analysis based on the results of the system to achieve the objectives and principles, and then from the system architecture and technical structure of the two aspects describes the system's overall function and the overall process, and finally describes the plug-in mechanism for the specific design and climbing access module, document analysis and retrieva l and indexing module of several modules of the detailed design of key modules. 

KEY WORDS：Campus Network; search engine; network reptiles; document analysis; Index

　　　　　　　　　　　　　　　　　　目　錄

前　言 1
第1章 緒論 2
　　§1.1 系統(tǒng)開發(fā)背景 2
　　§1.2 國內(nèi)外搜索引擎發(fā)展現(xiàn)狀 2
　　　　§1.2.1 國內(nèi)外技術(shù)發(fā)展概況 2
　　　　§1.2.2 搜索引擎發(fā)展現(xiàn)狀 3
　　§1.3 本文的主要工作 4
　　§1.4 本文的組織結(jié)構(gòu) 4
第2章 系統(tǒng)架構(gòu)設計 5
　　§2.1 需求分析 5
　　§2.2 系統(tǒng)設計目標和原則 5
　　§2.3 系統(tǒng)功能架構(gòu)設計 6
　　　§2.3.1 系統(tǒng)功能描述 6
　　　§2.3.2 系統(tǒng)總體流程 7
　　　§2.3.3 爬取模塊設計 8
　　　§2.3.4 中文分詞模塊 10
　　　§2.3.5 索引和檢索模塊 11
　　§2.4 系統(tǒng)技術(shù)架構(gòu)設計 15
　　　§2.4.1 插件機制 15
　　　§2.4.2 MapRedtic分布式處理模型 17
第3章 系統(tǒng)詳細設計 20
　　§3.1 插件機制的詳細設計 20
　　　　§3.1.1 重要概念 20
　　　　§3.1.2 類裝載策略 21
　　　　§3.1.3 類圖 22
　　　　§3.1.4 配置文件結(jié)構(gòu) 23
　　　　§3.1.5 擴展點設計 24
　　§3.2分布式處理和存儲 24
　　§3.3主要模塊詳細設計 25
　　　　§3.3.1爬取模塊 25
　　　　§3.3.2文檔解析模塊 27
　　　　§3.3.3索引和檢索模塊 28
結(jié)　論 31
參考文獻 32
致　謝 34