搜索引擎中資源挖掘的研究
3.1萬字 27頁
論文+開題+任務(wù)書+翻譯+程序代碼



摘 要
隨著Internet的迅速發(fā)展，網(wǎng)上信息以幾何級(jí)數(shù)增長，面對(duì)Internet上大量豐富的信息，用戶面臨一個(gè)重大的問題：在成千上萬個(gè)網(wǎng)站中，如何快速有效地找到所需的信息？搜索引擎(Search Engine)正是為解決這一重大問題而問世的。它是一個(gè)專門提供用戶查Internet上信息的網(wǎng)站。當(dāng)用戶查詢時(shí)，搜索引擎會(huì)提交滿足用戶查詢的所有網(wǎng)址，并提供通向該網(wǎng)站的鏈接。
搜索引擎由三部分組成：負(fù)責(zé)從網(wǎng)上收集信息的蜘蛛Spider，對(duì)信息進(jìn)行索引的索引器Indexer，處理用戶查詢并提供用戶界面的搜索器Searcher。本文主要研究中文文本W(wǎng)EB搜索引擎設(shè)計(jì)中面臨的關(guān)鍵技術(shù)以及相應(yīng)的設(shè)計(jì)實(shí)現(xiàn)。文章首先介紹了搜索引擎的基本系統(tǒng)結(jié)構(gòu)，概括介紹了搜索引擎的主要結(jié)構(gòu)框架。然后介紹了如何快速、有效地獲得WEB上的信息，并且介紹了搜尋程序在設(shè)計(jì)時(shí)應(yīng)考慮的問題以及相應(yīng)的算法實(shí)現(xiàn)。此系統(tǒng)采用功能強(qiáng)大的Microsoft Visual C++作為開發(fā)工具來開發(fā)。

[關(guān)鍵詞]：WEB搜索引擎，網(wǎng)絡(luò)蜘蛛，索引器，Microsoft Visual C++



Study and realization on resources collection
of the Search Engine
ABSTRACT
With the rapid development of Internet, the quantity of information on Internet is increasing very quickly. Facing the large amount of information on Internet, the users have to meet one critical question that how to get the information which they need from thousands of Websites on Internet. Search engine was introduced to solve this problem. It is a Website that provides users to query information on Internet. When users query, Search engine will supply them all of websites which include those information they need and ......


目 錄
摘要 Ⅰ
ABSTRACT Ⅰ
第一章 緒論 1
1.1搜索引擎概述 1
1.2搜索引擎現(xiàn)狀 1
1.3搜索引擎體系結(jié)構(gòu) 2
1.3.1 Spider工作原理 3
1.3.2索引器Indexer的工作原理 4
1.3.3 Searcher的工作原理 5
1.4本文研究內(nèi)容 5
第二章 與本文的相關(guān)技術(shù) 6
2.1 HTTP協(xié)議 6
2.2 HTML語言 7
2.2.1 HTML語言簡介 7
2.2.2 HTML的標(biāo)題頭 7
2.2.3 HTML中標(biāo)準(zhǔn)超鏈的各種語法 8
第三章 網(wǎng)絡(luò)蜘蛛的實(shí)現(xiàn) 9
3.1網(wǎng)絡(luò)蜘蛛概述 9
3.2網(wǎng)絡(luò)蜘蛛實(shí)現(xiàn)的網(wǎng)絡(luò)基礎(chǔ) 9
3.2.1 WWW中頁面內(nèi)容與鏈接的特點(diǎn) 9
3.2.2超鏈接與頁面內(nèi)容的關(guān)系 10
3.2.3頁面質(zhì)量的評(píng)價(jià) 10
3.3網(wǎng)絡(luò)蜘蛛尋找WWW文檔 11
3.4相關(guān)性的判斷 11
3.5網(wǎng)絡(luò)蜘蛛排斥標(biāo)準(zhǔn) 12
3.6網(wǎng)絡(luò)蜘蛛實(shí)現(xiàn)的關(guān)鍵技術(shù) 13
3.6.1起始地址的選擇 13
3.6.2漫游空間的劃分 13
3.6.3網(wǎng)絡(luò)蜘蛛的控制原則 14
3.7網(wǎng)絡(luò)蜘蛛的實(shí)現(xiàn)算法 15
3.7.1網(wǎng)絡(luò)蜘蛛算法分析 15
3.7.2網(wǎng)絡(luò)蜘蛛流程圖的設(shè)計(jì) 15
3.7.3網(wǎng)絡(luò)蜘蛛功能實(shí)現(xiàn) 17
第四章 總結(jié)與展望 25
4.1本文總結(jié) 25
4.2對(duì)未來工作的展望 25
致謝 26
參考文獻(xiàn) 26



參考文獻(xiàn)
[1] 鄒濤，張福炎.網(wǎng)絡(luò)信息搜尋技術(shù)與發(fā)展.計(jì)算機(jī)工程與科學(xué).第20卷第4期，1998年11月，P33-P36.