2.6萬字 27頁
摘要
網(wǎng)頁機(jī)器人是搜索引擎的一部分，要了解它就要從了解搜索引擎入手。所謂搜索引擎, 就是一種指能夠自動(dòng)對WWW 資源建立索引或進(jìn)行主題分類, 并通過查詢語法為用戶返回匹配資源的系統(tǒng)。隨著互聯(lián)網(wǎng)規(guī)模的飛速增長，高效、準(zhǔn)確地獲得包含用戶所需信息的網(wǎng)頁，日益成為需要迫切解決的問題。搜索引擎是解決這一問題的一個(gè)有效方法?；ヂ?lián)網(wǎng)上使用的搜索引擎很多, 像Google、Info seek、Lycos、Yahoo、百度等都是網(wǎng)絡(luò)上非常著名的搜索引擎站點(diǎn), 這些搜索引擎所采用的技術(shù)和實(shí)現(xiàn)的方法各有其特點(diǎn)。本文論述了網(wǎng)頁機(jī)器人的工作原理,設(shè)計(jì)了一個(gè)小型的機(jī)器人程序，用VB實(shí)現(xiàn)了Web文檔的下載、超鏈接提取、新超鏈接的可用性判斷。為提高網(wǎng)頁機(jī)器人的效率使用了WinInet API中的ＨＴＴＰ函數(shù)。對網(wǎng)站建設(shè)和信息采集工具的開發(fā)具有一定的參考價(jià)值。
Abstract
The author discussed the work principle of the Web Robot and designed a small scaled Web Robot program with VB, which can download the web pages from the websites,find out the hyperlinks from the web pages and test the availability of the new hyperlinks. To improve the efficiency of the Web Robot,the designer used the HTTP functions within the WinInet API .The paper is valuable for constructing a website and developing a Information Retrieval tool.

Key Words:Web Robot;Search Engine; Information Retrieval

目 錄
第一章 緒論
第二章網(wǎng)頁機(jī)器人設(shè)計(jì)
2.1網(wǎng)頁機(jī)器人的基本工作原理
2.2網(wǎng)頁機(jī)器人的搜索策略
2.3媒體文件內(nèi)容的提取
2.4網(wǎng)頁的更新周期
2.5網(wǎng)頁機(jī)器人設(shè)計(jì)中應(yīng)注意的問題
2.6 HTTP協(xié)議
第三章 系統(tǒng)設(shè)計(jì)與相關(guān)技術(shù)
3.1系統(tǒng)設(shè)計(jì)概況
3.1.1系統(tǒng)設(shè)計(jì)的總體目標(biāo)
3.1.2系統(tǒng)設(shè)計(jì)開發(fā)環(huán)境
3.2 程序整體流程圖
3.3 網(wǎng)頁下載流程
3. 4 實(shí)現(xiàn)網(wǎng)頁下載的方法
3.5 鏈接的提取
3.6數(shù)據(jù)庫設(shè)計(jì)
第四章 測試分析
4.1軟件測試平臺
4.2測試結(jié)果
4.3分析結(jié)果
第五章 總結(jié)
致謝
參考文獻(xiàn)