BBS 論壇數(shù)據(jù)抓取 源代碼+論文

頁數(shù)：44
字數(shù)：21727
內(nèi)容摘要

隨著搜索引擎技術的迅速發(fā)展，網(wǎng)絡上越來越龐大的信息量，對垂直搜索引擎的需求也越來越強烈，本文就是為構(gòu)建海事領域的一個垂直搜索引擎獲取有關bbs數(shù)據(jù)的一個應用程序的具體實現(xiàn)的詳細闡述。以及搜索引擎常用方法的簡述。
本論文首先介紹了開發(fā)該系統(tǒng)的目的、背景，接著通過對比分析當前的網(wǎng)上數(shù)據(jù)抓取技術，介紹了開發(fā)本系統(tǒng)所使用的技術，之后重點介紹了本系統(tǒng)的功能需求和功能模塊的劃分、數(shù)據(jù)庫設計和功能模塊的實現(xiàn)。最后闡述了開發(fā)本系統(tǒng)的收獲和本系統(tǒng)的待完善之處。
本系統(tǒng)分為兩個模塊：搜索模塊、bbs數(shù)據(jù)抓取和論壇管理模塊。
本論文設計與實現(xiàn)的BBS網(wǎng)上數(shù)據(jù)抓取系統(tǒng)是采用基于B/S結(jié)構(gòu)的php+mysql+apche方式，采用php面向?qū)ο蠹夹g和MySQL數(shù)據(jù)庫技術進行設計與實現(xiàn)的，具有功能強大、性能優(yōu)越、安裝部署簡單、安全體系完備等優(yōu)點，并具有良好的可擴展性、可移植性和可維護性。
目 錄
1 引言 1
1.1 選題背景和意義 1
1.2 研究內(nèi)容 1
1.3 論文章節(jié)安排 1
2 相關技術介紹 2
2.1搜索引擎技術簡單介紹[15] 2
2.1.1搜索引擎發(fā)展歷史 2
2.1.2 搜索引擎分類介紹 3
2.1.3 搜索引擎工作原理 4
2.2 數(shù)據(jù)抓取技術介紹 6
2.2.1 網(wǎng)絡爬蟲原理 6
2.3 系統(tǒng)的開發(fā)平臺 8
2.3.1 系統(tǒng)開發(fā)模式 8
2.4 系統(tǒng)開發(fā)工具及技術簡介 9
2．4．1 PHP簡介 9
2.4.2數(shù)據(jù)庫系統(tǒng)MYSQL 10
2.4.3 Apache簡介 11
2.4.5 Javascript 11
2.5 正則表達式簡介[16] 12
2.5.1 什么是正則表達式 12
2.5.2正則表達式入門 12
2.5.3正則表達式的元字符 13
2.5.4正則表達式的字符轉(zhuǎn)義和重復 15
2.5.5字符類 15
3 BBS論壇數(shù)據(jù)抓取系統(tǒng)的分析 17
3.1 BBS論壇數(shù)據(jù)抓取系統(tǒng)可行性分析 17
3.1.1 經(jīng)濟可行性 17
3.1.2 技術可行性 17
3.2 BBS網(wǎng)上數(shù)據(jù)抓取系統(tǒng)需求分析 17
3.2.1開發(fā)環(huán)境 17
3.2.2功能需求 18
3.3 BBS網(wǎng)上數(shù)據(jù)抓取系統(tǒng)的設計 19
3.3.1 BBS網(wǎng)上數(shù)據(jù)抓取系統(tǒng)的總體設計 19
3.3.2 BBS網(wǎng)上數(shù)據(jù)抓取系統(tǒng)的詳細設計 19
3.4 BBS網(wǎng)上數(shù)據(jù)抓取系統(tǒng)的數(shù)據(jù)庫設計 27
3.4.1數(shù)據(jù)庫概念結(jié)構(gòu)設計 27
3.4.2數(shù)據(jù)庫邏輯結(jié)構(gòu)設計 27
3.4.3數(shù)據(jù)庫的生成 30
4 BBS網(wǎng)上數(shù)據(jù)抓取系統(tǒng)的實現(xiàn) 32
4.1 公共頁面的實現(xiàn) 32
4.1.1 網(wǎng)站首頁 32
4.1.2 管理員操作界面實現(xiàn) 32
4.1.3 新增論壇功能模塊實現(xiàn) 33
4.1.4編輯論壇信息功能模塊實現(xiàn) 33
4.1.5獲取論壇數(shù)據(jù)功能模塊實現(xiàn) 33
4.1.6獲取論壇版塊功能模塊實現(xiàn) 34
4.1.7獲取論壇帖子功能模塊實現(xiàn) 35
5 BBS網(wǎng)上數(shù)據(jù)抓取系統(tǒng)關鍵技術研究與分析 37
5.1 連接數(shù)據(jù)庫 37
5.2 正確獲取論壇版塊和帖子標題問題 38
6 結(jié)論 39
6.1論文總結(jié) 39
6.2不足與展望 39
參考文獻 41

參考文獻
[1] Elliott White III Jonnathan D.Eisenhamer 著 王軍翻譯PHP5in Pracetice
[2] 龔泰寧。PHP5輕松開發(fā)Web網(wǎng)站。北京希望電子出版社，2006年5月
[3] 邵麗萍等編。網(wǎng)站編程技術。清華大學出版社，2005年
[4] 鄒天思 PHP從入門到精通 清華大學出版社 2008年
[5] 作者 Luke Welling Laura Thomson 翻譯 武欣 PHP 和MYSQL WEB開發(fā)（原書第4版） 機械工業(yè)出版社 2009年。
[6] 張洪偉。Tomcat web開發(fā)及整合應用。清華大學出版社，2006年
[7] 作者 聶慶鵬 毛書朋 王志樂 PHP+MYSQL 動態(tài)網(wǎng)站開發(fā)與全程實例 清華大學出版社 2007年 2008年
[8] 作者 Sirovich.J Darie。C 翻譯 鄧少鹍 搜索引擎優(yōu)化高級編程（ PHP版）清華大學出版社
[9] 作者 澤瓦斯 Zervaas.Q。 澳大利亞PHP Wed2.0開發(fā)實戰(zhàn) 人民郵電出版社 (2008-10出版)
[10] 張家境。MySQL與電子商務實戰(zhàn)。人民郵電出版社，2001年
[11] 薩師煊，王珊。數(shù)據(jù)庫系統(tǒng)概論。高等教育出版社，2000年
[12] 作者 梁斌 走進搜索引擎 電子工業(yè)出版社2007-01