MP3下載器的設(shè)計(jì)與實(shí)現(xiàn)
1.3萬字 36頁
包括開題報(bào)告，任務(wù)書，代碼



摘 要
搜索引擎，作為訪問互聯(lián)網(wǎng)的“網(wǎng)絡(luò)門戶”，是從www上快速而有效地獲取信息資源的捷徑。而網(wǎng)絡(luò)爬蟲作為搜索引擎的關(guān)鍵技術(shù)，它是一個(gè)自動(dòng)提取，分析并過濾網(wǎng)頁的程序,為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁,是搜索引擎的重要組成。文件傳輸，作為網(wǎng)絡(luò)應(yīng)用中最主要的功能，也是互聯(lián)網(wǎng)中資源共享的基礎(chǔ)。下載工具也成為互聯(lián)網(wǎng)中一種必不可少的工具。一些重要的協(xié)議像HTTP，F(xiàn)TP等都支持文件的傳送，特別是基于P2P技術(shù)的，多任務(wù)，多線程，多源，斷點(diǎn)續(xù)傳的下載機(jī)制，極大的提高了網(wǎng)絡(luò)資源的下載速度，最大化了網(wǎng)絡(luò)資源的共享。
論文首先介紹了課題涉及到的主要理論和技術(shù),在詳細(xì)分析了爬蟲技術(shù)的原理和文件下載機(jī)制的基礎(chǔ)上，針對本課題的應(yīng)用，改進(jìn)了爬蟲算法。根據(jù)所改進(jìn)的爬蟲算法設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)MP3下載器，該MP3下載器主要由網(wǎng)絡(luò)爬蟲程序和文件下載2部分組成。網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)了在互聯(lián)網(wǎng)上抓取MP3格式的音樂資源的URL鏈接及相關(guān)信息（歌曲名,藝術(shù)家，專輯名等），并將信息以XML形式的數(shù)據(jù)格式保存在本地，為以后查詢下載提供基礎(chǔ)。實(shí)現(xiàn)了基于HTTP協(xié)議的文件下載，并提供了斷點(diǎn)續(xù)傳機(jī)制和多任務(wù)下載以及文件自動(dòng)重命名功能。然后，對該MP3下載器進(jìn)行了測試，測試結(jié)果表明，MP3下載器在爬蟲抓取MP3信息以及MP3下載上均取得了預(yù)期的效果。
論文最后對全文進(jìn)行了總結(jié)，并對今后工作作出了展望。

關(guān)鍵字：搜索引擎，網(wǎng)絡(luò)爬蟲，HTTP，P2P，斷點(diǎn)續(xù)傳
Design and Implement of MP3 Download
Abstract
Search engine, as a visit to the Internet "portal”, is a shortcut to rapid and effective access to the information resources from the www. Web crawler technology is the key to search engine, it is an automatic extraction, analysis and filtering website procedures for search engine downloaded the webpage from the World Wide Web. File transfer, as the most important network application functions, also is the basis of resources sharing on the Internet. Download tools has become an indispensable tool on the Internet. Some important protocols like HTTP, FTP and so on are major support as the supporting for the transmission of documents, particularly those based on P2P technology, multi-tasking, multi-threaded, multi-source and breakpoint continuingly download mechanism greatly improves the network download speed; maximize the sharing of network resources.
This paper first introduces the main theory and technology which related to the
Theme, analyzes the principles of the web crawler and the mechanisms for downloading in deeply, improving the web crawler algorithm to satisfy with the application. To design and implement of an MP3 download, according to the improved algorithm of the web crawler,. The Web crawler on the Internet crawls MP3 link resources and related information (title, artist, album, etc.), and also stored the information in the forms of XML in local file, providing a basis for future inquiries and downloading. Implementing a download based on HTTP protocol and providing a mechanism for breakpoint continuingly, multi-tasking download and automatic rename the downloaded file. Then, having a test for the MP3 download; it shows that it achieved expected results.
Finally, the researcher would show a review and outlook of the topics.

Key Words: Search engine, Web Crawler, HTTP, P2P, Breakpoint Continuingly




目 錄
1緒論 1
1.1 課題的背景和目的 1
1.2 國內(nèi)外研究現(xiàn)狀及趨勢 1
1.2.1 搜索引擎 1
1.2.2 文件下載 2
1.3 課題研究的內(nèi)容和意義 3
1.4 本文的結(jié)構(gòu) 4
2 技術(shù)概述 5
2.1 正則匹配 5
2.2 XML 5
2.3 搜索引擎的原理 6
2.4 線程 7
2.4.1 線程 7
2.4.2 多線程 8
2.5 MP3標(biāo)簽信息 9
2.6 HTTP協(xié)議 9
2.7 PageRank算法 10
2.8 本章小結(jié) 11
3 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 12
3.1 系統(tǒng)流程圖 12
3.2 MP3爬蟲算法 13
3.2.1 廣度優(yōu)先遍歷策略 13
3.2.2 基于本課題的爬蟲算法改進(jìn) 14
3.2.3 解析HTML 15
3.3 MP3標(biāo)簽 15
3.3.1 MP3標(biāo)簽提取 15
3.3.2 MP3標(biāo)簽存儲 17
3.4 文件下載 17
3.4.1 斷點(diǎn)續(xù)傳 17
3.4.2 批量下載 18
3.4.3 文件重命名 20
3.4.4 下載速度，進(jìn)度，剩余下載時(shí)間的計(jì)算 21
3.5 .ini配置文件 22
3.6 delegate 和event自定義事件 22
3.7 本章小結(jié) 23
4 試驗(yàn)結(jié)果分析 24
4.1 網(wǎng)絡(luò)爬蟲 24
4.2 查詢 25
4.3 文件下載 25
4.4 結(jié)果分析 26
4.5 本章小結(jié) 27
5 總結(jié)和展望 28
5.1 總結(jié) 28
5.2 展望 28
致 謝 30
參考文獻(xiàn) 31



參考文獻(xiàn)
[1]張濤. 網(wǎng)絡(luò)蜘蛛在智能搜索引擎中的設(shè)計(jì)與實(shí)現(xiàn)[D].蘭州:蘭州理工大學(xué).2003.
[2]閆俊英. 垂直搜索引擎的研究與實(shí)現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學(xué).2004.
[3]叢磊.桌面搜索引擎的研究與實(shí)現(xiàn)[D].北京：北京化工大學(xué).2006.
[4]陳杰. 主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究[D]. 杭州:浙江大學(xué).2006.
[5]車志軍. 人工智能在搜索引擎資源獲取中的應(yīng)用[D]. 杭州:浙江大學(xué).2006.
[6]佚名.網(wǎng)絡(luò)爬蟲技術(shù)介紹[EB/OL]