MP3下載器的設計與實現(xiàn)
1.3萬字 36頁
包括開題報告，任務書，代碼



摘 要
搜索引擎，作為訪問互聯(lián)網(wǎng)的“網(wǎng)絡門戶”，是從www上快速而有效地獲取信息資源的捷徑。而網(wǎng)絡爬蟲作為搜索引擎的關鍵技術，它是一個自動提取，分析并過濾網(wǎng)頁的程序,為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁,是搜索引擎的重要組成。文件傳輸，作為網(wǎng)絡應用中最主要的功能，也是互聯(lián)網(wǎng)中資源共享的基礎。下載工具也成為互聯(lián)網(wǎng)中一種必不可少的工具。一些重要的協(xié)議像HTTP，F(xiàn)TP等都支持文件的傳送，特別是基于P2P技術的，多任務，多線程，多源，斷點續(xù)傳的下載機制，極大的提高了網(wǎng)絡資源的下載速度，最大化了網(wǎng)絡資源的共享。
論文首先介紹了課題涉及到的主要理論和技術,在詳細分析了爬蟲技術的原理和文件下載機制的基礎上，針對本課題的應用，改進了爬蟲算法。根據(jù)所改進的爬蟲算法設計并實現(xiàn)了一個MP3下載器，該MP3下載器主要由網(wǎng)絡爬蟲程序和文件下載2部分組成。網(wǎng)絡爬蟲實現(xiàn)了在互聯(lián)網(wǎng)上抓取MP3格式的音樂資源的URL鏈接及相關信息（歌曲名,藝術家，專輯名等），并將信息以XML形式的數(shù)據(jù)格式保存在本地，為以后查詢下載提供基礎。實現(xiàn)了基于HTTP協(xié)議的文件下載，并提供了斷點續(xù)傳機制和多任務下載以及文件自動重命名功能。然后，對該MP3下載器進行了測試，測試結果表明，MP3下載器在爬蟲抓取MP3信息以及MP3下載上均取得了預期的效果。
論文最后對全文進行了總結，并對今后工作作出了展望。

關鍵字：搜索引擎，網(wǎng)絡爬蟲，HTTP，P2P，斷點續(xù)傳
Design and Implement of MP3 Download
Abstract
Search engine, as a visit to the Internet "portal”, is a shortcut to rapid and effective access to the information resources from the www. Web crawler technology is the key to search engine, it is an automatic extraction, analysis and filtering website procedures for search engine downloaded the webpage from the World Wide Web. File transfer, as the most important network application functions, also is the basis of resources sharing on the Internet. Download tools has become an indispensable tool on the Internet. Some important protocols like HTTP, FTP and so on are major support as the supporting for the transmission of documents, particularly those based on P2P technology, multi-tasking, multi-threaded, multi-source and breakpoint continuingly download mechanism greatly improves the network download speed; maximize the sharing of network resources.
This paper first introduces the main theory and technology which related to the
Theme, analyzes the principles of the web crawler and the mechanisms for downloading in deeply, improving the web crawler algorithm to satisfy with the application. To design and implement of an MP3 download, according to the improved algorithm of the web crawler,. The Web crawler on the Internet crawls MP3 link resources and related information (title, artist, album, etc.), and also stored the information in the forms of XML in local file, providing a basis for future inquiries and downloading. Implementing a download based on HTTP protocol and providing a mechanism for breakpoint continuingly, multi-tasking download and automatic rename the downloaded file. Then, having a test for the MP3 download; it shows that it achieved expected results.
Finally, the researcher would show a review and outlook of the topics.

Key Words: Search engine, Web Crawler, HTTP, P2P, Breakpoint Continuingly




目 錄
1緒論 1
1.1 課題的背景和目的 1
1.2 國內外研究現(xiàn)狀及趨勢 1
1.2.1 搜索引擎 1
1.2.2 文件下載 2
1.3 課題研究的內容和意義 3
1.4 本文的結構 4
2 技術概述 5
2.1 正則匹配 5
2.2 XML 5
2.3 搜索引擎的原理 6
2.4 線程 7
2.4.1 線程 7
2.4.2 多線程 8
2.5 MP3標簽信息 9
2.6 HTTP協(xié)議 9
2.7 PageRank算法 10
2.8 本章小結 11
3 系統(tǒng)的設計與實現(xiàn) 12
3.1 系統(tǒng)流程圖 12
3.2 MP3爬蟲算法 13
3.2.1 廣度優(yōu)先遍歷策略 13
3.2.2 基于本課題的爬蟲算法改進 14
3.2.3 解析HTML 15
3.3 MP3標簽 15
3.3.1 MP3標簽提取 15
3.3.2 MP3標簽存儲 17
3.4 文件下載 17
3.4.1 斷點續(xù)傳 17
3.4.2 批量下載 18
3.4.3 文件重命名 20
3.4.4 下載速度，進度，剩余下載時間的計算 21
3.5 .ini配置文件 22
3.6 delegate 和event自定義事件 22
3.7 本章小結 23
4 試驗結果分析 24
4.1 網(wǎng)絡爬蟲 24
4.2 查詢 25
4.3 文件下載 25
4.4 結果分析 26
4.5 本章小結 27
5 總結和展望 28
5.1 總結 28
5.2 展望 28
致 謝 30
參考文獻 31



參考文獻
[1]張濤. 網(wǎng)絡蜘蛛在智能搜索引擎中的設計與實現(xiàn)[D].蘭州:蘭州理工大學.2003.
[2]閆俊英. 垂直搜索引擎的研究與實現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學.2004.
[3]叢磊.桌面搜索引擎的研究與實現(xiàn)[D].北京：北京化工大學.2006.
[4]陳杰. 主題搜索引擎中網(wǎng)絡蜘蛛搜索策略研究[D]. 杭州:浙江大學.2006.
[5]車志軍. 人工智能在搜索引擎資源獲取中的應用[D]. 杭州:浙江大學.2006.
[6]佚名.網(wǎng)絡爬蟲技術介紹[EB/OL]