53頁(yè)共計(jì)17476字

中文摘要
上個(gè)世紀(jì)90年代早期網(wǎng)格計(jì)算的理念被提出，這這項(xiàng)技術(shù)旨在整合網(wǎng)絡(luò)中的計(jì)算資源，使其能夠達(dá)到電力網(wǎng)絡(luò)中的電力“即插即用”的效果，它被認(rèn)為是“下一代網(wǎng)絡(luò)框架的基石”。數(shù)據(jù)流應(yīng)用是網(wǎng)格計(jì)算框架中的一個(gè)重要的組成部分，特別是在處理海量數(shù)據(jù)的傳輸及實(shí)時(shí)處理時(shí)，需要綜合考慮網(wǎng)絡(luò)帶寬資源、計(jì)算網(wǎng)絡(luò)的存儲(chǔ)資源及計(jì)算資源等的各種限制性條件，此時(shí)采用流式數(shù)據(jù)傳輸及實(shí)時(shí)處理是一種適宜的選擇，但如今數(shù)據(jù)流應(yīng)用目前來(lái)說(shuō)尚不成熟，因而對(duì)其進(jìn)行研究和探索是非常有意義的工作。
本文的工作主要包括下面二個(gè)方面：一是結(jié)合美國(guó)Laser Interferometer Gravitational-wave Observatory (LIGO)這個(gè)實(shí)際工程項(xiàng)目背景構(gòu)建一套基于網(wǎng)格計(jì)算網(wǎng)絡(luò)的數(shù)據(jù)流應(yīng)用框架和機(jī)制包括尋求令人滿(mǎn)意的任務(wù)管理和資源分配的解決方案；二是進(jìn)行模擬仿真和以Globus、Condor等現(xiàn)有的網(wǎng)格計(jì)算平臺(tái)工具搭建現(xiàn)實(shí)網(wǎng)絡(luò)，進(jìn)行實(shí)際測(cè)試。
通過(guò)測(cè)試可以發(fā)現(xiàn)，引入按需傳輸數(shù)據(jù)和及時(shí)數(shù)據(jù)清理等機(jī)制可以滿(mǎn)足應(yīng)用的要求，使得計(jì)算網(wǎng)絡(luò)在有限的存儲(chǔ)及帶寬的條件下盡量充分地利用其計(jì)算資源，在整個(gè)過(guò)程中海量數(shù)據(jù)不斷地以數(shù)據(jù)流的方式進(jìn)行傳輸。實(shí)驗(yàn)結(jié)果還表明我們的網(wǎng)絡(luò)環(huán)境具有良好的健壯性和自適應(yīng)性。
當(dāng)然本文所做的工作還有許多不足，考慮多個(gè)數(shù)據(jù)處理應(yīng)用間的數(shù)據(jù)分享問(wèn)題，嘗試?yán)贸z傳算法之外的其他啟發(fā)式算法進(jìn)行優(yōu)化，擴(kuò)寬我們實(shí)驗(yàn)的計(jì)算網(wǎng)絡(luò)等都是本文后續(xù)可以研究的方向。
目 錄
第1章 網(wǎng)格計(jì)算及文章結(jié)構(gòu) 1
1.1 網(wǎng)格計(jì)算的起源及發(fā)展 1
1.1.1 什么是網(wǎng)格計(jì)算 1
1.1.2 網(wǎng)格計(jì)算的起源 2
1.1.3 驅(qū)動(dòng)網(wǎng)格計(jì)算發(fā)展的經(jīng)濟(jì)動(dòng)力 2
1.1.4 當(dāng)今網(wǎng)格計(jì)算的主要應(yīng)用 3
1.1.5 網(wǎng)格計(jì)算的未來(lái) 3
1.2 問(wèn)題提出 4
1.2.1 LIGO項(xiàng)目 4
1.2.2數(shù)據(jù)流需求 5
1.3 本文的工作及文章結(jié)構(gòu) 7
1.3.1 本文的工作 7
1.3.2 文章的結(jié)構(gòu) 7
第2章 數(shù)據(jù)流應(yīng)用框架和機(jī)制 9
2.1 系統(tǒng)框架 9
2.2 任務(wù)管理 13
2.2.1 任務(wù)管理工作流程 13
2.2.2 任務(wù)管理的優(yōu)化機(jī)制和算法 14
2.3 資源調(diào)度 15
2.3.1 資源調(diào)度工作流程 15
2.3.2 存儲(chǔ)管理的優(yōu)化機(jī)制和算法 17
2.3.3 網(wǎng)絡(luò)傳輸?shù)膬?yōu)化機(jī)制和算法 19
第3章 數(shù)據(jù)流應(yīng)用系統(tǒng)測(cè)試和結(jié)果分析 21
3.1 計(jì)算機(jī)模擬仿真測(cè)試 21
3.1.1 數(shù)據(jù)流應(yīng)用系統(tǒng)的模擬實(shí)現(xiàn)框架結(jié)構(gòu) 21
3.1.2 進(jìn)行測(cè)評(píng)的實(shí)驗(yàn)數(shù)據(jù) 22
3.1.3 調(diào)度管理程序流程圖 24
3.1.4 測(cè)試結(jié)果及分析 25
3.2 搭建Condor計(jì)算網(wǎng)絡(luò)測(cè)試 28
3.2.1 Condor和Condor環(huán)境 29
3.2.2 Condor網(wǎng)絡(luò)數(shù)據(jù)流實(shí)驗(yàn) 30
3.2.3 測(cè)試結(jié)果及分析 31
第4章 結(jié)論及展望 33
插圖索引 34
表格索引 36
參考文獻(xiàn) 37
致 謝 39

關(guān)鍵詞：網(wǎng)格計(jì)算 數(shù)據(jù)流應(yīng)用 任務(wù)管理 資源分配
參考文獻(xiàn)
[9] B. Agarwalla, N. Ahmed, D. Hilley, and U. Ramachandran, “Streamline: a Scheduling Heuristic for Streaming Applications on the Grid”, in Proc. SPIE Multimedia Computing and Networking, Vol. 6071, 2006.
[10] B. Agarwalla, N. Ahmed, D. Hilley, and U. Ramachandran, “Streamline: Scheduling Streaming Applications in a Wide Area Environment”, Multimedia Systems, Vol. 13, No. 1, pp. 69-85, 2007.
[11] B. Allcock, J. Bester, J. Bresnahan, A. L. Chervenak, I. Foster, C. Kesselman, S. Meder, V. Nefedova, D. Quesnal, and S. Tuecke, “Data Management and Transfer in High Performance Computational Grid Environments”, Parallel Computing, Vol. 28, No. 5, pp. 749-771, 2002.
[12] E. Deelman, C. Kesselman, G. Mehta, L. Meshkat, L. Pearlman, et. al., “GriPhyN and LIGO, Building a Virtual Data Grid for Gravitational Wave Scientists”, in Proc. 11th IEEE Int. Symp. on High Performance Distributed Computing, pp. 225-234, 2002.
[13] I. Foster and C. Kesselman, “Globus: A Metacomputing Infrastructure Toolkit”, Int. J. Supercomputer Applications, Vol. 11, No. 2, pp. 115-128, 1997.
[14] A. Ramakrishnan, G. Singh, H. Zhao, E. Deelman, R. Sakellariou, K. Vahi, K. Blackburn, D. Meyers, and M. Samidi, “Scheduling Data-intensive Workflow onto Storage-Constrained Distributed Resources”, in Proc. 7th IEEE Int. Symp. on Cluster Computing and the Grid, Rio de Janeiro, Brazil, pp. 401-409, 2007.
[15] Y. Zhu and D. Shasha, “Statstream: Statistical Monitoring of Thousands of Data Streams in Real Time”, Technical Report TR2002-827, CS Dept, New York University, 2002.
[16] S. Klasky, S. Ethier, Z. Lin, K. Martins, D. McCune and R. Samtaney, “Grid-Based Parallel Data Streaming Implemented for the Gyrokinetic Toroidal Code”, in Proc. ACM/IEEE Supercomputing Conf., 2003.