高容錯(cuò)性分布式文件系統(tǒng)EvoDFS的設(shè)計(jì)與實(shí)現(xiàn)

2.3萬字 48頁 原創(chuàng)作品，通過查重系統(tǒng)

摘要
隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，產(chǎn)生了大量的數(shù)據(jù)。海量數(shù)據(jù)如何高效的存儲(chǔ)和訪問成為新的挑戰(zhàn)，隨著文件數(shù)量和訪問量的迅速增加，傳統(tǒng)的文件系統(tǒng)已成為制約互聯(lián)網(wǎng)應(yīng)用的瓶頸所在。分布式文件系統(tǒng)有效地解決了海量存儲(chǔ)和高并發(fā)訪問的問題，已成功地為許多應(yīng)用提供數(shù)據(jù)存儲(chǔ)服務(wù)。
本文分析了當(dāng)前眾多的分布式文件系統(tǒng)，重點(diǎn)分析了HDFS和TFS。HDFS適用于存儲(chǔ)大文件的場(chǎng)景，而TFS則適用于存儲(chǔ)小文件的場(chǎng)景，HDFS和TFS的元數(shù)據(jù)服務(wù)器都由單一結(jié)點(diǎn)組成，具有單點(diǎn)失效問題。本文在對(duì)分布式文件系統(tǒng)的相關(guān)技術(shù)進(jìn)行充分研究的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了分布式文件系統(tǒng)EvoDFS。
本文所做的主要工作包括以下幾個(gè)方面：
1. 設(shè)計(jì)了EvoDFS的架構(gòu)。EvoDFS采用純分布式架構(gòu)，采用多個(gè)元數(shù)據(jù)服務(wù)器和多個(gè)數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器數(shù)量均可任意擴(kuò)展。元數(shù)據(jù)和文件數(shù)據(jù)都分布存儲(chǔ)，采用副本機(jī)制提高系統(tǒng)容錯(cuò)性，不存在單點(diǎn)失效，解決了HDFS和TFS等現(xiàn)有分布式文件系統(tǒng)的單點(diǎn)失效問題，大大提高了并發(fā)性。
2. 對(duì)實(shí)現(xiàn)EvoDFS的關(guān)鍵技術(shù)進(jìn)行了研究。EvoDFS采用副本機(jī)制和定時(shí)檢查機(jī)制提高系統(tǒng)容錯(cuò)性，使用加鎖機(jī)制和版本號(hào)機(jī)制維護(hù)系統(tǒng)一致性。元數(shù)據(jù)管理充分結(jié)合了集中式管理和分布式管理的優(yōu)點(diǎn)。系統(tǒng)采用樹形目錄結(jié)構(gòu)，使用口令認(rèn)證方式對(duì)用戶進(jìn)行認(rèn)證，嚴(yán)格區(qū)分用戶空間。
3. 按照EvoDFS的設(shè)計(jì)方案和技術(shù)選型，實(shí)現(xiàn)了EvoDFS。EvoDFS具有高容錯(cuò)性、高并發(fā)性、高可伸縮性、高安全性等良好的特性，對(duì)大文件和小文件的存儲(chǔ)和訪問都具有很好的性能，改進(jìn)了HDFS和TFS等只適用于大文件或小文件的局限，并且EvoDFS采用C++語言實(shí)現(xiàn)，相比HDFS具有更高的執(zhí)行效率。
4. 基于EvoDFS，開發(fā)了一套類似百度云盤的應(yīng)用——臻融存儲(chǔ)管家。系統(tǒng)分為客戶端和管理端。客戶端類似百度云管家，給用戶提供文件操作界面。管理端提供存儲(chǔ)服務(wù)和系統(tǒng)監(jiān)控界面。
5. 對(duì)EvoDFS進(jìn)行了性能測(cè)試?；谡槿诖鎯?chǔ)管家系統(tǒng)對(duì)EvoDFS進(jìn)行性能測(cè)試，測(cè)試結(jié)果表明EvoDFS對(duì)文件讀寫具有較好的性能，并且能夠很好的兼容大文件和小文件的存儲(chǔ)。


關(guān)鍵詞：EvoDFS；分布式文件系統(tǒng)；海量數(shù)據(jù)存儲(chǔ)