注冊 /
什么樣的商業(yè)存儲產(chǎn)品才能更適用區(qū)塊鏈存儲的應(yīng)用,？首先我們區(qū)先要分存儲系統(tǒng)。市場上的存儲系統(tǒng)有多種分類方法,，常見的分類方式是按照架構(gòu)和協(xié)議區(qū)分的,。
從架構(gòu)上分為Scale-up（縱向擴展）集中式和Scale-out（橫向擴展）分布式兩類。Scale-up架構(gòu)受存儲控制器擴展數(shù)量限制,，常見的多為2控或4控的產(chǎn)品,，其IO性能及磁盤擴展能力受限于控制器的數(shù)量。Scale-up架構(gòu)的混閃和全閃存磁盤陣列,，適用于對延遲較敏感但對存儲容量和并發(fā)帶寬要求一般的中小規(guī)模數(shù)據(jù)存儲場景,。相反，Scale-out架構(gòu)存儲利用通用的以太網(wǎng)或高性能IB網(wǎng)絡(luò)技術(shù),，存儲節(jié)點（控制器）的數(shù)量可以從幾十個擴展到幾百甚至幾千個,，其存儲性能和容量并不取決于單個存儲節(jié)點的能力，而是聚合集群中所有節(jié)點的資源,。 分布式存儲系統(tǒng)就是Scale-Out架構(gòu)最典型的產(chǎn)品形態(tài),。
存儲系統(tǒng)從協(xié)議上可分為塊、文件,、對象等幾種類型,。塊存儲為上層應(yīng)用提供卷級裸設(shè)備存儲空間，存儲資源具有獨享性,，延遲較低,、單個卷的存儲空間一般不超過幾十個TB,，適用于數(shù)據(jù)庫,、虛擬化等典型應(yīng)用場景；文件存儲為上層應(yīng)用提供目錄級共享存儲空間,，取決于不同的文件系統(tǒng),，單個目錄的空間大小可從TB到PB甚至EB級，適用于各類非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用場景；與文件系統(tǒng)類似,，對象存儲同樣為上層應(yīng)用提供共享的存儲空間,，用于非結(jié)構(gòu)化數(shù)據(jù)存儲應(yīng)用場景。
所以適合海量非結(jié)構(gòu)化數(shù)據(jù)的存儲系統(tǒng)包括分布式文件和分布式對象兩類,，但兩者在數(shù)據(jù)組織結(jié)構(gòu)和訪問協(xié)議等方面存在顯著差異,。由于海量非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用場景非常多，對存儲系統(tǒng)的要求不同,，具體選用哪種類型的存儲,，還需要對分布式文件和對象進行更詳細的分析和對比。
成熟的分布式存儲系統(tǒng)會隨著業(yè)務(wù)場景的發(fā)展而不斷完善,。從起源上來看,，分布式文件和對象都是隨著大型互聯(lián)網(wǎng)公司業(yè)務(wù)的快速擴張同步發(fā)展起來的，旨在解決其海量非結(jié)構(gòu)化數(shù)據(jù)所帶來的擴展性,、可靠性和成本等瓶頸,。
分布式文件系統(tǒng)的起源是Google于2003年發(fā)表的一篇論文《The Google File System》，其核心目標是設(shè)計一款具有高擴展能力和容錯能力的高性能文件系統(tǒng),。該系統(tǒng)可以運行在廉價的商用硬件上,，為前端大量客戶端提供高性能、高可用的文件共享服務(wù),，解決海量非結(jié)構(gòu)化數(shù)據(jù)的存儲問題,。
業(yè)界是這樣定義分布式文件系統(tǒng)：基于一個單一并行文件系統(tǒng)組合多個存儲節(jié)點為存儲集群，為多個客戶端的并發(fā)高帶寬數(shù)據(jù)訪問提供單一命名空間存儲池,。數(shù)據(jù)分散存儲到集群中的多個節(jié)點上,，基于數(shù)據(jù)自愈技術(shù)為客戶端應(yīng)用提供高可靠和高可用的數(shù)據(jù)服務(wù)，并可實現(xiàn)性能和容量的線性擴展,。
分布式文件系統(tǒng)具有如下幾個顯著特性：
1,、 高性能
分布式文件系統(tǒng)利用存儲集群中所有節(jié)點的處理和IO性能提供高帶寬并發(fā)數(shù)據(jù)訪問，成熟的商業(yè)產(chǎn)品聚合訪問帶寬高達TB級,，可以支持數(shù)千甚至數(shù)萬節(jié)點的并發(fā)訪問,。
2、 易擴展
分布式文件系統(tǒng)可以便捷地在集群中添加數(shù)據(jù)節(jié)點,，實現(xiàn)存儲系統(tǒng)性能和容量的線性增加,，存儲節(jié)點可以擴展至數(shù)百甚至數(shù)千個，存儲容量擴展至數(shù)百PB甚至EB級,。
3,、 高可靠、可用性
存儲系統(tǒng)不依賴于單個設(shè)備的可靠性,，采用集群架構(gòu),，確保系統(tǒng)中無單點故障,；同時支持副本以及N+M糾刪碼等數(shù)據(jù)保護技術(shù)，確保數(shù)據(jù)可用性,；存儲系統(tǒng)具有一定的硬件故障與數(shù)據(jù)故障的冗余自愈能力,。
4、 高性價比
存儲節(jié)點基于工業(yè)標準商用服務(wù)器,，硬件的成本大幅降低,。
5、 開放兼容性
提供NAS,、FTP,、HTTP等通用文件共享訪問協(xié)議。
分布式對象存儲系統(tǒng)定義如下：以對象結(jié)構(gòu)來存儲數(shù)據(jù)的存儲系統(tǒng),，前端服務(wù)器客戶端通過協(xié)議（例如HTTP）或者API接口（例如S3,、Swift）進行訪問。從概念上來說,，對象與文件一樣,，都包括內(nèi)容和元數(shù)據(jù)。與文件相比,，對象通常支持更豐富的元數(shù)據(jù),，用戶或應(yīng)用可為對象設(shè)置用于管理、數(shù)據(jù)挖掘和數(shù)據(jù)遷移的元數(shù)據(jù)屬性,。
與分布式文件一樣,，分布式對象同樣采用Scale-out分布式集群架構(gòu)，具有易擴展,、高可靠和高性價比等優(yōu)勢,，其與文件系統(tǒng)在使用上的不同主要體現(xiàn)在如下幾個方面：
1、支持的存儲訪問協(xié)議不同
分布式對象采用更加專用的協(xié)議（比如HTTP）或者API接口（例如S3或是Swift）進行訪問,，相比通用的NAS文件協(xié)議,，需要前端應(yīng)用做針對性的適配和接口定制開發(fā)。
2,、支持的數(shù)據(jù)讀寫模式不同
與文件系統(tǒng)不同,，分布式對象不支持數(shù)據(jù)的隨機讀取和寫入，僅可針對整個文件做put或是get操作,，這種模式基本把分布式對象限定在有限的數(shù)據(jù)寫入后,，有限的讀取、極少修改的應(yīng)用場景,，例如互聯(lián)網(wǎng)的云盤,、備份歸檔以及法規(guī)遵從等溫冷數(shù)據(jù)應(yīng)用場景。
3,、數(shù)據(jù)結(jié)構(gòu)不同
文件采用樹形目錄結(jié)構(gòu),，可以滿足應(yīng)用多級目錄嵌套使用模式，但是隨著嵌套層次和文件數(shù)量的增加,，讀取和存儲數(shù)據(jù)時需要更長訪問路徑,，當訪問的文件過小時，單個文件訪問性能受影響較大,。
對象采用扁平目錄結(jié)構(gòu),，不支持多層嵌套的數(shù)據(jù)組織結(jié)構(gòu)，只保留二級或是三級目錄結(jié)構(gòu),，只需要一個ID就能直接獲取對象,，這種數(shù)據(jù)結(jié)構(gòu)在千億級別海量小文件應(yīng)用場景中會體現(xiàn)出一定的性能優(yōu)勢。
另外,，對象目錄結(jié)構(gòu)更容易支持元數(shù)據(jù)定制,，對象存儲非常適合于與對象有關(guān)聯(lián)性元數(shù)據(jù)的應(yīng)用場景，對象存儲允許為一個對象設(shè)置唯一的元數(shù)據(jù)屬性,，基于該元數(shù)據(jù)信息,，可以從一個海量非結(jié)構(gòu)化數(shù)據(jù)卷中快速的定位與讀取該對象。
技術(shù)的發(fā)展并不是互相割裂,、一成不變的,，而是在相互借鑒中共同促進和發(fā)展。在分布式對象中應(yīng)用比較廣的N+M糾刪碼技術(shù)已成為分布式文件系統(tǒng)的標配,，跨地域部署和數(shù)據(jù)容災(zāi)等功能也被越來越多成熟的分布式文件系統(tǒng)所支持,。分布式文件系統(tǒng)利用高速SSD存儲介質(zhì)、元數(shù)據(jù)集群和小文件聚合等技術(shù),，支持的文件系統(tǒng)規(guī)模從十億級向千億級邁進,，小文件訪問性能提升明顯；分布式對象也在利用高速SSD存儲介質(zhì),，進一步提升數(shù)據(jù)讀取性能,，從冷數(shù)據(jù)逐步向溫、熱數(shù)據(jù)應(yīng)用場景推進,。
分布式文件和對象的技術(shù)差異在逐步縮小,。分布式文件由于其支持隨機讀寫模式、協(xié)議的廣泛兼容性,、類似本地硬盤的展現(xiàn)形式更符合用戶的使用習慣,，在商業(yè)市場下有著普及性和大規(guī)模的應(yīng)用案例，應(yīng)用成熟度非常高,。開源文件系統(tǒng)有Lustre,、Gluster、BeeGFS和Ceph等,，國內(nèi)外專業(yè)存儲廠商均開發(fā)了成熟的商用存儲產(chǎn)品,。分布式對象受限于一寫多讀數(shù)據(jù)訪問模式,、專用的接口協(xié)議、扁平化的數(shù)據(jù)組織架構(gòu),，其適用的應(yīng)用場景遠不如文件系統(tǒng)廣泛,。規(guī)模化的應(yīng)用僅集中在有能力深度定制優(yōu)化和開發(fā)的有限互聯(lián)網(wǎng)場景中,，比如Facebook自研的用于海量圖片存儲的HeyStack,、Amazon研制的支撐其云業(yè)務(wù)的S3等。從技術(shù)實現(xiàn)層面而言,，分布式對象的實現(xiàn)難度較低,，開源產(chǎn)品有Ceph、Swift,、Minio等,，主要應(yīng)用場景歸納如下：1、結(jié)合云應(yīng)用提供業(yè)務(wù)數(shù)據(jù)的備份歸檔存儲,；2,、金融證券、醫(yī)療等行業(yè)應(yīng)用的法規(guī)遵從性文件的歸檔,。另外商用的對象存儲應(yīng)用多以小規(guī)模,、冷數(shù)據(jù)等限制性場景為主，對于數(shù)據(jù)寫入和讀取的實時效率要求并不高,。
去中心化存儲系統(tǒng)的“成色”由存儲規(guī)模,、數(shù)據(jù)IO性能、可靠性,、在線擴容時間,、數(shù)據(jù)重建影響等幾個要素直接決定，具備大規(guī)模部署案例的分布式存儲產(chǎn)品才能夠經(jīng)得起此類應(yīng)用長期的考驗,。
從區(qū)塊鏈IPFS實際應(yīng)用的技術(shù)需求來看：1,、采用分布式對象存儲意味著應(yīng)用需要根據(jù)存儲廠商對象接口API或SDK單獨開發(fā)與維護。當前去中心化存儲應(yīng)用中,，上層軟件多樣且迭代速度較快,，已有軟件環(huán)境也存在著頻繁強制升級的現(xiàn)狀，任何上層軟件的變更都可能導(dǎo)致對象接口的迭代完善甚至重新開發(fā),，工作量巨大,，運維成本急劇增加。2,、行業(yè)內(nèi)大部分分布式對象系統(tǒng)是基于開源Ceph構(gòu)建,，以Ceph為代表的對象存儲系統(tǒng)一般僅支持基于連接數(shù)的負載均衡策略，而商業(yè)全自研的文件系統(tǒng)可支持基于連接數(shù),、存儲容量,、節(jié)點負載等多維度的存儲負載均衡,，在多并發(fā)、存儲性能異常時,，可根據(jù)實際場景選擇更優(yōu)的負載均衡模式,，以提升存儲效率。3,、實際應(yīng)用中1個扇區(qū)（Sector）文件大小是32GB,。對象存儲單次put上傳的對象最大為5GB,，對于32GB文件,，對象存儲系統(tǒng)必須在客戶端上拆分成多段（如4個單獨8GB）后，再進行并發(fā)傳輸,；多個分段上傳至存儲系統(tǒng)后,，再次合并成最終的Sector。多個Sector合并過程勢必會對存儲性能和數(shù)據(jù)抽取時間有較大影響,，直接會影響Winning PoST完成時間,，從而降低出塊效率。4,、扇區(qū)文件（Sector）和扇區(qū)索引文件（Sector Cache）存在關(guān)聯(lián)性,，若采用優(yōu)化手段增強其關(guān)聯(lián)性，則會極大提升存儲性能,。對象存儲需要多個桶分別存儲扇區(qū)文件和扇區(qū)索引文件,，一般需要通過人為設(shè)置桶的屬性及大量桶之間的關(guān)聯(lián)綁定。業(yè)務(wù)數(shù)據(jù)量增長迅速,，額外的設(shè)置與調(diào)整,，同樣給業(yè)務(wù)運行及系統(tǒng)運維造成極大影響，這在實際應(yīng)用中也是很難完成的,。
綜上分析,，基于應(yīng)用當前需求和特點，F(xiàn)ilecoin的存儲系統(tǒng)更適合采用成熟的分布式文件系統(tǒng)構(gòu)建,。另外,，同時支持文件、對象,、塊協(xié)議的分布式統(tǒng)一存儲將成為發(fā)展趨勢,，也為去中心化存儲未來的多模式應(yīng)用提供了技術(shù)可行性。
最后,，筆者認為在選擇合作的存儲廠商時,，首先，應(yīng)關(guān)注其是否有專業(yè)的存儲研發(fā)團隊和完善的技術(shù)服務(wù)體系,；其次,，應(yīng)具備超大規(guī)模系統(tǒng)部署和運維經(jīng)驗,、快速應(yīng)用適配定制和深度優(yōu)化實力；最后,，有著長遠的分布式存儲產(chǎn)品發(fā)展規(guī)劃和資源投入,。這樣的存儲廠商才能幫助用戶搭建長期可靠的數(shù)據(jù)存儲環(huán)境，支持去中心化存儲市場和應(yīng)用的快速發(fā)展與普及,。
