登錄
微信登錄
打開(kāi)手機(jī)微信,,掃描二維碼
掃描成功
請(qǐng)勿刷新本頁(yè)面,,按手機(jī)提示操作
中科曙光不會(huì)以任何理由要求您轉(zhuǎn)賬匯款,,謹(jǐn)防詐騙
您的微信還未注冊(cè)
中科曙光不會(huì)以任何理由要求您轉(zhuǎn)賬匯款,謹(jǐn)防詐騙
您可以同時(shí)關(guān)注中科曙光微信公眾號(hào)
使用微信掃一掃即可登錄,! 查閱資料更方便,、 快捷!
您已經(jīng)注冊(cè)賬號(hào)和
關(guān)注微信公眾號(hào)
2025年1月
成功案例
項(xiàng)目背景
中國(guó)石油集團(tuán)東方地球物理勘探有限責(zé)任公司在全國(guó)乃至全球設(shè)立數(shù)百個(gè)科研生產(chǎn)單位,,以往的IT基礎(chǔ)架構(gòu)采用傳統(tǒng)模式,存儲(chǔ)使用統(tǒng)一存儲(chǔ),、數(shù)據(jù)備份使用磁帶庫(kù),,面對(duì)日益增長(zhǎng)的數(shù)據(jù)量以及對(duì)存儲(chǔ)性能要求的提升,傳統(tǒng)架構(gòu)已經(jīng)不能滿(mǎn)足業(yè)務(wù)需求,,迫切需要新的架構(gòu)來(lái)提升存儲(chǔ)訪(fǎng)問(wèn)效率。
通過(guò)多方調(diào)研和測(cè)試,,東方地球公司決定采用分布式并行存儲(chǔ)架構(gòu)來(lái)支撐石油物探技術(shù)方法研究,、應(yīng)用軟件開(kāi)發(fā)、測(cè)試和地震數(shù)據(jù)處理,、數(shù)據(jù)解釋生產(chǎn)等關(guān)鍵業(yè)務(wù)系統(tǒng),。需支持GeoEast和GeoLightning石油地震數(shù)據(jù)處理—解釋一體化應(yīng)用軟件系統(tǒng)。
方案設(shè)計(jì)
本次項(xiàng)目實(shí)為科研生產(chǎn)單位內(nèi)部IT系統(tǒng)升級(jí)改造,,而作為業(yè)務(wù)系統(tǒng)集群內(nèi)的配套存儲(chǔ),,要求滿(mǎn)足標(biāo)準(zhǔn)化、高密度,、高并發(fā),、高擴(kuò)展,滿(mǎn)足大數(shù)據(jù)處理解釋業(yè)務(wù)需求,。
ParaStor采用多副本,、N+M糾刪碼等數(shù)據(jù)保護(hù)技術(shù)、全冗余設(shè)計(jì),,支持單一存儲(chǔ)命名空間,、支持容量海量擴(kuò)展,性能線(xiàn)性擴(kuò)展,,能夠滿(mǎn)足高性能計(jì)算中心海量文件并發(fā)讀寫(xiě)需求,。
本方案規(guī)劃采用8+2:1的保護(hù)策略,即8個(gè)數(shù)據(jù)對(duì)象匹配2個(gè)校驗(yàn)對(duì)象,,這10個(gè)對(duì)象根據(jù)哈希算法分布在不同數(shù)據(jù)控制的不同硬盤(pán)上,,這10塊硬盤(pán)為一組,可以容忍2塊硬盤(pán)同時(shí)失效而不至于數(shù)據(jù)丟失,;整套存儲(chǔ)系統(tǒng)可以容忍1臺(tái)數(shù)據(jù)控制器失效而不至于數(shù)據(jù)丟失,。在這種配置下,存儲(chǔ)系統(tǒng)空間利用率可達(dá)到80%,。
優(yōu)勢(shì)說(shuō)明
1) 架構(gòu)優(yōu)勢(shì)
ParaStor300采用元數(shù)據(jù)和數(shù)據(jù)分離的非對(duì)稱(chēng)式結(jié)構(gòu),,這也是國(guó)際主流的并行存儲(chǔ)系統(tǒng)架構(gòu),元數(shù)據(jù)和數(shù)據(jù)分離有助于提升存儲(chǔ)系統(tǒng)的性能和擴(kuò)展性,。
ParaStor300的多臺(tái)索引控制(默認(rèn)配置2臺(tái))采用多活冗余集群結(jié)構(gòu)元數(shù)據(jù)存儲(chǔ)采用RAID6保護(hù)的SSD高速磁盤(pán)以提高元數(shù)據(jù)訪(fǎng)問(wèn)性能,。曙光ParaStor300采用更高級(jí)的元數(shù)據(jù)冗余策略,。ParaStor300的元數(shù)據(jù)控制器默認(rèn)配置2臺(tái),同時(shí)支持更多的元數(shù)據(jù)控制器組成元數(shù)據(jù)集群,,每臺(tái)元數(shù)據(jù)控制器均為Active在線(xiàn)狀態(tài),,正常工作時(shí)負(fù)載均衡并行文件系統(tǒng)客戶(hù)端的元數(shù)據(jù)訪(fǎng)問(wèn)請(qǐng)求,一臺(tái)元數(shù)據(jù)控制器出現(xiàn)故障時(shí),,其它元數(shù)據(jù)控制器分擔(dān)其工作負(fù)載,,接管時(shí)間非常短,且為在線(xiàn)切換,,不中斷正在進(jìn)行的IO請(qǐng)求,,不影響并行文件系統(tǒng)的業(yè)務(wù)運(yùn)行。
2) 數(shù)據(jù)保護(hù):
與傳統(tǒng)磁盤(pán)陣列RAID保護(hù)技術(shù)相比,,曙光ParaStor300的N+M糾刪碼技術(shù)具有明顯優(yōu)勢(shì),。ParaStor300可以實(shí)現(xiàn)數(shù)據(jù)重建無(wú)人值守,比如深夜磁盤(pán)出現(xiàn)故障,,傳統(tǒng)RAID要立即人工更換磁盤(pán),,而ParaStor300只要有剩余空間就可以自動(dòng)進(jìn)行數(shù)據(jù)重建;ParaStor300的數(shù)據(jù)重建并發(fā)進(jìn)行,,1TB數(shù)據(jù)半小時(shí)內(nèi)重建完成,,而傳統(tǒng)RAID的重建時(shí)間可能長(zhǎng)達(dá)10小時(shí)到1天以上,而且RAID在數(shù)據(jù)重建期間磁盤(pán)負(fù)載很重,,很容易出現(xiàn)雪崩效應(yīng),,即繼續(xù)出現(xiàn)磁盤(pán)損耗,導(dǎo)致RAID降級(jí)甚至數(shù)據(jù)丟失,。
本方案采用的N+M保護(hù)策略,,存儲(chǔ)系統(tǒng)可以容忍M塊硬盤(pán)同時(shí)失效。實(shí)際上M塊硬盤(pán)“同時(shí)”失效的概率非常低,,因?yàn)楫?dāng)ParaStor300的1塊硬盤(pán)失效后,,系統(tǒng)會(huì)在很短時(shí)間內(nèi)在其它硬盤(pán)上自動(dòng)完成數(shù)據(jù)重建,重建完成后,,ParaStor300又可以容忍M塊硬盤(pán)同時(shí)失效,。數(shù)據(jù)修復(fù)過(guò)程完全無(wú)人值守。用戶(hù)只用定期更換故障硬盤(pán)即可,,更換新硬盤(pán)后,,ParaStor會(huì)自動(dòng)進(jìn)行底層數(shù)據(jù)遷移,平衡容量,。
3) 分級(jí)存儲(chǔ)
ParaStor300存儲(chǔ)系統(tǒng)支持自動(dòng)透明的分級(jí)存儲(chǔ)功能,,采用SSD和SATA磁盤(pán)相結(jié)合,既能保障存儲(chǔ)系統(tǒng)容量,,又能提高存儲(chǔ)系統(tǒng)訪(fǎng)問(wèn)性能,,具有極高性?xún)r(jià)比,。
用戶(hù)的熱點(diǎn)數(shù)據(jù)優(yōu)先存放在SSD分區(qū),冷數(shù)據(jù)自動(dòng)遷移到SATA分區(qū),,回?zé)釘?shù)據(jù)可以回遷,,數(shù)據(jù)遷移策略綜合數(shù)據(jù)訪(fǎng)問(wèn)頻率、文件大小等因素,,遷移策略用戶(hù)可干預(yù)和定制,。數(shù)據(jù)遷移過(guò)程在SSD和SATA磁盤(pán)之間以數(shù)據(jù)塊級(jí)別并發(fā)進(jìn)行,速度快且對(duì)存儲(chǔ)性能影響較小,,整個(gè)數(shù)據(jù)遷移過(guò)程自動(dòng)透明,,用戶(hù)看到的是一個(gè)統(tǒng)一完整的數(shù)據(jù)訪(fǎng)問(wèn)空間。
4) 擴(kuò)展能力
ParaStor300分布式存儲(chǔ)系統(tǒng)具有極佳的擴(kuò)展性,,最大支持4096個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn),真正做到EB級(jí)存儲(chǔ),。支持在線(xiàn)擴(kuò)容,,且不影響業(yè)務(wù)系統(tǒng)使用。增加數(shù)據(jù)控制器后,,數(shù)據(jù)對(duì)象自動(dòng)實(shí)現(xiàn)負(fù)載均衡的遷移分布,,使得整個(gè)存儲(chǔ)系統(tǒng)實(shí)現(xiàn)容量和性能的線(xiàn)性增長(zhǎng)。
方案優(yōu)勢(shì)說(shuō)明
源代碼級(jí)調(diào)優(yōu),,針對(duì)疊前業(yè)務(wù)系統(tǒng)深度優(yōu)化,,提升業(yè)務(wù)系統(tǒng)運(yùn)行效率及可靠性;
端到端服務(wù)曙光開(kāi)發(fā)工程師與客戶(hù)業(yè)務(wù)系統(tǒng)負(fù)責(zé)人與直接對(duì)話(huà),,提升效率,;
減少了將近50%的投資,實(shí)現(xiàn)企業(yè)COST DOWN,;
原廠(chǎng)7*24*365超白金級(jí)服務(wù),。