北京2022年6月(yue)16日(ri) /美通(tong)社/ --百萬(wan)獵(lie)人兵臨城下，向魔法護盾(dun)發起猛烈沖擊(ji)，卻(que)無法將擁有99級神(shen)力的(de)護盾(dun)撼動分毫。

這是科幻電(dian)影《頭(tou)號玩家(jia)》里的一(yi)幕。電(dian)影里，不僅(jin)"綠洲(zhou)"被視為元(yuan)宇宙未來理(li)想形態，"魔法護(hu)盾"也(ye)迅(xun)速跨界(jie)出圈，在企(qi)(qi)業(ye)(ye)(ye)數據(ju)管理(li)領(ling)域引發關注。這是因(yin)為隨著(zhu)數字(zi)經濟快(kuai)速發展(zhan)，數據(ju)要(yao)素在受到企(qi)(qi)業(ye)(ye)(ye)重(zhong)視的同(tong)時，全球(qiu)超80%的IT決策者認為現(xian)有數據(ju)保護(hu)方案無法滿足未來業(ye)(ye)(ye)務挑戰，保護(hu)好(hao)數據(ju)資產成(cheng)為企(qi)(qi)業(ye)(ye)(ye)的當(dang)務之急。

日前，在由存儲產業技術創新聯盟主辦的"元宇宙存儲研究與實踐"開放計算技術沙龍上，來自中科大、華中大、鄭州大(da)學以及浪潮存(cun)儲的"產(chan)學研用(yong)"各界(jie)專家(jia)匯聚(ju)一堂，在關(guan)注(zhu)元宇宙存(cun)儲發展的同時(shi)，還共(gong)同就(jiu)糾(jiu)刪碼(ma)優化、細粒度(du)感知等數據保護話題展開討論。本次沙龍是場景共(gong)同體戰(zhan)略的承(cheng)襲和實踐(jian)，浪潮信(xin)息存(cun)儲產(chan)品(pin)線總(zong)經(jing)理李輝(hui)曾提出(chu)，面向層出(chu)不窮的新應用(yong)、新場景，攜手產(chan)業鏈伙(huo)伴(ban)推(tui)進"平臺(tai)+生態"戰(zhan)略，以六種模式加速企業數字轉型(xing)。

內容概要：

1. 元宇宙為代表的新應用帶來數據規模十倍、百倍激增，全球超80%IT決策者認為現有數據保護方案無法滿足未來業務挑戰。
2. 多副本、糾刪碼是業界數據容錯的兩種主流技術。多副本存儲開銷大，糾刪碼開銷小，糾刪碼在數據爆炸式增長的新時代更受企業青睞。
3. 糾刪碼優化，在同一數據中心內，可以通過負載均衡技術提升數據恢復效率；在跨數據中心場景，可以基于LRC分組編碼技術提升跨數據中心糾刪效率。

數據保護  懸在頭頂的達摩克里斯之劍

數(shu)(shu)字(zi)虛擬(ni)人需要收集的高達百倍(bei)甚(shen)至千倍(bei)的數(shu)(shu)據(ju)、VR頭顯從4K升(sheng)級到視網(wang)膜級需提升(sheng)10倍(bei)數(shu)(shu)據(ju)傳輸量、飛(fei)行模(mo)擬(ni)器(qi)采集的數(shu)(shu)據(ju)量超2PB。

以元宇宙(zhou)為代表的新應用帶來數(shu)(shu)據(ju)(ju)規(gui)模十倍(bei)、百倍(bei)激(ji)增，快速增長的多模態(tai)數(shu)(shu)據(ju)(ju)增加了企業數(shu)(shu)據(ju)(ju)保護的難度(du)。數(shu)(shu)據(ju)(ju)顯示(shi)，企業現(xian)在管(guan)理的數(shu)(shu)據(ju)(ju)量是五年前的十倍(bei)以上，全球(qiu)82%、中(zhong)國(guo)88%的IT決(jue)策者擔心現(xian)有(you)數(shu)(shu)據(ju)(ju)保護方案無法滿足未來業務(wu)挑戰。

這(zhe)些擔憂(you)源自(zi)企業的(de)現(xian)實困境，根(gen)據對全(quan)球1000名(ming)決策者的(de)調(diao)研，全(quan)球30%的(de)受訪者在過去(qu)一年中經歷過數(shu)據丟失，45%遭遇過計(ji)劃外(wai)的(de)系(xi)統停(ting)機。另據IDC統計(ji)，在過去(qu)12個月，全(quan)球超(chao)過三分之一的(de)組織(zhi)遭遇過勒索軟件攻(gong)擊或(huo)入侵，導(dao)致(zhi)系(xi)統或(huo)數(shu)據無(wu)法訪問(wen)。數(shu)據保護(hu)，已然成為擺在企業數(shu)字化轉型面前的(de)一大(da)(da)挑戰。本(ben)次(ci)沙龍，中國科學技(ji)術大(da)(da)學許胤龍教授(shou)以及浪潮存儲技(ji)術專家(jia)共(gong)同給出了答案。

數據容錯  業界兩種技術流派之爭

"數據容錯，業(ye)界通常(chang)有兩種(zhong)辦法，一種(zhong)是(shi)多副本(ben)，另一種(zhong)是(shi)糾刪碼(ma)"，許胤龍(long)教授表示。多副本(ben)訪問性能高、故障修(xiu)復快，但(dan)存儲開(kai)銷比較大(da)（燒錢、占地），令(ling)企業(ye)直呼(hu)吃(chi)不(bu)消；糾刪碼(ma)開(kai)銷小（花小錢、辦大(da)事），一般存儲空間比RAID 1鏡(jing)像小，在(zai)數據爆(bao)炸式增長的(de)趨勢下更受(shou)市(shi)場歡迎(ying)，企業(ye)用腳投票紛紛選擇了糾刪碼(ma)。

時下人氣攀(pan)升的糾刪碼，究(jiu)竟是(shi)什么呢？ 所謂(wei)糾刪碼（Erasure Coding），是(shi)一種(zhong)數據(ju)保(bao)護(hu)方法(fa)，它將數據(ju)分割(ge)成片段，把冗余數據(ju)塊擴展、編碼，并將其(qi)存儲在不同位置，比如(ru)硬盤、存儲節點或其(qi)他物理位置。

"糾(jiu)刪碼，可(ke)以簡單理解(jie)成對原始數(shu)(shu)(shu)據(ju)做線(xian)性(xing)組合"，許(xu)胤龍教授表(biao)示。比如 (2+2) 糾(jiu)刪碼，就是(shi)(shi)A、B兩個(ge)(ge)(ge)(ge)(ge)數(shu)(shu)(shu)據(ju)可(ke)以做A+B和A+2B的線(xian)性(xing)組合，能容(rong)任意兩個(ge)(ge)(ge)(ge)(ge)節點(dian)錯，當(dang)恢復數(shu)(shu)(shu)據(ju)的時(shi)候直接解(jie)方程(cheng)就行。一般情況下，業(ye)界常用(yong)的是(shi)(shi)（k，m）-MDS碼，把(ba)k個(ge)(ge)(ge)(ge)(ge)數(shu)(shu)(shu)據(ju)編碼成m個(ge)(ge)(ge)(ge)(ge)校(xiao)驗數(shu)(shu)(shu)據(ju)，k+m個(ge)(ge)(ge)(ge)(ge)數(shu)(shu)(shu)據(ju)塊形成一個(ge)(ge)(ge)(ge)(ge)條帶，最多可(ke)以容(rong)許(xu)m個(ge)(ge)(ge)(ge)(ge)塊同時(shi)故障。工業(ye)界常見的m一般是(shi)(shi)2或3，數(shu)(shu)(shu)據(ju)規模較大的話，可(ke)以把(ba)m設為(wei)4~6。

糾刪碼 跑得如絲般順滑并非易事

糾刪碼(ma)"花小錢、辦大(da)事(shi)"的優勢雖然非常明顯，但要在(zai)超大(da)規模數據(ju)中(zhong)心(xin)內或者是跨數據(ju)中(zhong)心(xin)使(shi)用糾刪碼(ma)做數據(ju)保(bao)護，卻需要過五關闖六(liu)將，絕非易事(shi)。

第一關：同一數據中心內，數據恢復的網絡傳輸時間占比超90%，糾刪碼"龜速"難題如何破。

糾(jiu)(jiu)刪(shan)碼能(neng)夠降低(di)存儲成本、提高容(rong)錯能(neng)力(li)，但糾(jiu)(jiu)刪(shan)碼最大(da)的(de)問題是在(zai)數(shu)(shu)據(ju)(ju)(ju)丟失之(zhi)后，數(shu)(shu)據(ju)(ju)(ju)恢(hui)復過程(cheng)需要從其他地(di)方讀(du)取大(da)量數(shu)(shu)據(ju)(ju)(ju)，故障修復堪稱龜(gui)速。通過對(dui)糾(jiu)(jiu)刪(shan)碼"從存活節點(dian)讀(du)取數(shu)(shu)據(ju)(ju)(ju)、傳輸(shu)、在(zai)備(bei)份節點(dian)解碼、傳輸(shu)、在(zai)替代節點(dian)寫(xie)入(ru)"的(de)整個(ge)流程(cheng)做(zuo)分析，發現(xian)網絡傳輸(shu)占整個(ge)數(shu)(shu)據(ju)(ju)(ju)恢(hui)復時間的(de)比例超90%，如何優化數(shu)(shu)據(ju)(ju)(ju)恢(hui)復時間呢？

首先，數據分批恢復(fu)。在(zai)實際系統里面，數據塊是隨(sui)(sui)機(ji)的(de)(de)分布到不(bu)同的(de)(de)節(jie)點里，隨(sui)(sui)機(ji)數據分布從統計概率的(de)(de)角度來(lai)說(shuo)，是能達到負載均衡的(de)(de)。但一般來(lai)說(shuo)，在(zai)系統實現的(de)(de)時候，一般來(lai)說(shuo)因為(wei)系統IO、內存、CPU資源也有限(xian)，同時系統還要支撐前(qian)臺的(de)(de)應用(yong)綜(zong)合各方(fang)面，所以修復(fu)一般都會是分批進行。"我們做過(guo)實驗，分批比不(bu)分批大概要快15%左(zuo)右"，許教授表示。

其次，可以利用二部圖和網絡流圖的辦法，使得從不同的節點上進行恢復的時候，不同節點上讀數據量是均衡的，寫數據量也是均衡的，并且每一個節點承擔的恢復任務也是均衡的。清華、港中大、普渡、中科大等高(gao)校均(jun)對糾刪(shan)碼(ma)技(ji)(ji)術進行了研究，經過優(you)化中科(ke)(ke)大SelectiveEC技(ji)(ji)術能夠(gou)在90%以(yi)上的(de)(de)情況下(xia)都(dou)實現負載均(jun)衡，相(xiang)比(bi)HDFS大約(yue)50%的(de)(de)負載均(jun)衡水平，中科(ke)(ke)大的(de)(de)負載均(jun)衡水平能高出70%以(yi)上，恢復速度提升(sheng)30%以(yi)上。同(tong)時Selective EC比(bi)HDFS有更少的(de)(de)毛刺、更短(duan)的(de)(de)長尾、更短(duan)的(de)(de)任務生命周期(qi)。

"我們很認同許教授的觀點，為了實現數據糾刪的負載均衡，浪潮存儲一直在技術上不斷打磨和創新"，浪潮信息分布式存儲架構師張立強表示。浪潮分布式存儲AS13000突破軟硬件協同寬條帶糾刪技術，融合多元算力，解決數據高冗余比糾刪的計算性能、資源消耗、容量、可靠性等指標難以兼顧的問題。舉個例子，浪潮存儲創新研制了糾刪碼FPGA加速卡，設計可重構最小硬件邏輯單元，實現編解碼復用、全糾刪比支持，實現寬條帶糾刪的CPU計算卸載。在32+6糾刪比配置下，浪潮存儲能夠將處理器平臺的CPU占用率降低90%，性能提升390%，這就如同將汽車行駛的速度提升到了復興號的水平。其實浪潮分布式存儲在高校領域應用廣泛，目前已經在中科大、清華、北大、復旦、浙大、中山大學等國內高校實現(xian)規(gui)模化部署，支(zhi)撐科研(yan)智慧應(ying)用平臺穩(wen)定運行，以數據之力助力科研(yan)取得豐碩成果。

第二關：跨數據中心場景，數據中心帶寬極其有限，如何"跨越萬水千山"做糾刪。

考慮到地(di)(di)震、山洪、火(huo)災等(deng)災害因素(su)影響，大(da)型企業往往會跨數據(ju)中(zhong)(zhong)心(xin)做(zuo)數據(ju)保護。所謂跨數據(ju)中(zhong)(zhong)心(xin)，是(shi)指多個(ge)數據(ju)中(zhong)(zhong)心(xin)可能建(jian)在距離(li)城區比(bi)較遠的地(di)(di)方或(huo)者是(shi)不同(tong)的城區的地(di)(di)方，這時(shi)候跨數據(ju)中(zhong)(zhong)心(xin)的帶寬(kuan)就(jiu)會很寶貴，通常跟數據(ju)中(zhong)(zhong)心(xin)內部的帶寬(kuan)相比(bi)，跨數據(ju)中(zhong)(zhong)心(xin)帶寬(kuan)只有1/20。

RS碼(ma)部署方式在同一數(shu)(shu)據(ju)(ju)中心(xin)(xin)(xin)內做糾(jiu)刪(shan)是有(you)優勢的(de)，但在跨數(shu)(shu)據(ju)(ju)中心(xin)(xin)(xin)環境下卻面臨挑戰。這(zhe)是因為RS碼(ma)是把(ba)一個(ge)條帶(dai)(dai)的(de)數(shu)(shu)據(ju)(ju)均勻分布到不同數(shu)(shu)據(ju)(ju)中心(xin)(xin)(xin)去。假如(ru)現在有(you)15個(ge)數(shu)(shu)據(ju)(ju)塊，把(ba)它編碼(ma)成12個(ge)校驗塊，分散在三個(ge)數(shu)(shu)據(ju)(ju)中心(xin)(xin)(xin)，這(zhe)時候只(zhi)能容單(dan)個(ge)數(shu)(shu)據(ju)(ju)中心(xin)(xin)(xin)故障，存儲開(kai)銷大(da)概是180%，如(ru)果出現單(dan)塊故障，需要跨數(shu)(shu)據(ju)(ju)中心(xin)(xin)(xin)訪問7個(ge)數(shu)(shu)據(ju)(ju)塊，需要的(de)帶(dai)(dai)寬(kuan)開(kai)銷比較多。

新型LRC（Locally Repairable Code）分組編(bian)碼方式，可以(yi)在存儲開銷和恢復(fu)性能之間做一個權衡(heng)。LRC（k，l，g）分組編(bian)碼有三個值，k表示數(shu)(shu)據(ju)(ju)塊(kuai)，l代(dai)表局(ju)(ju)部校(xiao)驗塊(kuai)，g是全(quan)局(ju)(ju)校(xiao)驗塊(kuai)。LRC分組編(bian)碼通過(guo)讀取局(ju)(ju)部數(shu)(shu)據(ju)(ju)塊(kuai)，減(jian)少重構所需(xu)的數(shu)(shu)據(ju)(ju)量(liang)，從(cong)而提升數(shu)(shu)據(ju)(ju)修復(fu)性能。這就好比(bi)618購物(wu)，北京小伙買(mai)一箱(xiang)牛奶，如何用最快的速(su)度把貨物(wu)送到顧客手里呢，電商平臺會找到距離顧客比(bi)較近的天津或河北倉庫（類似(si)l局(ju)(ju)部校(xiao)驗塊(kuai)）進行(xing)配(pei)送，盡量(liang)減(jian)少從(cong)西(xi)安或廣州（類似(si)g全(quan)局(ju)(ju)校(xiao)驗塊(kuai)）調(diao)貨的概率。

按照(zhao)新型部署方(fang)式，"在實際集群里面，我們實現(xian)了(le)數據傳輸、數據解碼的優化，大概能把速(su)度提升30%"，許胤龍教授表示。

"浪(lang)潮一直將(jiang)可靠性視為(wei)存(cun)(cun)儲的生命線，在異地數(shu)(shu)(shu)(shu)據(ju)(ju)保護(hu)方面(mian)做了諸(zhu)多創新(xin)"，浪(lang)潮信息存(cun)(cun)儲研發部何(he)營表示(shi)。浪(lang)潮存(cun)(cun)儲不僅基于一套(tao)存(cun)(cun)儲架(jia)構(gou)承載塊(kuai)、文件、對(dui)象、大數(shu)(shu)(shu)(shu)據(ju)(ju)等多種數(shu)(shu)(shu)(shu)據(ju)(ju)服(fu)務，在WAN加速、快速重構(gou)、透(tou)明故障(zhang)切換等高級功能方面(mian)持(chi)續(xu)創新(xin)。以WAN廣域網(wang)加速技術為(wei)例，浪(lang)潮存(cun)(cun)儲通過數(shu)(shu)(shu)(shu)據(ju)(ju)流壓縮、固定塊(kuai)切割和多數(shu)(shu)(shu)(shu)據(ju)(ju)流并發，將(jiang)遠程傳(chuan)輸性能提升(sheng)高達10倍、延時降(jiang)低10倍，幫助海量數(shu)(shu)(shu)(shu)據(ju)(ju)異地遷徙和災(zai)備。

小結

伴隨(sui)元(yuan)宇宙(zhou)、AI、大數(shu)據新技術(shu)、新應用不斷涌現(xian)，數(shu)字經(jing)濟(ji)正(zheng)在成為中國經(jing)濟(ji)發展的關鍵因素(su)。數(shu)據顯(xian)示，從2020年到2025年數(shu)字經(jing)濟(ji)核(he)心產業增(zeng)加值將從7.9萬(wan)億(yi)提升至13萬(wan)億(yi)，是驅動(dong)GDP增(zeng)長(chang)的引擎。

"浪(lang)潮存(cun)儲(chu)(chu)(chu)是整體市場全球前四、分布(bu)式(shi)存(cun)儲(chu)(chu)(chu)銷量中國第(di)一(yi)的(de)存(cun)儲(chu)(chu)(chu)廠商，糾刪碼技術在(zai)浪(lang)潮大(da)部分分布(bu)式(shi)存(cun)儲(chu)(chu)(chu)客戶中得到應用，為產業轉型升級構筑(zhu)了(le)數據護盾"，浪(lang)潮信(xin)息首席架構師葉(xie)毓(yu)睿表示。未來浪(lang)潮存(cun)儲(chu)(chu)(chu)將攜手(shou)產學研用各方(fang)力(li)量，共建場景共同體驅(qu)動(dong)社會(hui)高(gao)質量發展。