北(bei)京(jing)2020年8月27日 /美通社/ -- 隨著5G、大(da)數據為代表的(de)(de)新基(ji)建不斷落地，現代數據中心(xin)正迅速崛(jue)起，新型的(de)(de)存(cun)(cun)儲器件、軟件技術(shu)及解決方案的(de)(de)發展使得存(cun)(cun)儲系統越(yue)來越(yue)復雜。這一趨勢下，浪(lang)潮存(cun)(cun)儲基(ji)于(yu)InView智能(neng)管理平臺，為企業(ye)提供了智能(neng)、簡(jian)單(dan)且易用的(de)(de)存(cun)(cun)儲管理和運維。
解決存儲系統的復雜性需要AI技術
存(cun)儲(chu)系統(tong)的(de)(de)(de)生(sheng)命周期(qi)包括準備、實(shi)施、維(wei)護三(san)個(ge)階(jie)(jie)段(duan)，這(zhe)是一個(ge)非常復(fu)雜(za)(za)的(de)(de)(de)過(guo)程(cheng)。從(cong)準備階(jie)(jie)段(duan)的(de)(de)(de)方(fang)案設計到(dao)實(shi)施過(guo)程(cheng)中(zhong)的(de)(de)(de)現場(chang)性能調優(you)，再到(dao)維(wei)護階(jie)(jie)段(duan)的(de)(de)(de)監控管理、問題定位和解(jie)決，加之由于用戶數據中(zhong)心環境復(fu)雜(za)(za)，存(cun)儲(chu)設備種類數量(liang)繁多，所(suo)以存(cun)儲(chu)系統(tong)的(de)(de)(de)生(sheng)命周期(qi)是一個(ge)復(fu)雜(za)(za)的(de)(de)(de)體系，解(jie)決存(cun)儲(chu)系統(tong)的(de)(de)(de)復(fu)雜(za)(za)生(sheng)命周期(qi)運行和管理需(xu)要AI技術的(de)(de)(de)加持。
AI技術可以(yi)(yi)解決存(cun)儲(chu)(chu)系(xi)統(tong)(tong)運行(xing)和(he)管理的(de)(de)(de)復雜(za)(za)性(xing)，AI技術會不斷(duan)地從存(cun)儲(chu)(chu)及其運行(xing)環境中采(cai)集存(cun)儲(chu)(chu)的(de)(de)(de)各種狀(zhuang)態信息和(he)性(xing)能數(shu)據，用機器(qi)學習、算法分(fen)析，學習用戶的(de)(de)(de)存(cun)儲(chu)(chu)使用情況，進(jin)而自動(dong)化的(de)(de)(de)調整并優(you)化存(cun)儲(chu)(chu)系(xi)統(tong)(tong)，使存(cun)儲(chu)(chu)服務能更好地適(shi)應用戶的(de)(de)(de)需(xu)求(qiu)。比如：智能化的(de)(de)(de)把數(shu)據保存(cun)在(zai)合適(shi)的(de)(de)(de)區域(yu)；自動(dong)的(de)(de)(de)完成數(shu)據均衡；預(yu)測(ce)未來的(de)(de)(de)需(xu)求(qiu)；預(yu)防潛在(zai)的(de)(de)(de)問題；自動(dong)參數(shu)調優(you)等，有AI加持(chi)的(de)(de)(de)智能化存(cun)儲(chu)(chu)管理可以(yi)(yi)增(zeng)強存(cun)儲(chu)(chu)系(xi)統(tong)(tong)的(de)(de)(de)可靠性(xing)、降低(di)存(cun)儲(chu)(chu)的(de)(de)(de)復雜(za)(za)性(xing)和(he)維(wei)護成本(ben)。
權威IT調研與咨詢服(fu)務公司Gartner也在持(chi)續關注存(cun)儲智能化(hua)的(de)發展，并(bing)給(gei)出了(le)AIOps（Artificial Intelligence IT Operations）的(de)定義： AIOps利用大數據(ju)和(he)AI技術(shu)增強IT管理和(he)運維的(de)能力(li)，包括：可用性(xing)和(he)性(xing)能監(jian)測(ce)、事件關聯和(he)分析、IT服(fu)務管理和(he)自動化(hua)。
用戶期待AI加持的存儲智能管理
全球的用(yong)戶(hu)(hu)也期待著擁(yong)有智(zhi)能(neng)化管理的存(cun)儲(chu)產品。IDC在2018年6月完成了(le)一項全球存(cun)儲(chu)用(yong)戶(hu)(hu)的智(zhi)能(neng)化特性調查，用(yong)戶(hu)(hu)對使(shi)用(yong)AI / ML算法推動存(cun)儲(chu)系統的改(gai)進(jin)抱以積極的態度。
同時，IDC還(huan)調(diao)研了已經使用(yong)了存儲(chu)(chu)(chu)(chu)(chu)智能運維(wei)技術（AIOps）的(de)(de)(de)用(yong)戶(hu)，詢問他們從中得到了哪些好(hao)處。其中，排第一的(de)(de)(de)AIOps用(yong)途是改善系統的(de)(de)(de)整體可用(yong)性(xing)，其次是加(jia)快問題(ti)解決(jue)速度(du)及提高性(xing)能容量規劃，預測性(xing)地識別(bie)任何(he)即將(jiang)發生(sheng)的(de)(de)(de)故障，監視(shi)與(yu)存儲(chu)(chu)(chu)(chu)(chu)相(xiang)關的(de)(de)(de)其他IT基礎架構也(ye)被(bei)用(yong)戶(hu)重點關注。整體來(lai)說，存儲(chu)(chu)(chu)(chu)(chu)智能運維(wei)技術（AIOps）在(zai)整個的(de)(de)(de)市場和發展趨勢是非常好(hao)的(de)(de)(de)，對于(yu)用(yong)戶(hu)來(lai)說，用(yong)戶(hu)期(qi)待借助存儲(chu)(chu)(chu)(chu)(chu)智能運維(wei)技術（AIOps）來(lai)解決(jue)日(ri)常手段(duan)或者現有(you)方法不能解決(jue)的(de)(de)(de)存儲(chu)(chu)(chu)(chu)(chu)管理問題(ti)。
浪潮存儲智能運維（AIOps）的關鍵功能和應用場景
一個完整的存儲智能(neng)(neng)運維(wei)（AIOps）框架包括(kuo)監控、學(xue)習、預(yu)測(ce)、推薦和(he)實施五個過程，五個過程能(neng)(neng)為存儲提供根(gen)因(yin)分析、自動調(diao)優、預(yu)防故障、容量預(yu)測(ce)和(he)規劃(hua)、性能(neng)(neng)預(yu)測(ce)和(he)規劃(hua)、IT服務管理等功能(neng)(neng)。
學(xue)(xue)術界也非(fei)常(chang)關注存(cun)儲(chu)(chu)的(de)(de)(de)(de)AIOps。國(guo)外的(de)(de)(de)(de)存(cun)儲(chu)(chu)和系(xi)統領域的(de)(de)(de)(de)頂級會(hui)議FAST、ATC、SRE、KDD有很(hen)多相關文(wen)章，清華大學(xue)(xue)、中(zhong)(zhong)科(ke)院、華中(zhong)(zhong)科(ke)技大學(xue)(xue)等國(guo)內科(ke)研機構也在(zai)故障預測(ce)、根因(yin)分析、異常(chang)檢(jian)測(ce)、自動(dong)調優(you)等方(fang)面有優(you)秀的(de)(de)(de)(de)科(ke)研成(cheng)果。清華大學(xue)(xue)在(zai)《計算機學(xue)(xue)會(hui)通訊》上發表了(le)“基于機器學(xue)(xue)習(xi)的(de)(de)(de)(de)運維”，系(xi)統地闡述了(le)智能運維的(de)(de)(de)(de)關鍵技術，把AIOps分成(cheng)針(zhen)對歷(li)史(shi)事件(jian)(jian)、針(zhen)對當前事件(jian)(jian)和針(zhen)對未(wei)來(lai)事件(jian)(jian)三(san)類(lei)應用場(chang)景(jing)。歷(li)史(shi)事件(jian)(jian)場(chang)景(jing)中(zhong)(zhong)瓶頸分析指的(de)(de)(de)(de)是(shi)制(zhi)約存(cun)儲(chu)(chu)或系(xi)統服務的(de)(de)(de)(de)硬件(jian)(jian)或軟件(jian)(jian)瓶頸；當前事件(jian)(jian)場(chang)景(jing)主要是(shi)根據當前的(de)(de)(de)(de)日(ri)志和告警，快速檢(jian)測(ce)、定位異常(chang)，并完成(cheng)故障的(de)(de)(de)(de)根因(yin)分析，最終實(shi)現快速止損，控(kong)制(zhi)故障的(de)(de)(de)(de)影響范圍；未(wei)來(lai)事件(jian)(jian)場(chang)景(jing)中(zhong)(zhong)是(shi)通過AI技術自動(dong)挖掘故障發生前的(de)(de)(de)(de)日(ri)志、性(xing)能參數(shu)指標，找到故障前的(de)(de)(de)(de)可重復的(de)(de)(de)(de)模式(shi)，從(cong)而在(zai)今后出現類(lei)似的(de)(de)(de)(de)日(ri)志模式(shi)時，提前預測(ce)故障、性(xing)能容量變化(hua)趨勢以(yi)及系(xi)統可能的(de)(de)(de)(de)熱(re)點瓶頸。
磁盤故障預測和性能容量預測給存儲管理做“減法”
根據IDC的(de)(de)用(yong)戶(hu)調查來(lai)看，針對未來(lai)事件的(de)(de)預(yu)(yu)(yu)(yu)測(ce)(ce)分(fen)(fen)析(xi)(xi)是存(cun)儲(chu)用(yong)戶(hu)重點關(guan)注的(de)(de)五大功(gong)能之(zhi)一(yi)。存(cun)儲(chu)本身(shen)很復(fu)雜，數據中心(xin)環境和(he)用(yong)戶(hu)應用(yong)也很復(fu)雜，預(yu)(yu)(yu)(yu)測(ce)(ce)性(xing)(xing)分(fen)(fen)析(xi)(xi)技(ji)術(shu)是準確預(yu)(yu)(yu)(yu)測(ce)(ce)存(cun)儲(chu)風險和(he)故障(zhang)、解決存(cun)儲(chu)的(de)(de)復(fu)雜性(xing)(xing)的(de)(de)重要一(yi)部分(fen)(fen)。預(yu)(yu)(yu)(yu)測(ce)(ce)性(xing)(xing)分(fen)(fen)析(xi)(xi)技(ji)術(shu)是通過分(fen)(fen)析(xi)(xi)歷史的(de)(de)日志、告警、報錯(cuo)等信息，AI算法可以自動分(fen)(fen)析(xi)(xi)出(chu)問題出(chu)現(xian)前的(de)(de)頻繁出(chu)現(xian)的(de)(de)數據模式，之(zhi)后(hou)在從正常存(cun)儲(chu)系(xi)統(tong)上(shang)匹(pi)配這些AI學習到模式就(jiu)能形(xing)成預(yu)(yu)(yu)(yu)測(ce)(ce)。對于一(yi)個復(fu)雜的(de)(de)存(cun)儲(chu)系(xi)統(tong)來(lai)說，用(yong)戶(hu)關(guan)注最(zui)多的(de)(de)是硬盤(pan)、性(xing)(xing)能和(he)容量的(de)(de)預(yu)(yu)(yu)(yu)測(ce)(ce)分(fen)(fen)析(xi)(xi)，磁(ci)盤(pan)故障(zhang)預(yu)(yu)(yu)(yu)測(ce)(ce)和(he)性(xing)(xing)能容量預(yu)(yu)(yu)(yu)測(ce)(ce)則(ze)成為(wei)兩大關(guan)鍵功(gong)能。
為什么關注硬盤故障預測？公開數(shu)據顯示百度(du)數(shu)據中心4年29萬次硬件(jian)(jian)故(gu)(gu)障(zhang)中，硬盤(pan)(pan)故(gu)(gu)障(zhang)占比高(gao)達81.84%。對于傳統的(de)存(cun)(cun)儲(chu)廠商來說，雖然磁盤(pan)(pan)的(de)絕對故(gu)(gu)障(zhang)率(lv)(lv)不(bu)高(gao)，但是(shi)在所有的(de)存(cun)(cun)儲(chu)部件(jian)(jian)中，如CPU、內(nei)存(cun)(cun)、主板、網卡、HBA卡、電源等，磁盤(pan)(pan)的(de)故(gu)(gu)障(zhang)率(lv)(lv)是(shi)最高(gao)的(de)。雖然傳統存(cun)(cun)儲(chu)有RAID、副本(ben)等機制(zhi)，但是(shi)數(shu)據重(zhong)建(jian)過程(cheng)中使(shi)用(yong)了(le)(le)大量IO資源，這導(dao)致(zhi)存(cun)(cun)儲(chu)性(xing)能嚴(yan)重(zhong)下降，而且重(zhong)建(jian)時間(jian)很長往往以天計。因此，數(shu)據重(zhong)建(jian)對用(yong)戶的(de)業(ye)務影(ying)(ying)響(xiang)很大。如果我們可(ke)(ke)以提前預測磁盤(pan)(pan)故(gu)(gu)障(zhang)，用(yong)戶可(ke)(ke)以選擇業(ye)務不(bu)繁(fan)忙的(de)時間(jian)來重(zhong)建(jian)數(shu)據，那么(me)重(zhong)建(jian)帶(dai)來的(de)影(ying)(ying)響(xiang)可(ke)(ke)以忽略(lve)不(bu)計。同時，預測可(ke)(ke)以把突發事件(jian)(jian)變為計劃事件(jian)(jian)，也(ye)降低(di)了(le)(le)存(cun)(cun)儲(chu)的(de)維護成本(ben)。
為什么關注容量性能預測？除故障外，用戶在(zai)日常使用存儲(chu)的(de)過程中(zhong)關注最多的(de)就是(shi)容(rong)量(liang)和(he)性(xing)能(neng)。系(xi)統容(rong)量(liang)不足會導(dao)致(zhi)系(xi)統不可(ke)用，用戶業(ye)務(wu)中(zhong)斷。性(xing)能(neng)指標(biao)(biao)主要指時(shi)延、帶寬、IOPS，隨著用戶業(ye)務(wu)的(de)發展，給存儲(chu)帶來(lai)的(de)性(xing)能(neng)壓力越(yue)來(lai)越(yue)大，性(xing)能(neng)不足會讓用戶的(de)應用變慢甚至(zhi)無(wu)響應。利用AI技(ji)術，對(dui)存儲(chu)的(de)性(xing)能(neng)、容(rong)量(liang)變化趨(qu)勢進(jin)行(xing)準確預測，一(yi)方面可(ke)以告知用戶進(jin)行(xing)擴容(rong)、軟硬(ying)件升級的(de)時(shi)間點，另一(yi)方面也能(neng)提供存儲(chu)規(gui)劃的(de)具體參考指標(biao)(biao)。
浪潮存儲智能管理平臺的磁盤故障預測技術
同典(dian)型的AI系(xi)統一樣，浪潮智能管理(li)平臺先對歷史數(shu)據(ju)(ju)進行(xing)訓(xun)練，生成(cheng)AI模型，最后(hou)在(zai)新的數(shu)據(ju)(ju)到來(lai)(lai)時形(xing)成(cheng)預(yu)測。具體說包括(kuo)以下(xia)五個部分：輸入數(shu)據(ju)(ju)、預(yu)處理(li)、模型訓(xun)練、優化集成(cheng)和(he)預(yu)測。對于軟件系(xi)統來(lai)(lai)說關鍵(jian)點有：數(shu)據(ju)(ju)來(lai)(lai)源、算法選(xuan)擇和(he)評估指(zhi)標。
其一，數據來源
硬盤(pan)本身提供了SMART數據（Self-Monitoring Analysis and Reporting Technology）。SMART是90年(nian)代定義的硬盤(pan)狀態(tai)檢(jian)測(ce)和預警系統(tong)的規(gui)范，提供了磁(ci)頭、磁(ci)盤(pan)、電(dian)機、電(dian)路等(deng)硬盤(pan)硬件的運行(xing)數據。目前幾乎所有的硬盤(pan)廠商都已經支持了該(gai)規(gui)范。下(xia)表(biao)列出了與故障相關的SMART值(zhi)。
浪(lang)(lang)潮(chao)存(cun)(cun)儲(chu)(chu)智(zhi)能(neng)(neng)管(guan)理平臺(tai)基于(yu)SMART數(shu)據進行磁盤(pan)故障(zhang)(zhang)預測(ce)(ce)，且都取(qu)得了(le)不(bu)錯的(de)(de)效果。在(zai)2020年2月的(de)(de)存(cun)(cun)儲(chu)(chu)頂會FAST（USENIX Conference on File and Storage Technologies）上發表的(de)(de)最新論(lun)文表明，SMART再加上存(cun)(cun)儲(chu)(chu)性能(neng)(neng)數(shu)據可以進一(yi)步提升預測(ce)(ce)準確率(lv)(lv)。作(zuo)者采用了(le)12個(ge)磁盤(pan)IO性能(neng)(neng)指(zhi)標(biao)、18個(ge)服務器(qi)性能(neng)(neng)指(zhi)標(biao)、4個(ge)位(wei)置信息，基于(yu)CNN和LSTM的(de)(de)AI算法實現(xian)了(le)提前10天故障(zhang)(zhang)預測(ce)(ce)誤報率(lv)(lv)0.5%、漏報率(lv)(lv)5.1%。我們也(ye)將著手在(zai)浪(lang)(lang)潮(chao)存(cun)(cun)儲(chu)(chu)平臺(tai)上能(neng)(neng)應(ying)用最新的(de)(de)技術來(lai)進一(yi)步提高預測(ce)(ce)的(de)(de)準確性。
其二，算法選擇
可用于磁(ci)盤故障預測(ce)的(de)AI算(suan)(suan)法(fa)(fa)有(you)(you)很多(duo)，如傳統算(suan)(suan)法(fa)(fa)決策樹、經典的(de)SVM（Support Vector Machine）、在各種競賽上大放異彩的(de)XGBoost（Gradient Tree Boosting）以及(ji)深度(du)學習(xi)算(suan)(suan)法(fa)(fa)CNN和LSTM。實際效果及(ji)頂級會議KDD、ATC、FAST的(de)論文實驗結果都表明，XGBoost、CNN、LSTM的(de)效果比傳統算(suan)(suan)法(fa)(fa)有(you)(you)明顯優(you)勢。
其三，評價指標
在完成了歷史數據(ju)訓練(lian)，故障預測之后，我(wo)們需要(yao)對預測的(de)效果進(jin)行評估(gu)。如下表(biao)格描(miao)述了機器學習(xi)中標準的(de)評價(jia)指標。
基于表格中的(de)(de)定義，評價磁盤故(gu)障(zhang)預測的(de)(de)主要有準(zhun)確率、漏報(bao)率和誤報(bao)率：
準確率(lv)(lv)高，誤(wu)報和漏報低，是(shi)浪潮存儲追(zhui)求的(de)(de)目(mu)標。這(zhe)相當于我們在發現幾乎所有(you)壞盤(pan)的(de)(de)同(tong)時，沒(mei)有(you)把(ba)好盤(pan)誤(wu)判成(cheng)壞盤(pan)。但是(shi)從算法調(diao)優(you)的(de)(de)角度看，誤(wu)報率(lv)(lv)和漏報率(lv)(lv)是(shi)一對矛盾，誤(wu)報率(lv)(lv)的(de)(de)降低會引起(qi)漏率(lv)(lv)報的(de)(de)上(shang)升，漏報率(lv)(lv)的(de)(de)降低會引起(qi)誤(wu)報率(lv)(lv)的(de)(de)上(shang)升。
浪潮存儲智能管理平臺的性能容量預測技術
對于(yu)存儲來說，性能和容量預(yu)(yu)測(ce)是(shi)兩件不(bu)同的(de)事(shi)情，都為(wei)用戶(hu)帶(dai)來不(bu)同的(de)價值。但是(shi)站在(zai)技術角度，兩者都屬于(yu)數(shu)據挖(wa)掘中時間(jian)(jian)序(xu)列(lie)(lie)預(yu)(yu)測(ce)問題（Time Series Prediction）。時間(jian)(jian)序(xu)列(lie)(lie)，也叫時間(jian)(jian)數(shu)列(lie)(lie)、歷史復(fu)數(shu)或(huo)(huo)動(dong)態數(shu)列(lie)(lie)。它(ta)是(shi)將某種統計指標(biao)的(de)數(shu)值，按時間(jian)(jian)先(xian)后順序(xu)排到所(suo)形(xing)成(cheng)(cheng)的(de)數(shu)列(lie)(lie)。預(yu)(yu)測(ce)的(de)基本原理(li)是(shi)：統計分(fen)析過(guo)去(qu)的(de)時間(jian)(jian)序(xu)列(lie)(lie)數(shu)據，形(xing)成(cheng)(cheng)擬(ni)合函數(shu)或(huo)(huo)者AI算法模型，以(yi)擬(ni)合的(de)函數(shu)結果或(huo)(huo)模型來預(yu)(yu)測(ce)未來的(de)趨勢。
時(shi)(shi)間序列預(yu)測法可用于(yu)短期(qi)、中期(qi)和長期(qi)預(yu)測。造成(cheng)時(shi)(shi)間序列數據發生(sheng)變化的因素主(zhu)要有以下四個：
1) 趨勢(shi)性：時間序(xu)列曲線呈現出一種緩(huan)慢而長期的(de)持續上升、下(xia)降、不變的(de)整體趨勢(shi)。
2) 周期性(xing)：由于外(wai)部的影響(xiang)，隨季節的交(jiao)替(ti)，時間序列曲線有明(ming)顯(xian)的周期性(xing)的高峰、低谷。
3) 隨機(ji)性：個別的數(shu)據變(bian)化為隨機(ji)變(bian)動，但整體(ti)呈(cheng)現出統(tong)計規律(lv)。
4) 綜合性：以(yi)上幾(ji)種變化因素的疊加或(huo)組(zu)合。預測(ce)時可(ke)以(yi)過濾除去不規則的隨機因素，最(zui)終展現出(chu)趨勢性和周期性變動。
經典的時間序(xu)列預測算法有ARIMA、線性回歸、深度學習(xi)算法等。這些算法有各自的優劣勢，產品會(hui)根據不(bu)(bu)同的用戶應用場景(jing)來選擇不(bu)(bu)同的算法。下圖展示了各個算法的實際效果(guo)。
對于存(cun)儲(chu)來說(shuo)，除核心算法外(wai)，存(cun)儲(chu)還有自身的(de)容(rong)量(liang)(liang)和性(xing)能指標。下表(biao)列出了浪潮(chao)存(cun)儲(chu)智(zhi)能管(guan)理平臺支持的(de)未來1天(tian)、7天(tian)、30天(tian)、90天(tian)的(de)3個容(rong)量(liang)(liang)趨勢(shi)指標，15個性(xing)能趨勢(shi)指標。
存儲產業界中，作為新數據時代“新存儲”引領者，浪潮存儲基于InView智能管理平臺，提供了預測性分析、端到端的故障定位、性能洞察等一系列的智能化功能，幫助用戶分析復雜應用環境下從虛擬機到后端存儲端到端的性能瓶頸，確定影響性能瓶頸的主要因素，并最終給出可行的優化或解決問題的建議。其中磁盤故障預測、性能容量預測的智能化功能，可以幫助用戶預防硬件故障帶來的損失，并給出具體的擴容建議，為用戶提供更穩定、高性能、智能化的存儲服務，使存儲服務能更好地適應用戶需求，同時降低存儲的復雜性和維護成本。（作者：浪(lang)潮資深存儲架構師(shi)葉毓睿、浪(lang)潮存儲架構師(shi)李(li)強）
