北京(jing)2022年8月12日 /美通社(she)/ -- 隨著(zhu)經濟社(she)會加速數(shu)(shu)(shu)(shu)字化(hua)(hua)轉(zhuan)型，大數(shu)(shu)(shu)(shu)據(ju)、云計(ji)算(suan)、人工智能、區塊鏈(lian)等(deng)(deng)新一代信息技(ji)術(shu)快(kuai)速興起(qi)，智慧(hui)政務、金融科技(ji)、智慧(hui)交通、遠程教育、智慧(hui)醫療(liao)等(deng)(deng)應用(yong)加速落地，辦公文檔(dang)、圖片、視(shi)頻、音頻、設計(ji)文檔(dang)、日志文件、機器數(shu)(shu)(shu)(shu)據(ju)等(deng)(deng)非結構化(hua)(hua)數(shu)(shu)(shu)(shu)據(ju)爆發式增長(chang)，企(qi)業和(he)組織愈發重視(shi)海量(liang)非結構化(hua)(hua)數(shu)(shu)(shu)(shu)據(ju)的(de)管(guan)理與應用(yong)。如何(he)依靠底層技(ji)術(shu)讓海量(liang)非結構化(hua)(hua)數(shu)(shu)(shu)(shu)據(ju)的(de)管(guan)理和(he)使用(yong)更(geng)簡單？無處不在的(de)元(yuan)數(shu)(shu)(shu)(shu)據(ju)給出了(le)答案。

什么是元數據?

元數據(ju)(ju)是關(guan)于(yu)數據(ju)(ju)的(de)(de)數據(ju)(ju),人們身邊的(de)(de)一(yi)切(qie)信息和(he)資源都可以用(yong)數據(ju)(ju)來描(miao)述，元數據(ju)(ju)則是從數據(ju)(ju)資源中抽取用(yong)來說明(ming)其特(te)征和(he)內容的(de)(de)結(jie)構化(hua)數據(ju)(ju)，用(yong)于(yu)組織(zhi)、管理、保存、檢索信息和(he)資源。雖(sui)然人們看不(bu)見(jian)元數據(ju)(ju)的(de)(de)存在，但(dan)它卻無時無刻不(bu)伴隨左右。人們平時所津(jin)津(jin)樂道的(de)(de)大數據(ju)(ju)，也是基于(yu)元數據(ju)(ju)來計算的(de)(de)。

企業和組織可以基于元數(shu)據對海量(liang)非結(jie)構化(hua)數(shu)據進(jin)行(xing)管理，例如獲(huo)(huo)(huo)取后綴名為jpeg的所有圖片文(wen)(wen)件列表、獲(huo)(huo)(huo)取文(wen)(wen)件大(da)(da)小(xiao)大(da)(da)于10M的文(wen)(wen)件列表、獲(huo)(huo)(huo)取給定(ding)日期(qi)之前創建的文(wen)(wen)件列表，在快速獲(huo)(huo)(huo)取符合條件的文(wen)(wen)件之后還可以高(gao)效(xiao)管理對應的數(shu)據。而如何更方便快捷地查找到非結(jie)構化(hua)的文(wen)(wen)件成為分布式存儲面臨(lin)的全新(xin)挑戰(zhan)。

傳統(tong)檢(jian)索(suo)(suo)方(fang)式較為簡單(dan)粗暴(bao)，難以應對(dui)文件(jian)(jian)(jian)多、目錄層(ceng)次深(shen)、檢(jian)索(suo)(suo)條件(jian)(jian)(jian)復雜等挑戰。例如Linux中的find查(cha)找，對(dui)象(xiang)存儲中的前綴檢(jian)索(suo)(suo)，都只能(neng)遍(bian)歷所有(you)文件(jian)(jian)(jian)進(jin)行篩選，功能(neng)上不(bu)能(neng)滿足多樣化(hua)的檢(jian)索(suo)(suo)需求，檢(jian)索(suo)(suo)字段有(you)限，檢(jian)索(suo)(suo)方(fang)式單(dan)一；還有(you)性(xing)能(neng)上也(ye)影響了(le)底層(ceng)元數據管理(li)服務的檢(jian)索(suo)(suo)能(neng)力和檢(jian)索(suo)(suo)效(xiao)率。

浪潮分布式存(cun)儲基于對(dui)元數據(ju)(ju)檢(jian)(jian)(jian)索的研究，在(zai)分布式存(cun)儲平臺AS13000上(shang)進(jin)行(xing)技(ji)術創(chuang)新，在(zai)對(dui)象(xiang)、文件(jian)、大數據(ju)(ju)三大非結構(gou)化(hua)存(cun)儲場景，研發了(le)元數據(ju)(ju)檢(jian)(jian)(jian)索功能，支持對(dui)文件(jian)名稱、路(lu)徑、類型、大小、自定(ding)義元數據(ju)(ju)、創(chuang)建時間(jian)、修改時間(jian)、用(yong)戶（組(zu)）、桶等(deng)關鍵字段進(jin)行(xing)檢(jian)(jian)(jian)索，以及支持基礎檢(jian)(jian)(jian)索和邏輯關系自定(ding)義等(deng)高級(ji)檢(jian)(jian)(jian)索功能。百億級(ji)文件(jian)，可以進(jin)行(xing)亞(ya)分鐘級(ji)檢(jian)(jian)(jian)索。

浪潮分布式存儲：元數據檢索的四大優勢

浪潮(chao)分布式存(cun)儲AS13000元數據檢索能(neng)夠同時(shi)兼容(rong)對(dui)象、文件、大數據三(san)大非結構化存(cun)儲場景，引入Elasticsearch作為元數據檢索引擎，支持NFS、CIFS、S3、Swift、HDFS協議。

Elasticsearch是一(yi)個(ge)可擴展的RESTful風格(ge)的分布(bu)式數據檢索(suo)和分析(xi)引擎，它能(neng)夠(gou)快速(su)且近實(shi)時地存儲、檢索(suo)、分析(xi)海量數據，通(tong)常用(yong)作具(ju)有復雜檢索(suo)應(ying)用(yong)的底(di)層引擎。

分(fen)布式(shi)存儲+Elasticsearch，即(ji)為浪(lang)潮分(fen)布式(shi)非結構化存儲AS13000元(yuan)數據(ju)檢索的(de)核心。

文件(jian)的元數據信(xin)息(xi)會同(tong)步至Elasticsearch引擎中(zhong)，基于(yu)此，企業的元數據檢(jian)索命令通過協(xie)議(yi)轉(zhuan)換，在(zai)Elasticsearch中(zhong)檢(jian)索出符(fu)合要求的文件(jian)信(xin)息(xi)。

比如，浪潮分布(bu)式存儲具有(you)更全面的協(xie)議(yi)支(zhi)撐(cheng)。浪潮分布(bu)式存儲AS13000能夠(gou)同時支(zhi)持NFS、CIFS、S3、Swift、HDFS協(xie)議(yi)進(jin)行(xing)檢索；同時支(zhi)持企業(ye)自己的RESTful風格訪問程序進(jin)行(xing)自定義(yi)元數據(ju)信息檢索；

又如，具備(bei)更靈活便捷的(de)(de)(de)(de)檢(jian)(jian)(jian)索(suo)(suo)(suo)方式(shi)。基于(yu)(yu)上述(shu)的(de)(de)(de)(de)結構(gou)，浪潮分布式(shi)存(cun)儲AS13000實現了更為豐富的(de)(de)(de)(de)檢(jian)(jian)(jian)索(suo)(suo)(suo)手段(duan)和快捷的(de)(de)(de)(de)檢(jian)(jian)(jian)索(suo)(suo)(suo)速度(du)，對數(shu)據存(cun)儲本(ben)身的(de)(de)(de)(de)讀寫影響更小(xiao)。浪潮存(cun)儲支(zhi)持的(de)(de)(de)(de)檢(jian)(jian)(jian)索(suo)(suo)(suo)內(nei)容包括兩個方面，其一，豐富的(de)(de)(de)(de)檢(jian)(jian)(jian)索(suo)(suo)(suo)字段(duan)，包括文件(jian)名(ming)稱、路徑、類型(xing)、大小(xiao)、創建時(shi)間、最后修(xiu)改時(shi)間、用戶名(ming)、用戶組(zu)名(ming)、桶名(ming)，以及用戶自定義的(de)(de)(de)(de)元數(shu)據信息，都可以作為檢(jian)(jian)(jian)索(suo)(suo)(suo)字段(duan)。其二，多樣的(de)(de)(de)(de)檢(jian)(jian)(jian)索(suo)(suo)(suo)邏輯，支(zhi)持大于(yu)(yu)、大于(yu)(yu)等(deng)(deng)于(yu)(yu)、小(xiao)于(yu)(yu)、小(xiao)于(yu)(yu)等(deng)(deng)于(yu)(yu)、不等(deng)(deng)于(yu)(yu)、等(deng)(deng)于(yu)(yu)等(deng)(deng)算(suan)術(shu)比較(jiao)運算(suan)符，邏輯支(zhi)持"并且(qie)"、"或者"等(deng)(deng)邏輯運算(suan)符。企業可以根據需(xu)求在檢(jian)(jian)(jian)索(suo)(suo)(suo)界面上進行檢(jian)(jian)(jian)索(suo)(suo)(suo)式(shi)的(de)(de)(de)(de)組(zu)裝，且(qie)檢(jian)(jian)(jian)索(suo)(suo)(suo)結果支(zhi)持分頁展(zhan)示。

再(zai)如，更安(an)全(quan)的元數(shu)據(ju)保護。為了保護企(qi)業的元數(shu)據(ju)信息(xi)，避免非法的RESTful請求惡意(yi)獲取Elasticsearch中的元數(shu)據(ju)信息(xi)，浪潮分(fen)布式存儲AS13000同時(shi)針對(dui)Elasticsearch進行了安(an)全(quan)限制，針對(dui)Elasticsearch提供(gong)數(shu)據(ju)流加密，同時(shi)基于角(jiao)色進行訪問安(an)全(quan)校驗，保障元數(shu)據(ju)信息(xi)的網(wang)絡安(an)全(quan)。

最后，更(geng)便捷(jie)的(de)對接(jie)方式(shi)。浪(lang)(lang)潮分(fen)布(bu)式(shi)存儲AS13000不(bu)僅能夠(gou)提供元數據檢索(suo)服(fu)務，同(tong)時能夠(gou)輕松對接(jie)企業(ye)(ye)的(de)Elasticsearch引擎。如果(guo)企業(ye)(ye)原本(ben)就有元數據檢索(suo)引擎，則可以直接(jie)部署(shu)浪(lang)(lang)潮分(fen)布(bu)式(shi)存儲，對接(jie)企業(ye)(ye)的(de)Elasticsearch，不(bu)需要企業(ye)(ye)更(geng)改原本(ben)的(de)檢索(suo)手(shou)段(duan)，實現(xian)無縫(feng)切換(huan)。

具備元(yuan)數(shu)據檢索(suo)功能的浪(lang)潮分(fen)布式存儲AS13000，已(yi)經(jing)在金融、通(tong)信(xin)、教科研、醫療等行業(ye)規(gui)模部(bu)署，為企業(ye)提供(gong)更(geng)(geng)(geng)簡單(dan)、更(geng)(geng)(geng)豐富、更(geng)(geng)(geng)便捷的元(yuan)數(shu)據檢索(suo)方式，讓(rang)企業(ye)輕松(song)應對數(shu)字經(jing)濟時代(dai)的海量數(shu)據挑(tiao)戰(zhan)。