北京2023年(nian)7月8日 /美(mei)通社/ -- 當前(qian)，生(sheng)成(cheng)式(shi)AI（AIGC）已(yi)經成(cheng)為(wei)(wei)(wei)AI產業化發(fa)展的主戰場，隨(sui)著大模型參(can)數量和(he)數據(ju)量的爆發(fa)式(shi)增長，多源異構數據(ju)的傳、用、管、存，正(zheng)在(zai)成(cheng)為(wei)(wei)(wei)制約生(sheng)成(cheng)式(shi)AI落地的瓶頸之一。為(wei)(wei)(wei)了化解生(sheng)成(cheng)式(shi)AI的數據(ju)存儲與管理瓶頸，浪(lang)潮(chao)信息在(zai)"數智未來"AIGC數據(ju)應用創新論壇上，正(zheng)式(shi)發(fa)布面向(xiang)生(sheng)成(cheng)式(shi)AI的存儲解決方案(an)，該方案(an)以極致(zhi)融合、極致(zhi)性能、極致(zhi)節能，和(he)熱(re)溫冷冰四級數據(ju)全生(sheng)命(ming)周期(qi)管理，助力(li)開啟生(sheng)成(cheng)式(shi)AI新局(ju)面，創造智慧(hui)時代新機遇。

生成式AI亟待突破多源異構和存儲性能瓶頸

生產(chan)式(shi)AI是(shi)人工(gong)智能(neng)(neng)(neng)從1.0時代進入2.0時代的(de)(de)重(zhong)要(yao)標志(zhi)，其具備強大的(de)(de)認知(zhi)智能(neng)(neng)(neng)，在搜(sou)索引擎、藝術(shu)創作、影音游戲，以(yi)及金(jin)融、教育、醫療(liao)、工(gong)業等領域有(you)著(zhu)廣闊的(de)(de)應用前景。Gartner預測，到(dao)(dao)2023年(nian)(nian)將(jiang)有(you)20%的(de)(de)內(nei)容(rong)被(bei)AIGC所(suo)創建；到(dao)(dao)2025 年(nian)(nian)人工(gong)智能(neng)(neng)(neng)生成數據(ju)占比將(jiang)達到(dao)(dao)10%。據(ju)分析師預測，到(dao)(dao)2032年(nian)(nian)，生成式(shi)人工(gong)智能(neng)(neng)(neng)市場(chang)規(gui)模將(jiang)達到(dao)(dao)2,000億美(mei)元，占據(ju)人工(gong)智能(neng)(neng)(neng)支出(chu)(chu)總額的(de)(de)約20%，顯著(zhu)高出(chu)(chu)當前的(de)(de)5%。換言之(zhi)，未(wei)來十年(nian)(nian)市場(chang)規(gui)模可能(neng)(neng)(neng)每(mei)兩年(nian)(nian)就會翻一(yi)番。

生(sheng)成(cheng)(cheng)式AI主要應用(yong)場景(jing)涵(han)蓋文本(ben)生(sheng)成(cheng)(cheng)、語音生(sheng)成(cheng)(cheng)、圖片生(sheng)成(cheng)(cheng)、視頻(pin)生(sheng)成(cheng)(cheng)、代碼生(sheng)成(cheng)(cheng)、虛擬人生(sheng)成(cheng)(cheng)等，在(zai)每種應用(yong)的背后(hou)是(shi)基于行(xing)(xing)業(ye)上下(xia)游對(dui)(dui)數(shu)據(ju)進行(xing)(xing)采集、標注、訓練、推理、歸檔，其特(te)征是(shi)數(shu)據(ju)量大、多(duo)元數(shu)據(ju)類型復(fu)雜、服務(wu)協議(yi)多(duo)樣、性能要求苛刻、要求服務(wu)持(chi)續(xu)在(zai)線(xian)。生(sheng)成(cheng)(cheng)式AI對(dui)(dui)數(shu)據(ju)存儲提出(chu)如下(xia)挑戰：

• 異構數據的融合：生成式AI訓練模型的數據呈現來源多、格式多的多源異構現狀，傳統存儲面向單一數據類型設計，需要以搬移數據的方式實現多協議訪問，存儲成為應用平臺的關鍵瓶頸；
• 持續的低延遲與高帶寬：模型訓練過程中，頻繁地從數據集取Token，每個Token一般4字節，實時高并發小IO性能需要極低的延遲；存儲模型Checkpoint時，為Checkpoint數據可快速寫入，需要高帶寬；
• EB級大容量存儲需求：越多的數據投喂結果越精準的工作原理，決定了大模型訓練存在深度學習網絡層數多、連接多、參數和數據集種類復雜、數據量大的特征，隨著模型參數和數據量的快速增長，對于存儲的大容量和擴展需求也迫在眉睫。

數據(ju)存儲產(chan)業需要進行全方(fang)(fang)位的技術升級(ji)，通過在(zai)多源異構融合(he)、數據(ju)高速(su)傳輸(shu)、海量(liang)數據(ju)管理等(deng)方(fang)(fang)面持續創新，打造專業的生成式(shi)AI存儲產(chan)品(pin)與解決方(fang)(fang)案。

浪潮信息讓生成式AI智慧有數

浪潮信息是最(zui)早布局大模型的企(qi)業之一，打造(zao)了(le)算力、算法、數(shu)據全棧的解(jie)決方(fang)案能(neng)力。在數(shu)據存(cun)(cun)儲領(ling)域(yu)，浪潮信息準確(que)識別(bie)行業痛(tong)點(dian)、積極布局，經過持(chi)續攻關，在融合存(cun)(cun)儲架構(gou)、系統性能(neng)設計、數(shu)據全生命周(zhou)期管理算法等方(fang)面不斷突破(po)，打造(zao)出生成式AI存(cun)(cun)儲解(jie)決方(fang)案。

浪潮信息生(sheng)(sheng)成式AI存(cun)儲(chu)(chu)解決方(fang)案基于AS13000融合存(cun)儲(chu)(chu)系統，可以(yi)支撐AIGC產業(ye)上中下(xia)游(you)業(ye)務應(ying)用(yong)，并針對(dui)不同業(ye)務階段的數(shu)據(ju)存(cun)儲(chu)(chu)需(xu)(xu)求(qiu)，提供熱(re)(re)溫(wen)冷(leng)冰四級存(cun)儲(chu)(chu)，實現數(shu)據(ju)在各級存(cun)儲(chu)(chu)間自(zi)動流轉。用(yong)高性(xing)能節(jie)點形(xing)態來(lai)滿足(zu)(zu)數(shu)據(ju)訓練、數(shu)據(ju)推(tui)理(li)兩個(ge)階段的高帶寬、低(di)延時、高并行讀寫性(xing)能存(cun)儲(chu)(chu)需(xu)(xu)求(qiu)，用(yong)大容量(liang)節(jie)點形(xing)態來(lai)滿足(zu)(zu)數(shu)據(ju)采集(ji)、數(shu)據(ju)準備、數(shu)據(ju)歸檔三(san)個(ge)階段的海量(liang)多元(yuan)數(shu)據(ju)存(cun)儲(chu)(chu)需(xu)(xu)求(qiu)，方(fang)案具備極(ji)(ji)致融合、極(ji)(ji)致性(xing)能、極(ji)(ji)致節(jie)能三(san)大能力，以(yi)及熱(re)(re)、溫(wen)、冷(leng)、冰四級數(shu)據(ju)全生(sheng)(sheng)命周期存(cun)儲(chu)(chu)管(guan)理(li)能力，助力生(sheng)(sheng)成式AI突破海量(liang)數(shu)據(ju)存(cun)力瓶(ping)頸，加(jia)速釋放(fang)數(shu)據(ju)的價值。

• 極致融合。為了應對不同模態的多樣性需求，浪潮信息提出"協議互通、數據融合"設計理念，一個集群內支持多個存儲池，一個存儲池內支持文本、圖片、音頻、視頻等多種類型數據存儲，一份數據又可以被前端不同業務場景同時以文件、對象、大數據、視頻四種存儲協議進行并行訪問。用一套存儲實現支持多模態場景應用，免除了數據跨應用時的復制，實現真正意義上非結構化數據的協議互訪互通，讓數據融合。
• 極致性能。AIGC場景數據類型多樣化，文件大小不一、數量多，且讀寫頻繁，對存儲系統的百GB級高帶寬、百萬級IOPS需求成了常態。浪潮信息在軟件方面，通過數控分離架構減少東西向數據量的轉發，通過GDS、RMDA技術縮短I/O路徑，通過SPDK、緩存零拷貝技術減少I/O路徑上的數據拷貝，以及基于自研NVMe SSD開發的盤控協同技術，減少I/O訪問SSD盤的次數，使存儲性能得到進一步釋放。在硬件方面，優化IO路徑通道，均衡IO路徑，最大化發揮硬件性能，全閃單節點帶寬超過50GB/s，IOPS超過50萬；此外，創新性地引入雙控全閃節點，帶寬超100GB/s，IOPS超100萬，真正使系統具備千萬級IOPS、EB級帶寬，充分滿足AIGC場景對存儲系統的苛刻要求。
• 極致節能。浪潮信息近期最新發布了G7硬件平臺，存儲專用的液冷服務器涵蓋性能型和容量型，且均采用模塊化冷板組件設計模式。在系統方案層面，浪潮信息具有風液式、液液式等完善的端到端解決方案，能夠為用戶全方位打造液冷數據中心交鑰匙工程，并且完成了業界首次液冷整機柜批量交付，實現PUE<1.1。
• 端到端的數據全生命周期管理。除了三大"極致"能力之外，得益于"資源互通、管理融合"的設計理念，浪潮生成式AI存儲方案基于閃存、磁盤、磁帶、光盤四種介質提供熱溫冷冰四種存儲資源，通過資源互通實現數據全生命周期管理。基于數據的熱度識別，自動釋放在線存儲空間，可以將海量數據自動歸檔到光盤庫，降低長期存儲成本；實現冷數據的分鐘級快速回調，滿足0~4級應用的存儲需求。四種介質、四類存儲節點，提供熱溫冷冰自動流轉，滿足各類應用的靈活配置需求，通過性能型、均衡型、容量型、高密容量型四種機型的按需靈活配置，進一步降低整體投入。

目前，浪(lang)潮(chao)信(xin)息(xi)(xi)生(sheng)成式(shi)AI存(cun)(cun)(cun)儲(chu)(chu)(chu)解決(jue)方案(an)已經在(zai)全球領先的(de)(de)(de)中(zhong)文(wen)語(yu)言(yan)大(da)模(mo)型(xing)"源1.0"中(zhong)成功落地(di)，面對(dui)千億級參數(shu)量和數(shu)據量帶(dai)來的(de)(de)(de)挑(tiao)戰(zhan)，浪(lang)潮(chao)信(xin)息(xi)(xi)通(tong)過(guo)AS13000高(gao)吞吐并(bing)行存(cun)(cun)(cun)儲(chu)(chu)(chu)系統實(shi)現(xian)了多存(cun)(cun)(cun)儲(chu)(chu)(chu)協議(yi)互(hu)通(tong)、數(shu)據融合，利(li)用(yong)全閃的(de)(de)(de)極致(zhi)性(xing)能，助力"源1.0"大(da)模(mo)型(xing)實(shi)現(xian)了16天完(wan)成訓(xun)練的(de)(de)(de)超(chao)高(gao)效率。國內AI獨角獸公司采(cai)用(yong)浪(lang)潮(chao)信(xin)息(xi)(xi)提供的(de)(de)(de)并(bing)行文(wen)件(jian)存(cun)(cun)(cun)儲(chu)(chu)(chu)，承載5000億參數(shu)量的(de)(de)(de)NLP語(yu)言(yan)類大(da)模(mo)型(xing)的(de)(de)(de)數(shu)據集(ji)Token和CheckPoint文(wen)件(jian)，輕松應對(dui)大(da)/小文(wen)件(jian)的(de)(de)(de)讀寫挑(tiao)戰(zhan)，配置AS13000全閃存(cun)(cun)(cun)儲(chu)(chu)(chu)集(ji)群(qun)，支持(chi)高(gao)性(xing)能RocE組網和GPU直通(tong)存(cun)(cun)(cun)儲(chu)(chu)(chu)功能，帶(dai)寬超(chao)過(guo)300GB、存(cun)(cun)(cun)儲(chu)(chu)(chu)性(xing)能超(chao)過(guo)350萬(wan) IOPS，保證存(cun)(cun)(cun)儲(chu)(chu)(chu)集(ji)群(qun)的(de)(de)(de)高(gao)可用(yong)與敏捷擴容(rong)。

面對生成(cheng)式AI掀起(qi)的(de)變革(ge)熱潮，誰能(neng)(neng)掌握數(shu)字化(hua)變革(ge)的(de)先機，誰就能(neng)(neng)把握未(wei)來AI革(ge)命的(de)致勝關鍵，而數(shu)據底(di)座將成(cheng)為(wei)(wei)千行(xing)百(bai)業創新(xin)(xin)變革(ge)的(de)重(zhong)要基石。浪潮信息存(cun)儲秉承"存(cun)儲即平臺"的(de)產(chan)品理念，精耕數(shu)據存(cun)儲產(chan)品與解(jie)決方案，攜手(shou)合作伙伴(ban)，助力生成(cheng)式AI在金融虛擬客服、圖片編輯設計、智能(neng)(neng)駕駛、跨模態檢索等場景的(de)落地，激(ji)活數(shu)據要素(su)新(xin)(xin)潛能(neng)(neng)，駕馭智慧化(hua)轉(zhuan)型新(xin)(xin)趨勢，在機遇與挑(tiao)戰并(bing)存(cun)的(de)新(xin)(xin)格局(ju)下，為(wei)(wei)行(xing)業轉(zhuan)型注(zhu)入(ru)新(xin)(xin)價(jia)值、新(xin)(xin)動能(neng)(neng)。