北京2023年9月27日 /美(mei)通社/ -- 黃金比例(li)是數(shu)(shu)學(xue)上一(yi)種(zhong)堪(kan)稱(cheng)"完美(mei)"的比例(li)關(guan)系，最早由(you)歐幾里得(de)在《幾何(he)原本》中進行了系統(tong)論述。之后，黃金比例(li)的理念被(bei)廣泛應用到數(shu)(shu)學(xue)、物(wu)理、建筑、農業等多個領域，代(dai)表(biao)著最合理、最協調的一(yi)種(zhong)情況或者狀態(tai)。
在數據(ju)中心領域，相關資(zi)源(yuan)的合(he)理配(pei)比愈發(fa)受到用(yong)戶們的關注。尤其(qi)是隨著大模(mo)型和(he)生(sheng)成式AI應用(yong)的興起，對于算力(li)、存(cun)力(li)等需求迅速提(ti)升，越(yue)來(lai)越(yue)多(duo)數據(ju)中心用(yong)戶意(yi)識到數據(ju)中心資(zi)源(yuan)需要平衡配(pei)置和(he)協調發(fa)展(zhan)，才能充分發(fa)揮(hui)其(qi)能力(li)與價(jia)值。
今年以來，產業(ye)界多次呼吁(yu)AI時代的(de)(de)數據中心(xin)建(jian)設不能走向偏科，算力(li)(li)與存(cun)(cun)力(li)(li)的(de)(de)建(jian)設同等重要(yao)。正如(ru)浪潮信息存(cun)(cun)儲(chu)產品線(xian)副總經(jing)理劉希猛(meng)所(suo)言："當前，生成式(shi)AI時代的(de)(de)‘百模(mo)(mo)爭(zheng)秀(xiu)'格(ge)局初現，AI大(da)模(mo)(mo)型的(de)(de)建(jian)設不僅(jin)要(yao)有算力(li)(li)底座，更(geng)要(yao)有存(cun)(cun)力(li)(li)平臺。將數據中心(xin)的(de)(de)計算、全閃(shan)存(cun)(cun)儲(chu)、混閃(shan)存(cun)(cun)儲(chu)按照1:1:1黃金比(bi)例建(jian)設，用(yong)戶(hu)可最大(da)化獲(huo)得投資回報比(bi)。"
數據中心不能"偏科"
Gartner預測，到2023年將有20%的內容被AIGC所創建；到2025 年人工智能生成(cheng)數據占比將達到10%。不可否認，生成(cheng)式(shi)AI、大模(mo)型正在成(cheng)為(wei)數據中心基礎(chu)設施發(fa)展最大的牽引力。可以預見，由AIGC和大模(mo)型帶(dai)來的基礎(chu)設施投(tou)入在未(wei)來會持續增長。
但從目前真(zhen)實情況看，數據(ju)中(zhong)心(xin)的(de)(de)(de)(de)建(jian)設是"偏科"和"失衡"的(de)(de)(de)(de)。出于各種原因，"重(zhong)算力(li)、輕存力(li)"的(de)(de)(de)(de)現(xian)象(xiang)較為明顯，大部(bu)分用戶非常看重(zhong)GPU等算力(li)產(chan)品(pin)的(de)(de)(de)(de)部(bu)署，卻忽視了存力(li)建(jian)設的(de)(de)(de)(de)重(zhong)要(yao)性，更缺少對于數據(ju)中(zhong)心(xin)整體資源(yuan)的(de)(de)(de)(de)規劃(hua)與匹配。
眾所周(zhou)知，大模型應用(yong)的(de)核心是(shi)高(gao)質量(liang)(liang)數(shu)據(ju)，數(shu)據(ju)的(de)質量(liang)(liang)又(you)決定著(zhu)算法的(de)性(xing)能(neng)、泛化能(neng)力(li)(li)和應用(yong)效果，而高(gao)質量(liang)(liang)數(shu)據(ju)的(de)得到又(you)與存(cun)力(li)(li)息(xi)息(xi)相關(guan)，圍繞數(shu)據(ju)的(de)"傳輸(shu)、存(cun)儲、分析、管理、安全"等(deng)環節(jie)，存(cun)力(li)(li)是(shi)釋放數(shu)據(ju)價值必(bi)不可少的(de)關(guan)鍵因素。
事(shi)實上，大模型發(fa)展到今天，已(yi)經屬于一個大規模、高(gao)質量數(shu)據(ju)和數(shu)據(ju)高(gao)效處理的(de)工程(cheng)難題。隨著大模型逐漸向多(duo)模態的(de)方向演進，意味著除了持續的(de)算力需(xu)求之外，對于數(shu)據(ju)存儲的(de)容量、性(xing)能、多(duo)協議支持、可靠性(xing)、數(shu)據(ju)管(guan)理等帶來前所未有的(de)變(bian)化。
例如，大(da)模(mo)(mo)型(xing)(xing)多元(yuan)異構數(shu)據的(de)(de)(de)歸(gui)集、標注、訓(xun)練(lian)、推理和(he)(he)歸(gui)檔均需(xu)要(yao)(yao)極(ji)高(gao)的(de)(de)(de)效(xiao)率來移(yi)動(dong)(dong)數(shu)據，這意味著(zhu)支持(chi)異構數(shu)據的(de)(de)(de)多協(xie)議融合將是解決(jue)大(da)模(mo)(mo)型(xing)(xing)數(shu)據移(yi)動(dong)(dong)與(yu)處(chu)理效(xiao)率的(de)(de)(de)關鍵(jian)所在；又(you)如，AIGC應用(yong)會(hui)產生大(da)量推理需(xu)求(qiu)，隨之而來的(de)(de)(de)就(jiu)是大(da)規(gui)模(mo)(mo)的(de)(de)(de)并行處(chu)理和(he)(he)復(fu)雜IO，對數(shu)據存儲性(xing)能要(yao)(yao)求(qiu)極(ji)高(gao)；再如，大(da)模(mo)(mo)型(xing)(xing)訓(xun)練(lian)動(dong)(dong)輒需(xu)要(yao)(yao)調用(yong)成(cheng)百上千快GPU卡，并且存在著(zhu)不同(tong)的(de)(de)(de)CheckPoint，對于存儲的(de)(de)(de)穩定可靠要(yao)(yao)求(qiu)越來越高(gao)。
劉希猛(meng)直言，數據存儲與管(guan)理在AIGC時代承擔著(zhu)兩個重(zhong)要責任(ren)：其一、支撐起海量多元異構數據的(de)全(quan)生命周(zhou)期(qi)管(guan)理工作(zuo)；其二、承載起AIGC數據訓練(lian)、推(tui)理對于性(xing)能、延時、容(rong)量、擴展性(xing)等(deng)各種嚴苛(ke)需求(qiu)。
對于用(yong)戶(hu)而言，除了需要(yao)重視(shi)存(cun)(cun)力建設之外，一個不(bu)容忽視(shi)的現實(shi)挑戰(zhan)即：數據(ju)中(zhong)心的算力、存(cun)(cun)力資(zi)源比例(li)到底應該如何配置才(cai)算最佳？為(wei)此，浪潮信息帶來了它的答案：從數據(ju)容量、帶寬(kuan)、訪問頻率以(yi)及(ji)成本等多個因(yin)素綜合考量，未來數據(ju)中(zhong)心在實(shi)踐中(zhong)需要(yao)形(xing)成算力、閃存(cun)(cun)和混(hun)閃的1:1:1黃金比例(li)，以(yi)滿足AIGC、大(da)模型等人工智能應用(yong)的需求。
黃金比例是如何得出的？
相比(bi)于歐美成熟市場，我國存力(li)的發(fa)展一直滯后于算力(li)。這從我國數據中心全閃存普(pu)及率較(jiao)低、容災(zai)保(bao)護建設力(li)度較(jiao)弱等方面可見一斑。
隨著(zhu)(zhu)AIGC時代的到(dao)來，這(zhe)種滯后的現象更加明顯(xian)與突出。面對AIGC迅(xun)猛的算力(li)需求，很多用戶從一(yi)開始就(jiu)"走(zou)一(yi)步看(kan)一(yi)步"，往(wang)往(wang)是(shi)先(xian)購買(mai)算力(li)，使(shi)用過程中發現存(cun)力(li)跟(gen)不上，再去著(zhu)(zhu)手配置相應的存(cun)力(li)，缺乏數據中心資源(yuan)整體規劃，建(jian)設方(fang)式明顯(xian)落伍。
某種程度而(er)言，我(wo)國通過普及和推廣數據(ju)中(zhong)心(xin)算力、閃存和混閃的(de)1:1:1黃金比例既能讓用戶在基(ji)礎設(she)施(shi)層(ceng)面更好(hao)地(di)支撐起AIGC領域的(de)創新，又可推動我(wo)國數據(ju)中(zhong)心(xin)存力建設(she)，實現數據(ju)中(zhong)心(xin)整體資源配置和利用水平的(de)提升。
但數(shu)據中心(xin)資源配(pei)置的(de)黃金比(bi)例為(wei)什么會(hui)(hui)是"1個GPU節點，對(dui)應1個全閃(shan)存儲、對(dui)應1個混閃(shan)存儲" ？浪潮信息之(zhi)所以會(hui)(hui)提出算(suan)力、閃(shan)存和混閃(shan)的(de)1:1:1黃金比(bi)例，主要來自兩個方面的(de)核(he)心(xin)原因：
首先，黃(huang)金比(bi)例源(yuan)(yuan)自(zi)于(yu)浪(lang)(lang)潮信息較早就(jiu)涉足大(da)(da)模型(xing)的實踐(jian)。早在(zai)2021年，浪(lang)(lang)潮信息就(jiu)發布(bu)了(le)源(yuan)(yuan)1.0中(zhong)(zhong)文(wen)大(da)(da)模型(xing)，當時該(gai)模型(xing)參(can)數就(jiu)高(gao)達(da)2457億個，訓(xun)練文(wen)本數據量高(gao)達(da)50TB，在(zai)這些年的大(da)(da)模型(xing)訓(xun)練、推理實踐(jian)中(zhong)(zhong)，浪(lang)(lang)潮信息自(zi)身的基礎(chu)設施產品(pin)起到了(le)關鍵的支撐作用；同時，浪(lang)(lang)潮信息也深刻(ke)感受到數據中(zhong)(zhong)心算力(li)、存(cun)力(li)的合(he)理配置，對于(yu)發展大(da)(da)模型(xing)的重要性。
例如(ru)，在大(da)(da)模型訓練與推理場景中，數(shu)(shu)據存(cun)儲(chu)(chu)最大(da)(da)的挑(tiao)戰就是如(ru)何將(jiang)不(bu)同數(shu)(shu)據源(yuan)源(yuan)不(bu)斷(duan)傳輸(shu)到(dao)CPU和GPU，因此對于數(shu)(shu)據處理性能(neng)、如(ru)何與GPU配合(he)等考驗極大(da)(da)。"對于源(yuan)1.0的實踐是浪潮信(xin)息存(cun)儲(chu)(chu)產品的先(xian)天優(you)勢。市場中很少有(you)企(qi)業能(neng)搭建一(yi)套大(da)(da)規模集群來進行(xing)支撐大(da)(da)模型的應用。"浪潮分(fen)布式(shi)存(cun)儲(chu)(chu)產品線總經理姜樂果如(ru)是說。
其次，作為國內領先的企業級存(cun)(cun)儲廠商(shang)，浪潮(chao)信息對(dui)于閃(shan)存(cun)(cun)、混閃(shan)等相關(guan)(guan)存(cun)(cun)力技術的未來發展有著深刻(ke)洞察，加(jia)上浪潮(chao)信息相關(guan)(guan)存(cun)(cun)儲解決方案已經(jing)在國內多(duo)家AIGC企業中成功(gong)應用，對(dui)于AIGC時代數據中心的整體建設已經(jing)積累了較(jiao)多(duo)實踐。
"浪潮信(xin)息(xi)在閃存領域具有全棧技術創新能力，從底(di)層SSD的控制器到(dao)存儲系(xi)統(tong)軟硬(ying)件，再(zai)到(dao)上(shang)層應用，實現(xian)盤(pan)控協同，以及數(shu)據(ju)全鏈路的優化，有利于像AIGC這類應用充(chong)分釋放數(shu)據(ju)的價(jia)值(zhi)。"劉(liu)希猛補充(chong)道。
事實上，考慮到市場內外部環境與(yu)(yu)因素，未(wei)來算(suan)(suan)力市場GPU緊缺(que)(que)的情(qing)(qing)況(kuang)還(huan)將持(chi)續很長一段時(shi)間，這(zhe)也(ye)讓算(suan)(suan)力、閃(shan)存和混(hun)閃(shan)的1:1:1黃金比例具有非常強的實踐(jian)意義。在算(suan)(suan)力緊缺(que)(que)的情(qing)(qing)況(kuang)下，同等算(suan)(suan)力配(pei)置(zhi)(zhi)下，以(yi)存強算(suan)(suan)，通(tong)過算(suan)(suan)力與(yu)(yu)存力的合(he)理配(pei)置(zhi)(zhi)，可以(yi)充分發揮基(ji)礎設施整體資源的價值。
為了進(jin)一步推動黃金比例在數據中心(xin)領域(yu)的(de)推廣，浪潮信息近期又(you)正式推出針對大模型(xing)應用存儲(chu)系(xi)統：AS 15000G7，以幫助用戶從復雜(za)的(de)基礎設施中解脫出來，全力投入到(dao)AIGC創新之(zhi)中。
AS 15000G7，讓黃金比例落在實處
可以說(shuo)，黃金比例的普及(ji)，存儲(chu)系統是關(guan)鍵(jian)。
眾所(suo)周(zhou)知，近年來隨(sui)著閃存(cun)(cun)介質(zhi)容量的(de)持續提升(sheng)以及價格的(de)不(bu)斷下降，為存(cun)(cun)力(li)在國內的(de)發(fa)展創造了(le)極好的(de)條件(jian)。毫無疑問(wen)，AIGC的(de)興起，將(jiang)進一(yi)步(bu)驅(qu)動(dong)全閃、混閃等存(cun)(cun)儲產品加速創新。
"AIGC類應用(yong)帶(dai)來了(le)對(dui)容量、性能(neng)、功(gong)能(neng)等需(xu)求(qiu)的(de)全面(mian)提(ti)升。"姜樂果介紹道，";存(cun)儲(chu)系統(tong)(tong)不(bu)僅(jin)需(xu)要進行(xing)全新組(zu)合與設計，進而滿足AIGC類應用(yong)的(de)數據存(cun)儲(chu)需(xu)求(qiu)，還要避免傳統(tong)(tong)存(cun)儲(chu)方案的(de)復雜(za)性和低(di)效(xiao)率。"
因此，浪潮信息面向AIGC應用(yong)場景打造出AS 15000G7，通過極(ji)致性能(neng)、極(ji)致管(guan)理、極(ji)致融(rong)合和(he)極(ji)致效率(lv)來滿足用(yong)戶們對(dui)于大模型訓練的數(shu)據存儲在性能(neng)、管(guan)理、融(rong)合和(he)效率(lv)方(fang)面的綜合需求(qiu)，助力AIGC在各個(ge)行(xing)業的落地，并(bing)加速釋放數(shu)據價值。
首先，針對大模型高并發、復雜IO等特征(zheng)，AS 15000G7從架構、硬件、關鍵技術(shu)(shu)、IO路(lu)徑(jing)優化(hua)等多個方面為(wei)AIGC帶來了極致性能，為(wei)大模型的(de)(de)訓練等帶來性能保障。具體(ti)來看(kan)，AS 15000G7通過GDS、RDMA技術(shu)(shu)縮(suo)短I/O路(lu)徑(jing)，并且利用智能元數據(ju)管(guan)理顯著提升數據(ju)訪問和(he)檢(jian)索速度；另(ling)外，獨有的(de)(de)智能網絡優化(hua)技術(shu)(shu)實現提升網絡端口(kou)并發能力(li)，時延縮(suo)短50%以上(shang)，尤(you)其是小文件級傳輸的(de)(de)時延可降(jiang)至毫秒級。
其次(ci)，針對(dui)大模型(xing)訓練流程(cheng)(cheng)管(guan)理(li)(li)(li)，AS 15000G7提供全(quan)流程(cheng)(cheng)透明可(ke)控(kong)的(de)極致管(guan)理(li)(li)(li)。AS 15000G7可(ke)同(tong)時搭載AIStation調度平(ping)(ping)臺(tai)和InView數(shu)據(ju)管(guan)理(li)(li)(li)平(ping)(ping)臺(tai)，對(dui)AI服務(wu)器、網(wang)絡、存(cun)儲等設(she)備進行(xing)智能運維(wei)，支持(chi)訓練推(tui)理(li)(li)(li)全(quan)流程(cheng)(cheng)的(de)多(duo)租戶管(guan)理(li)(li)(li)、資(zi)源(yuan)分(fen)配(pei)、數(shu)據(ju)管(guan)理(li)(li)(li)分(fen)析。可(ke)以通(tong)過一套存(cun)儲實現對(dui)AIGC數(shu)據(ju)采集、清(qing)洗、訓練、推(tui)理(li)(li)(li)、歸檔(dang)不同(tong)場景全(quan)流程(cheng)(cheng)的(de)設(she)備資(zi)源(yuan)監(jian)控(kong)和管(guan)理(li)(li)(li)。
第三，針對(dui)大模型多元異(yi)構(gou)(gou)數據的歸集(ji)、標注、訓(xun)練、推理和(he)歸檔，AS 15000G7融(rong)合(he)架(jia)構(gou)(gou)實(shi)現(xian)多源異(yi)構(gou)(gou)巨量(liang)數據的極致融(rong)合(he)，對(dui)文件、對(dui)象(xiang)、大數據以及視頻的存儲方式進行(xing)(xing)并行(xing)(xing)訪問(wen)，支持多協議實(shi)時互(hu)訪互(hu)通和(he)系統扁平擴(kuo)展，數據訪問(wen)過程中(zhong)保持語(yu)義一致、性能無損(sun)，從而對(dui)AI大模型海(hai)量(liang)多源異(yi)構(gou)(gou)非結構(gou)(gou)化數據實(shi)現(xian)高(gao)效共享。
最(zui)后，針對大(da)模型所需要(yao)的巨額投(tou)入，AS 15000G7可助力(li)用(yong)戶實現黃(huang)金(jin)比例(li)的數據(ju)中心資源最(zui)佳配比，提升投(tou)資回(hui)報比，帶來(lai)極(ji)致效(xiao)率。AS 15000G7根據(ju)閃(shan)存、磁(ci)盤(pan)、磁(ci)帶、光盤(pan)等不(bu)同介質分為(wei)性能型、均衡型、容(rong)量型三種機(ji)型，并(bing)且基于自動(dong)化的數據(ju)分層和(he)遷移，在應用(yong)安全(quan)透(tou)明的前提下，實現熱溫冷冰數據(ju)全(quan)生命周期的管理，帶來(lai)TCO的顯著降低。
毋庸(yong)置疑，AIGC的(de)(de)(de)興起標志(zhi)著(zhu)人工智能發展的(de)(de)(de)拐(guai)點已至。當(dang)下，中國(guo)已經(jing)成(cheng)為(wei)全球AIGC創(chuang)新(xin)與發展的(de)(de)(de)熱土。不完全統計，當(dang)前國(guo)內大(da)模型(xing)數(shu)量已經(jing)超過200個(ge)，不同類型(xing)的(de)(de)(de)企業(ye)均在全力(li)推動AIGC、大(da)模型(xing)的(de)(de)(de)發展。如今，人們愈發意識到"大(da)模型(xing)產(chan)業(ye)發展，基(ji)礎設(she)施(shi)先行"的(de)(de)(de)道理(li)，算力(li)、閃存和混閃的(de)(de)(de)1:1:1黃金(jin)比例建設(she)理(li)念出現可謂是(shi)恰逢(feng)其時，有助于探索(suo)AIGC的(de)(de)(de)企業(ye)降低基(ji)礎設(she)施(shi)復(fu)雜度，從而(er)更好地聚(ju)焦(jiao)創(chuang)新(xin)。
"AIGC現在才剛剛起步(bu)，未來會(hui)持續帶來對基礎設施的(de)需求。預計到(dao)2026年，黃(huang)金比(bi)例(li)的(de)建設模式(shi)有望(wang)得(de)到(dao)廣泛應用。"劉希猛最后表示(shi)道。
