北京2023年7月(yue)26日 /美通社/ -- 近日，浪潮信息成功入選北京市通用人工智能產業創新伙伴, "源"大模型將持續加速開放賦能，促進通用人工智能產業發展，提升產業普惠價值。
【當前，北京正在加快推進國家新一代人工智能創新發展試驗區和國家人工智能創新應用先導區建設，打造具有全球影響力的人工智能創新策源地。北京市通用人工智能產業創新伙伴計劃，由北京市經信局聯合市科委中關村管委會、市發改委等共同發布，旨在搭建人工智能大模型的開放合作平臺，建立協同合作機制，通過持續優化產業鏈布局，大幅提升優質算力、高質量數據供給支撐能力，培養一批應用大模型技術實現突破性成長的標桿企業。】
作為最早布局大模型的企業之一，浪潮信息在業界率先推出了中文AI巨量模型"源1.0"，參數規模高達2457億。"源1.0"在語言智能方面表現優異，獲得中文語言理解評測基準CLUE榜單的零樣本學習（zero-shot）和小樣本學習（few-shot）兩類總榜冠軍。 浪潮信息通過千億參數規模的大模型創新實踐，已在算力集群構建、算力調度部署、算法模型開發等方(fang)面，構建起(qi)全棧(zhan)領(ling)先的(de)大模(mo)型算力系統解決(jue)方(fang)案，助(zhu)力大模(mo)型訓練開發(fa)。
在算力集群構建上，基(ji)于大(da)模型實測對比的(de)(de)集(ji)(ji)群規劃，提供包含數據中心、算(suan)(suan)力、網絡、存儲一(yi)體化(hua)(hua)產(chan)品陣列。其中最(zui)新(xin)一(yi)代(dai)(dai)融合(he)架(jia)構的(de)(de)AI訓練(lian)(lian)服務器 NF5688G7采(cai)用Hopper架(jia)構的(de)(de)GPU，較上代(dai)(dai)平(ping)臺(tai)大(da)模型實測性能提升(sheng)近7倍，同時支持最(zui)新(xin)的(de)(de)液(ye)冷解決(jue)方案，可(ke)實現更低(di)的(de)(de)集(ji)(ji)群能耗比與運行(xing)成本，PUE小于1.15，以一(yi)個4000卡(ka)的(de)(de)智算(suan)(suan)中心為(wei)例(li)，每年可(ke)節電620萬度、降碳1700噸。在(zai)集(ji)(ji)群高速(su)互聯層面，基(ji)于原生RDMA實現整個集(ji)(ji)群的(de)(de)全線(xian)速(su)組網，并對網絡拓撲(pu)進行(xing)優化(hua)(hua)，可(ke)以有效消除(chu)混合(he)計算(suan)(suan)的(de)(de)計算(suan)(suan)瓶頸，確(que)保集(ji)(ji)群在(zai)大(da)模型訓練(lian)(lian)時始終處(chu)于最(zui)佳狀態。
在算力調度部署上，面對大(da)模型系(xi)統級(ji)開發過程中所(suo)存(cun)在的(de)調(diao)(diao)度難(nan)、部署慢(man)、效率(lv)低(di)、集群(qun)異(yi)常等問題(ti)，浪潮信息推出(chu)AIStation智能業務(wu)創新生產平臺，通過全生命周(zhou)期的(de)一體化(hua)監(jian)控及調(diao)(diao)度系(xi)統，構建(jian)起完(wan)備的(de)模型訓練(lian)(lian)失效恢復持續方案，滿足大(da)模型分布式(shi)訓練(lian)(lian)中高穩定、高穩健性等特性要求，實現訓練(lian)(lian)異(yi)常和故障(zhang)診(zhen)斷(duan)(duan)的(de)自動處(chu)理，縮短(duan)斷(duan)(duan)點續訓時間90%。同時，自研(yan)分布式(shi)任務(wu)自適應系(xi)統，有效分配(pei)底層計算、存(cun)儲、網(wang)絡等資源(yuan)，提升集群(qun)利用(yong)率(lv)與(yu)模型訓練(lian)(lian)效率(lv)。高效的(de)集群(qun)優化(hua)調(diao)(diao)度策(ce)略，大(da)幅簡化(hua)大(da)模型訓練(lian)(lian)前(qian)大(da)量的(de)、環(huan)境配(pei)置、依賴(lai)庫適配(pei)和超參(can)數調(diao)(diao)整工作。
在算法模型開發上，"源1.0"針(zhen)對大模型的(de)Attention層和前饋層的(de)模型空(kong)間進行結(jie)構優化，改進注(zhu)意力(li)機制聚焦(jiao)文(wen)章內部聯系(xi)的(de)學(xue)習。千億大模型的(de)創(chuang)新(xin)實踐(jian)，使(shi)得浪潮信(xin)息具備(bei)從數(shu)據(ju)(ju)、訓(xun)練、部署到應用落地的(de)全棧開發能力(li)。在訓(xun)練數(shu)據(ju)(ju)處(chu)理上，通(tong)過(guo)(guo)(guo)自(zi)(zi)研海量(liang)數(shu)據(ju)(ju)過(guo)(guo)(guo)濾(lv)系(xi)統（MDFS），建立從數(shu)據(ju)(ju)采集、粗(cu)濾(lv)、質量(liang)分類、精濾(lv)的(de)全自(zi)(zi)動(dong)化的(de)端到端數(shu)據(ju)(ju)工作流程(cheng)，通(tong)過(guo)(guo)(guo)清(qing)洗866TB海量(liang)數(shu)據(ju)(ju)，獲得5TB高質量(liang)中文(wen)數(shu)據(ju)(ju)集。
在助力大模型訓練開發方面，浪(lang)潮(chao)信息推(tui)出(chu)AI算(suan)力(li)服務，提(ti)(ti)供經"源(yuan)"清洗驗證過的(de)語(yu)言或多模(mo)態的(de)大(da)模(mo)型(xing)數據、算(suan)法產品及模(mo)型(xing)訓(xun)練(lian)(lian)資(zi)源(yuan)管理(li)平(ping)臺，為(wei)AI創新(xin)研究(jiu)團隊(dui)提(ti)(ti)供先進(jin)、開放、高性能、高質量(liang)的(de)AI算(suan)力(li)資(zi)源(yuan)及配套服務，賦能AIGC創新(xin)發(fa)展。目前，浪(lang)潮(chao)信息AI算(suan)力(li)服務已成(cheng)功助力(li)網易伏羲(xi)中文(wen)預訓(xun)練(lian)(lian)大(da)模(mo)型(xing)"玉言"登(deng)頂(ding)中文(wen)語(yu)言理(li)解權威測評(ping)基準CLUE分類(lei)任務榜單，并在多項任務上(shang)超過人類(lei)水平(ping)。
浪潮信(xin)息(xi)AI團(tuan)隊將(jiang)"源1.0"成功的系(xi)統工程經驗應用于智算(suan)(suan)中心算(suan)(suan)力(li)系(xi)統，對集群架構(gou)、高速互(hu)聯、算(suan)(suan)力(li)調度等進(jin)行全面優化，對分布式訓(xun)練策(ce)略(lve)進(jin)行了(le)針對性優化，通(tong)過(guo)合理(li)設計張(zhang)量并行、流水并行和數(shu)據并行，精(jing)準調整模(mo)型(xing)結構(gou)和訓(xun)練過(guo)程的超參數(shu)，最終實現千(qian)億參數(shu)規模(mo)的大模(mo)型(xing)訓(xun)練算(suan)(suan)力(li)效率達至(zhi)53.5%。
目前，浪潮信息"源1.0"已在眾多行業領域實現應用的快速落地，真正實現AIGC的產業普惠：通過構建強大穩健的基礎大模型，讓千行百業擁有"順勢而為"的大模型能力。浪潮信息推出的"源1.0"開源開放計劃，開放模型API、工具鏈、數據集，構建"開放、共贏"的開發者社區生態，助力開發者快速創新，目前"源開發者社區"已匯聚了近萬名高水平開發者，孵化出眾多創新應用。
在智能客服領域，通過將(jiang)(jiang)"源(yuan)"大(da)模型(xing)的智(zhi)能(neng)力(li)(li)與復雜(za)的服務場景進行深度融合，打造專家級數據(ju)中(zhong)心智(zhi)能(neng)客服大(da)腦，憑借強大(da)的學習(xi)(xi)能(neng)力(li)(li)，"源(yuan)曉(xiao)服"能(neng)夠(gou)對知識(shi)庫進行自主化學習(xi)(xi)，可覆蓋(gai)終(zhong)端用(yong)戶92%的咨(zi)詢問題，將(jiang)(jiang)復雜(za)技術咨(zi)詢的業務處(chu)理時(shi)長降低65%，整體服務效率達160%，榮獲評哈佛商業評論鼎革獎。
在智慧政務領域，基于源大模型打造的AI社區助(zhu)理"臨小(xiao)助(zhu)"，可為基層社區工作(zuo)者提(ti)供沉(chen)浸式、針對性的一對一群(qun)眾(zhong)工作(zuo)能(neng)力培訓(xun), 社區工作(zuo)者通過手(shou)機載體與"臨小(xiao)助(zhu)"進(jin)行互動對話形(xing)式，讓社區小(xiao)白"秒變"服務群(qun)眾(zhong)的能(neng)人。目(mu)前，"臨小(xiao)助(zhu)"已投入使用(yong)，在某高頻場景中, 社區工作(zuo)人員培訓(xun)學習效(xiao)率提(ti)升5倍, 有效(xiao)輔(fu)助(zhu)問答建議達至75%。
在智慧文創領域，開(kai)發(fa)者開(kai)發(fa)出首個AI劇本殺；基于"源1.0"，開(kai)發(fa)并上線一個會"鬧情緒"的AI陪練，幫助心理(li)咨詢(xun)師更(geng)專業及時地提供各種服(fu)務和(he)治(zhi)療方案。除此之(zhi)外，"AI數字人魯迅"、數字演員、陪伴機器人、游(you)戲NPC對話等(deng)極具創新的應用也在不斷地孵化落(luo)地。
"源1.0"作為新型的大模型算法基礎設施，正通過強大的通用智能和全棧的工具鏈服務能力，助力千行百業開發運行更多的智能應用。
