北京2023年2月24日 /美通社/ -- 日(ri)前,網(wang)易伏羲(xi)(xi)中(zhong)文預訓練(lian)大(da)模(mo)型"玉言"登頂中(zhong)文語(yu)(yu)言理解(jie)權威測評基準CLUE分類(lei)任務(wu)榜單,在多項任務(wu)上(shang)超過人類(lei)水平。其具(ju)備(bei)的自然語(yu)(yu)言處理能力,可應用(yong)于語(yu)(yu)言助手文本創作、新(xin)聞傳(chuan)媒(mei)、智能客服等領域。在"玉言"大(da)模(mo)型研發過程中(zhong),浪潮信(xin)息以高(gao)(gao)(gao)性能、高(gao)(gao)(gao)品(pin)質的AI算力服務(wu)高(gao)(gao)(gao)效助力網(wang)易伏羲(xi)(xi)團隊相關(guan)工(gong)作開展。
網易伏羲大模(mo)型參數(shu)(shu)規模(mo)達到百億,開(kai)發(fa)過程中對訓練算(suan)力的(de)需(xu)(xu)(xu)求(qiu)非(fei)常大,并且需(xu)(xu)(xu)要高(gao)效管理模(mo)型和(he)算(suan)力資源,并按(an)需(xu)(xu)(xu)彈性地使(shi)用(yong)算(suan)力。為了應對這些挑戰,網易伏羲與浪潮信(xin)息(xi)緊密合作,通過采用(yong)AI算(suan)力服務模(mo)式,解決了超(chao)大規模(mo)參數(shu)(shu)大模(mo)型所需(xu)(xu)(xu)訓練算(suan)力需(xu)(xu)(xu)求(qiu),同時還獲得了高(gao)質量(liang)中文語(yu)言數(shu)(shu)據集(ji)的(de)有(you)力支持(chi),開(kai)發(fa)效率顯著提升。
本次登頂CLUE分類(lei)任(ren)務榜單的(de)"玉(yu)言"大模型參數達(da)到110億,結(jie)構由深層Encoder和淺層Decoder組成。這種結(jie)構使得(de)大模型具有(you)優秀的(de)理(li)解能力(li)和生成能力(li),同時方便(bian)訓練任(ren)務的(de)設(she)計(ji),不需要復雜的(de)掩碼策略。同時,"玉(yu)言"具有(you)良好的(de)泛(fan)化(hua)性(xing),在(zai)各(ge)類(lei)任(ren)務上都有(you)著(zhu)出色的(de)性(xing)能。目前,大模型相關技術(shu)(shu)和成果已應用在(zai)網(wang)(wang)易集團內的(de)文(wen)字游(you)戲、智能NPC、文(wen)本輔(fu)助創作、音樂(le)輔(fu)助創作、美術(shu)(shu)設(she)計(ji)、互(hu)聯網(wang)(wang)搜索(suo)推(tui)薦等業務場景(jing),取得(de)了(le)顯著(zhu)的(de)業務效果。
浪(lang)潮(chao)信息(xi)推(tui)出的(de)AI算(suan)力(li)(li)服務(wu)產(chan)品(pin),涵(han)蓋國(guo)際和(he)國(guo)內領先的(de)4種AI算(suan)力(li)(li)產(chan)品(pin)、經"源"清(qing)洗驗證(zheng)過的(de)語(yu)言或多(duo)模(mo)(mo)態的(de)大模(mo)(mo)型數(shu)據集的(de)2種數(shu)據產(chan)品(pin)、由浪(lang)潮(chao)"源"專家(jia)團隊(dui)提供的(de)語(yu)言或多(duo)模(mo)(mo)態的(de)大模(mo)(mo)型訓練(lian)支持的(de)2種算(suan)法產(chan)品(pin)以及AI訓練(lian)推(tui)理資源管理調度的(de)1種平(ping)臺產(chan)品(pin)。目前(qian),AI算(suan)力(li)(li)服務(wu)相關信息(xi)已在(zai)元(yuan)腦(nao)生態AIStore平(ping)臺上(shang)線,并提供進一步(bu)購買和(he)試用咨詢。