北京2022年6月(yue)30日 /美(mei)通社(she)/ -- 近日(ri),浪潮信息發布了(le)基于"源(yuan)1.0"大(da)模(mo)(mo)(mo)(mo)型(xing)(xing)生成的(de)(de)(de)4個技能(neng)大(da)模(mo)(mo)(mo)(mo)型(xing)(xing)(Skill Model),分別為對話(hua)模(mo)(mo)(mo)(mo)型(xing)(xing)"源(yuan)曉(xiao)問"、問答模(mo)(mo)(mo)(mo)型(xing)(xing)"源(yuan)曉(xiao)搜"、翻譯模(mo)(mo)(mo)(mo)型(xing)(xing)"源(yuan)曉(xiao)譯"、古文模(mo)(mo)(mo)(mo)型(xing)(xing)"源(yuan)曉(xiao)文"。這些技能(neng)大(da)模(mo)(mo)(mo)(mo)型(xing)(xing)在各自細(xi)分領(ling)域的(de)(de)(de)精度(du)(du)業界領(ling)先,可直(zhi)接應(ying)用(yong)于人機交互、知識檢索、語言翻譯和(he)文學(xue)創作(zuo)等領(ling)域,模(mo)(mo)(mo)(mo)型(xing)(xing)運行速(su)(su)度(du)(du)最高提(ti)升(sheng)(sheng)9倍。更重要的(de)(de)(de)是,基于大(da)模(mo)(mo)(mo)(mo)型(xing)(xing)快(kuai)速(su)(su)生成特定領(ling)域的(de)(de)(de)技能(neng)大(da)模(mo)(mo)(mo)(mo)型(xing)(xing)(Skill Model),也意(yi)味(wei)著"源(yuan)"的(de)(de)(de)AI生產(chan)力大(da)幅升(sheng)(sheng)級,能(neng)夠幫助商業組織和(he)研(yan)究機構(gou)實現對AI技術(shu)的(de)(de)(de)高效、快(kuai)速(su)(su)和(he)低成本(ben)應(ying)用(yong),加速(su)(su)產(chan)業AI化。
技能大模型(Skill Model):大模型生產方式的新變革
應用(yong)場(chang)景(jing)的(de)(de)碎片化(hua)導致大(da)(da)量的(de)(de)定制(zhi)化(hua),是(shi)當前人工(gong)智能(neng)從技術向應用(yong)轉(zhuan)化(hua)過程中,遇到的(de)(de)一個突出(chu)問題。千行百業使用(yong)人工(gong)智能(neng),如(ru)果一個場(chang)景(jing)一個場(chang)景(jing)的(de)(de)去定制(zhi),無論是(shi)時間成本(ben)還是(shi)人力成本(ben)都很(hen)高,維護的(de)(de)難度也很(hen)大(da)(da)。大(da)(da)模(mo)型(xing)的(de)(de)出(chu)現,使得模(mo)型(xing)的(de)(de)生產效(xiao)率得到了極大(da)(da)的(de)(de)提(ti)高,技能(neng)模(mo)型(xing)就是(shi)典型(xing)的(de)(de)代表(biao)。
所謂(wei)技(ji)(ji)能大(da)模型(xing)(xing)(Skill Model),是指面向特定(ding)(ding)行業(ye)(ye)或場景,通(tong)(tong)過知識(shi)蒸餾、模型(xing)(xing)裁剪、模型(xing)(xing)壓縮等技(ji)(ji)術,通(tong)(tong)過通(tong)(tong)用(yong)大(da)模型(xing)(xing)生成(cheng)具備該(gai)行業(ye)(ye)或場景所需(xu)特定(ding)(ding)技(ji)(ji)能的(de)專業(ye)(ye)模型(xing)(xing),在保留通(tong)(tong)用(yong)大(da)模型(xing)(xing)的(de)知識(shi)、認知推理能力及(ji)泛化(hua)(hua)(hua)能力基(ji)礎(chu)上(shang),實現針對該(gai)領域的(de)技(ji)(ji)能專業(ye)(ye)化(hua)(hua)(hua)、模型(xing)(xing)輕載(zai)化(hua)(hua)(hua)和調(diao)用(yong)標準(zhun)化(hua)(hua)(hua)。
"技能大模(mo)型(xing)(xing)(xing)(Skill Model)"帶(dai)來了(le)AI模(mo)型(xing)(xing)(xing)生產(chan)方式的新變革,將(jiang)原本耗時數(shu)月(yue)經年的大模(mo)型(xing)(xing)(xing)開發訓(xun)練(lian)周期(qi),縮短至短短數(shu)周,極大降低(di)了(le)開發與訓(xun)練(lian)成本。技能大模(mo)型(xing)(xing)(xing)(Skill Model)的價(jia)值在(zai)于(yu),其針(zhen)對特定領域進行了(le)強(qiang)化(hua)(hua)學習,能夠(gou)實(shi)現(xian)與通(tong)用(yong)的基(ji)礎大模(mo)型(xing)(xing)(xing)相當(dang)或(huo)更好的性能表現(xian),且(qie)拿來即用(yong),使用(yong)門檻更低(di),應(ying)用(yong)效果更佳。同時由于(yu)模(mo)型(xing)(xing)(xing)的輕(qing)載化(hua)(hua)特點,使其便于(yu)部署且(qie)消耗計算資(zi)源更少,能夠(gou)顯(xian)著減低(di)使用(yong)成本和(he)維護難(nan)度。
此外,技能大(da)(da)(da)模(mo)(mo)型(xing)(Skill Model)還(huan)可以與(yu)通(tong)用(yong)大(da)(da)(da)模(mo)(mo)型(xing)協同進(jin)(jin)化(hua),它的(de)執行結果反饋給通(tong)用(yong)大(da)(da)(da)模(mo)(mo)型(xing)后,能夠讓(rang)通(tong)用(yong)大(da)(da)(da)模(mo)(mo)型(xing)的(de)知識與(yu)能力持續進(jin)(jin)化(hua),即落地場景越多、模(mo)(mo)型(xing)進(jin)(jin)化(hua)得"越聰明",同時模(mo)(mo)型(xing)進(jin)(jin)化(hua)的(de)速度也越快。
浪潮信息副總(zong)裁劉軍表示:"研發大(da)(da)模型需要千萬(wan)元的(de)訓(xun)練成本,海量數(shu)據集及巨大(da)(da)的(de)算力資源,這對很多(duo)客戶來說(shuo)是(shi)個巨大(da)(da)的(de)門檻,我(wo)們希望通過"技能(neng)大(da)(da)模型(Skill Model)"的(de)模型生(sheng)產方式變(bian)革(ge),推(tui)動(dong)AI生(sheng)產力的(de)升級,讓(rang)行業用戶甚至是(shi)中小用戶也(ye)能(neng)利用大(da)(da)模型開展深(shen)度(du)創新,從而加速(su)整個社(she)會的(de)智能(neng)化升級。"
四大技能模型重磅發布: 對話、問答、翻譯、古文
此次浪潮信息發(fa)布(bu)的四大(da)技能(neng)(neng)模型(xing)(Skill Model),在繼(ji)承"源1.0"大(da)模型(xing)通用的知識(shi)與能(neng)(neng)力(li)基礎上,面(mian)向特定領域的場景進(jin)行針對性的技能(neng)(neng)優化,模型(xing)精(jing)度和訓練效(xiao)率均處(chu)于業界領先(xian):在十(shi)分(fen)之一參數量的情(qing)況下,即(ji)可在相同任務上復現(xian)98%的通用大(da)模型(xing)效(xiao)果,推理速(su)度最高提升(sheng)9倍。
對(dui)(dui)話(hua)模型("源(yuan)曉(xiao)問(wen)(wen)")在(zai)源(yuan)大模型基礎上(shang),又采用(yong)了2660萬條醫療、法律、保險(xian)等(deng)(deng)不同(tong)行業,歷史、電影、娛樂等(deng)(deng)不同(tong)場(chang)景(jing)的對(dui)(dui)話(hua)語(yu)料數(shu)據進行強(qiang)化訓練,在(zai)高頻閑聊、知識(shi)問(wen)(wen)答(da)等(deng)(deng)開放式問(wen)(wen)答(da)對(dui)(dui)話(hua)上(shang)表現突出,打(da)榜業界權威測評WebQA開放問(wen)(wen)答(da)數(shu)據集及CUGE兩項榜單(dan)均位(wei)居榜首。作(zuo)為高水平對(dui)(dui)話(hua)問(wen)(wen)答(da)技(ji)能模型,源(yuan)曉(xiao)問(wen)(wen)可(ke)廣泛應用(yong)于虛擬(ni)人、智能助(zhu)手、智能客服(fu)等(deng)(deng)場(chang)景(jing)。目(mu)前(qian)已(yi)經有(you)開發(fa)者在(zai)GitHub社區發(fa)布(bu)了由源(yuan)1.0進行角色扮演的劇本殺實(shi)錄(lu),源(yuan)1.0的場(chang)景(jing)化對(dui)(dui)話(hua)技(ji)能已(yi)經達到了"人機難(nan)辨(bian)"的程(cheng)度。
翻譯(yi)(yi)(yi)模(mo)(mo)型("源曉譯(yi)(yi)(yi)")基(ji)于源大(da)模(mo)(mo)型閱讀的海量高質量數(shu)(shu)據(ju)集,采用維基(ji)百科(ke)、書籍、聯合國文件及字(zi)幕組等近80G高質量數(shu)(shu)據(ju)集進行強(qiang)化訓練,因此翻譯(yi)(yi)(yi)不但流暢準(zhun)確,同時更符(fu)合中文表述,在中譯(yi)(yi)(yi)英時表述更加(jia)專業(ye)地道,可輕松應對(dui)日常(chang)(chang)對(dui)話(hua)、新聞、哲學、小說等日常(chang)(chang)的語(yu)言翻譯(yi)(yi)(yi)任務。翻譯(yi)(yi)(yi)模(mo)(mo)型打榜(bang)業(ye)內權威WMT數(shu)(shu)據(ju)集及CUGE兩項榜(bang)單均位(wei)居榜(bang)首。
問(wen)(wen)答模型(xing)("源曉搜(sou)")鏈接了包(bao)含了維(wei)基(ji)百科、書籍等知(zhi)(zhi)(zhi)識(shi)(shi)(shi)的(de)(de)(de)數(shu)據(ju)庫,根(gen)據(ju)用戶提問(wen)(wen)的(de)(de)(de)內容(rong)(rong),利(li)用高性能檢(jian)索方法,快(kuai)速地從知(zhi)(zhi)(zhi)識(shi)(shi)(shi)數(shu)據(ju)庫中檢(jian)索到(dao)與提問(wen)(wen)內容(rong)(rong)相關的(de)(de)(de)內容(rong)(rong)作(zuo)為(wei)背景知(zhi)(zhi)(zhi)識(shi)(shi)(shi),在相關專(zhuan)業(ye)知(zhi)(zhi)(zhi)識(shi)(shi)(shi)背景下回(hui)答問(wen)(wen)題,能夠生成符合人(ren)類語言習慣的(de)(de)(de)專(zhuan)業(ye)答復。問(wen)(wen)答模型(xing)支持(chi)不同(tong)領域知(zhi)(zhi)(zhi)識(shi)(shi)(shi)檢(jian)索,僅通(tong)過替換鏈接的(de)(de)(de)知(zhi)(zhi)(zhi)識(shi)(shi)(shi)庫便可實現在不同(tong)專(zhuan)業(ye)領域之間的(de)(de)(de)適配,實現了搜(sou)索和生成的(de)(de)(de)一體化(hua)框架,能滿足不同(tong)領域知(zhi)(zhi)(zhi)識(shi)(shi)(shi)檢(jian)索的(de)(de)(de)需求,可廣泛應用于醫療(liao)、法律、保(bao)險及娛(yu)樂等領域的(de)(de)(de)智(zhi)能客服、個(ge)人(ren)助理等場景。此前在打榜WebQA任務上,問(wen)(wen)答模型(xing)以55.97%的(de)(de)(de)準確度在業(ye)界(jie)遙(yao)遙(yao)領先。
古(gu)文(wen)(wen)模(mo)型(xing)("源曉(xiao)文(wen)(wen)")在(zai)源大模(mo)型(xing)精(jing)讀(du)了5000GB高質量(liang)中(zhong)文(wen)(wen)的基礎(chu)上,又學習(xi)(xi)了先秦(qin)到近代(dai)幾乎所有(you)詩詞(ci),并精(jing)選其(qi)中(zhong)最優(you)秀的10萬首進(jin)行強(qiang)化訓練。海量(liang)學習(xi)(xi)兼(jian)針對性強(qiang)化訓練使得古(gu)文(wen)(wen)理解(jie)模(mo)型(xing)能夠精(jing)通古(gu)詩詞(ci)的用(yong)詞(ci)、文(wen)(wen)法及(ji)平仄(ze)格律等(deng)(deng)規則,還擅長營造意境、引(yin)經據(ju)典(dian),同時(shi)兼(jian)具古(gu)文(wen)(wen)解(jie)析(xi)的能力,因此(ci)古(gu)文(wen)(wen)模(mo)型(xing)能夠輕(qing)松解(jie)決今年(nian)高考古(gu)文(wen)(wen)翻譯(yi)、詩詞(ci)鑒賞等(deng)(deng)題(ti)目(mu),在(zai)"金陵詩會"活動中(zhong),短(duan)短(duan)3天作詩近2000首,可(ke)廣泛(fan)應用(yong)于文(wen)(wen)學創作、古(gu)詩文(wen)(wen)教(jiao)學、漢語言文(wen)(wen)化研(yan)究等(deng)(deng)場景中(zhong)。
"源(yuan)(yuan)1.0"是浪潮信息(xi)在2021年發(fa)布(bu)的巨(ju)量(liang)(liang)中文(wen)語言模型,參(can)數(shu)量(liang)(liang)高(gao)達2457億(yi),比(bi)此前(qian)OpenAI發(fa)布(bu)的GPT-3大模型,參(can)數(shu)量(liang)(liang)增加40%,訓(xun)練數(shu)據集(ji)提升(sheng)10倍(bei),發(fa)布(bu)時便問鼎中文(wen)語言理解評測基準CLUE榜(bang)(bang)單的零樣本(ben)和(he)(he)小樣本(ben)學習(xi)兩類總(zong)榜(bang)(bang)冠軍。目前(qian),"源(yuan)(yuan)1.0"已經相(xiang)繼(ji)完成(cheng)了模型API、高(gao)質量(liang)(liang)數(shu)據集(ji)、模型訓(xun)練代碼(ma)、推(tui)理代碼(ma)和(he)(he)應用(yong)代碼(ma)等(deng)(deng)等(deng)(deng)內(nei)容的開源(yuan)(yuan)開放,在GitHub社(she)區、浪潮源(yuan)(yuan)官網(wang)均可以申請(qing)獲(huo)取(qu)相(xiang)關的資源(yuan)(yuan),已有超600家(jia)用(yong)戶(hu)借助"源(yuan)(yuan)1.0"提供的數(shu)據集(ji)和(he)(he)API,構建了覆蓋金融、互聯網(wang)、醫療和(he)(he)自動駕駛等(deng)(deng)行業的高(gao)水平(ping)人工智能應用(yong)。