北京2021年9月28日 /美通社/ -- 9月28日,浪潮人工智能研究院在京發布全球(qiu)最大規(gui)模人工智能巨量模型“源1.0”。“源”的單體模型參數量達2457億,超越美國OpenAI組織研發的GPT-3,成為全球最大規模的AI巨量模型(xing)。“源1.0研(yan)討會”同(tong)期舉(ju)行,來自國內(nei)相關領(ling)域的院士、專家(jia)出席了研(yan)討會,對AI巨量模型(xing)的創新(xin)與應(ying)用(yong)進行了深入研(yan)討交流。
源1.0模(mo)型參(can)數(shu)(shu)規模(mo)為2457億,訓練采用的(de)中文(wen)數(shu)(shu)據集(ji)達5000GB,相比(bi)GPT3模(mo)型1750億參(can)數(shu)(shu)量和(he)570GB訓練數(shu)(shu)據集(ji),源1.0參(can)數(shu)(shu)規模(mo)領先(xian)(xian)40%,訓練數(shu)(shu)據集(ji)規模(mo)領先(xian)(xian)近10倍(bei)。
“源(yuan)1.0”在(zai)語言智(zhi)能方面表現(xian)優異,獲得中(zhong)(zhong)文(wen)(wen)(wen)語言理(li)解(jie)評測基(ji)準CLUE榜(bang)單(dan)的(de)(de)零(ling)樣(yang)(yang)(yang)本(ben)(ben)學(xue)習和小樣(yang)(yang)(yang)本(ben)(ben)學(xue)習兩(liang)類(lei)總榜(bang)冠軍(jun)。在(zai)零(ling)樣(yang)(yang)(yang)本(ben)(ben)學(xue)習榜(bang)單(dan)中(zhong)(zhong),“源(yuan)1.0”超越(yue)業界最佳成(cheng)(cheng)績18.3%,在(zai)文(wen)(wen)(wen)獻(xian)分(fen)(fen)(fen)(fen)類(lei)、新聞分(fen)(fen)(fen)(fen)類(lei),商品(pin)分(fen)(fen)(fen)(fen)類(lei)、原生中(zhong)(zhong)文(wen)(wen)(wen)推理(li)、成(cheng)(cheng)語閱讀理(li)解(jie)填(tian)空(kong)、名詞(ci)代詞(ci)關系6項(xiang)(xiang)任務中(zhong)(zhong)獲得冠軍(jun);在(zai)小樣(yang)(yang)(yang)本(ben)(ben)學(xue)習的(de)(de)文(wen)(wen)(wen)獻(xian)分(fen)(fen)(fen)(fen)類(lei)、商品(pin)分(fen)(fen)(fen)(fen)類(lei)、文(wen)(wen)(wen)獻(xian)摘(zhai)要識別、名詞(ci)代詞(ci)關系等4項(xiang)(xiang)任務獲得冠軍(jun)。在(zai)成(cheng)(cheng)語閱讀理(li)解(jie)填(tian)空(kong)項(xiang)(xiang)目中(zhong)(zhong),源(yuan)1.0的(de)(de)表現(xian)已超越(yue)人類(lei)得分(fen)(fen)(fen)(fen)。
ZeroCLUE零樣本學習(xi)榜(第一行為人類得(de)分)
FewCLUE小樣本學習(xi)榜(bang)(第一行為(wei)人(ren)類得分)
在(zai)對“源(yuan)1.0”進(jin)(jin)行(xing)的(de)“圖(tu)靈測(ce)試”中,將源(yuan)1.0模型(xing)生成的(de)對話、小說續寫(xie)、新聞(wen)、詩(shi)歌、對聯與由人類創作(zuo)的(de)同類作(zuo)品進(jin)(jin)行(xing)混合并由人群進(jin)(jin)行(xing)分(fen)辨(bian),測(ce)試結果(guo)表明,人群能(neng)夠準確分(fen)辨(bian)人與“源(yuan)1.0”作(zuo)品差別(bie)的(de)成功(gong)率已低于50%。
巨(ju)量(liang)(liang)模型(xing)(xing)的發(fa)展備受關注。斯坦(tan)福大(da)學(xue)李(li)飛(fei)(fei)飛(fei)(fei)教授等人工智能(neng)領域知名學(xue)者近(jin)期在論文中表(biao)示,這類巨(ju)量(liang)(liang)模型(xing)(xing)的意(yi)義在于突現和均(jun)質(zhi)。突現意(yi)味(wei)著通過巨(ju)大(da)模型(xing)(xing)的隱含的知識(shi)和推納(na)可帶來讓人振奮的科學(xue)創新靈(ling)感出現;均(jun)質(zhi)表(biao)示巨(ju)量(liang)(liang)模型(xing)(xing)可以為諸多應用任務泛(fan)化支(zhi)持提供統一強大(da)的算法支(zhi)撐。
源1.0中文巨量(liang)模(mo)型(xing)的(de)發(fa)布,使得中國學(xue)術界(jie)(jie)和(he)產業(ye)界(jie)(jie)可以使用(yong)一種通用(yong)巨量(liang)語(yu)言模(mo)型(xing)的(de)方式,大幅(fu)降低針對不同(tong)應用(yong)場景(jing)的(de)語(yu)言模(mo)型(xing)適配難度;同(tong)時提升在小樣(yang)本(ben)學(xue)習和(he)零樣(yang)本(ben)學(xue)習場景(jing)的(de)模(mo)型(xing)泛化(hua)應用(yong)能力。
浪潮(chao)人工智(zhi)(zhi)能(neng)(neng)研究院(yuan)表示,“源1.0”將面(mian)向(xiang)學術(shu)研究單位和產(chan)業(ye)(ye)實踐(jian)用戶進行開(kai)(kai)源、開(kai)(kai)放、共享,降低(di)巨量模型研究和應(ying)用的(de)門檻,有效(xiao)推(tui)進AI產(chan)業(ye)(ye)化和產(chan)業(ye)(ye)AI化的(de)進步(bu),切實為國家(jia)在(zai)人工智(zhi)(zhi)能(neng)(neng)研究創(chuang)新和產(chan)業(ye)(ye)發展作出貢獻。