浪(lang)潮信息(xi)5月28日發(fa)布了開(kai)源大模型“源2.0-M32”。該模型采用(yong)“基于(yu)注意力(li)機制的門控網絡”技術，構(gou)建了包含32個(ge)專家(jia)的混合專家(jia)模型(MoE)，顯著提升算(suan)(suan)力(li)效(xiao)率。它(ta)在業界(jie)評測(ce)中與700億(yi)(yi)參數(shu)的LLaMA3大模型性能相當，但算(suan)(suan)力(li)消(xiao)耗僅為其1/19。此外，“源2.0-M32”基于(yu)2萬億(yi)(yi)token進行訓練，涵蓋廣泛數(shu)據類型，并通過(guo)創(chuang)新算(suan)(suan)法和(he)數(shu)據處理(li)方(fang)法優(you)化性能和(he)精度。該模型支持代碼生(sheng)成(cheng)、理(li)解(jie)及(ji)推(tui)理(li)等(deng)功能，并可通過(guo)全面開(kai)源策略免費下載使用(yong)。（美通社）
