北京2024年3月27日(ri) /美通社/ -- 3月26日,浪潮信息與英特爾正式宣布,浪潮信息"源2.0系列基礎大模型"已和最新的英特爾® 酷睿? Ultra處理器平臺完成適配,本地推理速度提升100%。企業可以在全新的英特爾商用客戶端AI PC上,使用AI PC大模型效率工具"YuanChat"快速本地化部署和運行"源2.0"大模型, 以更快的訪問速度、更高的性能和更好的數據安全控制,輕松完成自動編程、商業數據計算、公文寫作等任務,釋放大模型在企業應用場景中的生產力和創新力。
2024年是(shi) "大(da)(da)(da)模型(xing)(xing)(xing)落地(di)應(ying)(ying)用(yong)的元年",AI PC(人工智(zhi)能個人電腦),作為(wei)一種(zhong)能夠在本地(di)運行(xing)大(da)(da)(da)模型(xing)(xing)(xing)及(ji)AIGC應(ying)(ying)用(yong)的PC終(zhong)端,已經成為(wei)AI實現(xian)規(gui)模化(hua)擴展及(ji)應(ying)(ying)用(yong)落地(di)的重要載體。英(ying)特爾基于酷睿 Ultra 處理器強悍的 CPU+GPU+NPU 三大(da)(da)(da) AI 引擎,為(wei)商用(yong)客戶(hu)端AI PC提供強勁性能,滿足經濟、物理、數據保密這三大(da)(da)(da)生成式AI on AI PC 法則,可支持(chi)200億規(gui)模大(da)(da)(da)語言模型(xing)(xing)(xing)的本地(di)化(hua)運行(xing),加(jia)速大(da)(da)(da)模型(xing)(xing)(xing)應(ying)(ying)用(yong)落地(di)。
浪潮信息與英特爾合作,針對"源2.0系列基礎大模型",實現酷睿Ultra AI PC平臺推理優化,并推出為AI PC而生的大模型效率工具"YuanChat"。浪(lang)潮(chao)信息"源2.0系(xi)列基礎大模(mo)型(xing)(xing)"作為(wei)首個全面開源的千億(yi)(yi)參(can)數模(mo)型(xing)(xing),包含1026億(yi)(yi)、518億(yi)(yi)、21億(yi)(yi)等三種(zhong)參(can)數規模(mo)。"YuanChat"是基于"源2.0系(xi)列基礎大模(mo)型(xing)(xing)"設計(ji)的應用工具,旨在以對話形式(shi)調(diao)用大模(mo)型(xing)(xing),幫助用戶完成數據(ju)計(ji)算、公文寫作、編程設計(ji)、知識問答、會議紀要、文本總結與摘要等任(ren)務(wu)導向型(xing)(xing)應用,真正實(shi)現(xian)重塑工作模(mo)式(shi),提高生產力(li)水平(ping)。
基于酷睿 Ultra AI PC上所部署的"YuanChat",用戶能夠流暢地使用"源2.0-2B模型(Yuan2-2B-Februa-hf)"。作(zuo)為業界最(zui)強的小規模(mo)(mo)語言(yan)模(mo)(mo)型(xing),"源2.0-2B模(mo)(mo)型(xing)"具有(you)領先的自(zi)動(dong)編程、數值計算和邏輯(ji)推理能力(li)(li),在(zai)Python編程測(ce)(ce)試(shi)(Humaneval)、數學計算測(ce)(ce)試(shi)(GSM8K)中展現出超(chao)越(yue)ChatGPT3.5及其他百億(yi)(>10B)參數模(mo)(mo)型(xing)的評測(ce)(ce)結果,已成(cheng)為最(zui)具競(jing)爭力(li)(li)的開源可(ke)商用模(mo)(mo)型(xing)。
基于英特爾商用客戶端AI PC強大(da)的獨立運算(suan)能力,"YuanChat"能解決數據傳輸過程中的延遲問題與泄露(lu)風險(xian),能夠實現更高的數據安全性、性能和控制(zhi)(zhi)權(quan)。同時(shi),"YuanChat"支(zhi)持離線狀態(tai)下(xia)的自主(zhu)操(cao)作,這使得終端用戶能夠擺脫網(wang)絡限制(zhi)(zhi),在任何時(shi)間、任何地點都能夠進行創造性的工(gong)作,享受更靈活的大(da)模型(xing)交互體(ti)驗(yan)。
在英特爾(er)商用(yong)(yong)客戶端(duan)AI PC上(shang),可以基于BigDL-LLM大模(mo)型(xing)加(jia)(jia)速庫實(shi)現對"YuanChat"的(de)模(mo)型(xing)量化處(chu)理,進一(yi)步提(ti)高模(mo)型(xing)的(de)可移植性(xing)(xing)并加(jia)(jia)快計算(suan)速度(du)(du),減少資源占用(yong)(yong),彌合終端(duan)有(you)限的(de)算(suan)力與對高精度(du)(du)模(mo)型(xing)和(he)實(shi)時智能應(ying)用(yong)(yong)的(de)需求之間的(de)差距。實(shi)測數據顯示,在處(chu)理復雜任(ren)務時,"YuanChat"在保證精度(du)(du)的(de)同時,本(ben)地推理效(xiao)率及性(xing)(xing)能提(ti)升達(da)到100%,進一(yi)步降低了企業應(ying)用(yong)(yong)大模(mo)型(xing)的(de)成本(ben)。
未(wei)來,浪潮(chao)信(xin)息(xi)與英特爾將持(chi)續攜手構建活躍的(de)AIPC生(sheng)態(tai)。雙方(fang)將聯合(he)基于(yu)英特爾® 酷睿? Ultra處理器平(ping)臺(tai)進行(xing)"源2.0系(xi)列基礎大(da)模型"的(de)進一步適配與優化(hua),不斷完善"YuanChat"應(ying)用(yong)系(xi)統,將大(da)模型和商用(yong)平(ping)臺(tai)的(de)生(sheng)產力(li)、安全性(xing)、可管理性(xing)和穩定(ding)性(xing)有(you)機結合(he),開拓商用(yong) AI PC 更多的(de)新(xin)應(ying)用(yong)、新(xin)場景(jing)、新(xin)形態(tai),幫(bang)助企業用(yong)戶在PC端打造(zao)更加安全、流暢、易用(yong)的(de)大(da)模型效(xiao)率工(gong)具,惠及(ji)企業提升效(xiao)率,賦能世界(jie)的(de)智能化(hua)變革。