浪潮(chao)信息元腦(nao)R1推(tui)理服務(wu)器(qi)已完(wan)成(cheng)對(dui)開源框(kuang)架(jia)SGLang最新版本的深度適配,成(cheng)功實(shi)現(xian)(xian)在單機高(gao)性能運行DeepSeek R1 671B模型(xing)時可最大支持(chi)超過1000路的用戶并發訪問。元腦(nao)R1推(tui)理服務(wu)器(qi)NF5688G7搭載FP8計算引擎(qing),針對(dui)DeepSeek R1 671B模型(xing)部(bu)署速度快且無精(jing)度損失,顯存帶(dai)(dai)寬(kuan)高(gao)達(da)(da)4.8TB/s,完(wan)美契合模型(xing)技術(shu)特(te)征,實(shi)現(xian)(xian)推(tui)理解碼階(jie)段極致加速。GPU P2P帶(dai)(dai)寬(kuan)達(da)(da)900GB/s,保障最佳通(tong)訊性能。(美通(tong)社)