北(bei)京(jing)2024年7月(yue)16日 /美通社/ -- 近(jin)日，浪潮(chao)信(xin)(xin)息前瞻(zhan)性布局的PCIe光互連(lian)(lian)技術(shu)方案順利通過(guo)原型樣機(ji)驗證(zheng)。該方案實現(xian)了(le)混合(he)速率線(xian)性光傳(chuan)輸(shu)，解決了(le)PCIe協議與光傳(chuan)輸(shu)技術(shu)之間的兼容性問題。測試(shi)結果顯(xian)示，該方案有(you)效地將PCIe Gen5信(xin)(xin)號(hao)(hao)傳(chuan)輸(shu)距(ju)離(li)拓展至30米，相比傳(chuan)統銅(tong)互連(lian)(lian)傳(chuan)輸(shu)距(ju)離(li)提升了(le)20倍，同時避免(mian)了(le)高(gao)(gao)速電信(xin)(xin)號(hao)(hao)長距(ju)離(li)傳(chuan)輸(shu)中的信(xin)(xin)號(hao)(hao)衰減(jian)問題，實現(xian)了(le)更高(gao)(gao)性能、更低延遲、更穩定的數(shu)據傳(chuan)輸(shu)，可滿(man)足大規模數(shu)據中心，機(ji)柜內和機(ji)柜間長距(ju)離(li)高(gao)(gao)速總(zong)線(xian)信(xin)(xin)號(hao)(hao)互連(lian)(lian)的需(xu)求(qiu)。
大模型時代對PCIe技術進步的需求
PCIe總線協議（Peripheral Component Interconnect Express）作為計算機(ji)和服務器中(zhong)使(shi)用(yong)(yong)最廣泛的(de)高速數(shu)據傳輸技術，其傳輸性(xing)能(neng)的(de)提升對(dui)于滿足(zu)這(zhe)些需(xu)求至(zhi)關(guan)重要(yao)。傳統連(lian)(lian)接方(fang)案主要(yao)依賴于銅纜進行電信號傳輸，用(yong)(yong)于單機(ji)內部計算芯片和設(she)備(bei)之(zhi)間互連(lian)(lian)。眾所周知，銅纜在(zai)信號完(wan)整性(xing)、延(yan)遲、傳輸距離和功耗等方(fang)面存在(zai)日益(yi)突出的(de)局限，無法(fa)滿足(zu)PCIe高性(xing)能(neng)互連(lian)(lian)系統的(de)需(xu)求。
同時(shi)，隨(sui)著(zhu)AIGC的(de)(de)(de)(de)(de)(de)發展，千億(yi)參數成為大(da)模(mo)型智能涌現(xian)(xian)的(de)(de)(de)(de)(de)(de)臨界點，參數規(gui)模(mo)越大(da)，意味著(zhu)計算(suan)復雜(za)度(du)越高，因此所(suo)需要的(de)(de)(de)(de)(de)(de)算(suan)力(li)規(gui)模(mo)也變得越來越大(da)，萬(wan)卡(ka)成為算(suan)力(li)系統(tong)設(she)計的(de)(de)(de)(de)(de)(de)起點，單機內(nei)部的(de)(de)(de)(de)(de)(de)PCIe連(lian)接已經不(bu)能滿足(zu)需求，機柜內(nei)互(hu)連(lian)和跨機柜的(de)(de)(de)(de)(de)(de)互(hu)連(lian)成為新的(de)(de)(de)(de)(de)(de)發展方向(xiang)，以實現(xian)(xian)更高效的(de)(de)(de)(de)(de)(de)數據交換和資源共享。光(guang)互(hu)連(lian)技術在(zai)這(zhe)里開始(shi)發揮(hui)作用，利用光(guang)纖來替代銅纜，進(jin)一步(bu)提升帶寬和傳輸(shu)距(ju)離。為解決這(zhe)些問題(ti)，包括PCI-SIG（PCI Special Interest Group）和浪(lang)潮信息(xi)等在(zai)內(nei)的(de)(de)(de)(de)(de)(de)眾多組織或公司，正在(zai)積極研究和推(tui)進(jin)PCIe光(guang)互(hu)連(lian)技術，該(gai)技術將顛覆數據中心的(de)(de)(de)(de)(de)(de)互(hu)連(lian)方式，為Data Center as a Computer的(de)(de)(de)(de)(de)(de)實現(xian)(xian)奠定(ding)基礎(chu)。
PCIe技術演進中的光互連挑戰
經(jing)(jing)過20多年(nian)的(de)發展(zhan)，PCIe技(ji)術(shu)(shu)已經(jing)(jing)成為計算系統中數據通信的(de)核心(xin)技(ji)術(shu)(shu)，自(zi)誕生以來，PCIe協議經(jing)(jing)歷了從1.0到6.0版本(ben)的(de)迭代，PCIe數據傳輸速率也(ye)從1.0的(de)2.5GT/s，提升為6.0的(de)64GT/s。這(zhe)一(yi)進步的(de)同時(shi)也(ye)帶來了新的(de)挑戰。
PCIe技術快速發展與(yu)電(dian)互連局限的(de)(de)矛盾日(ri)益(yi)突出。傳(chuan)(chuan)統(tong)的(de)(de)PCIe電(dian)互連傳(chuan)(chuan)輸方式雖然成(cheng)熟，但在(zai)面(mian)對日(ri)益(yi)增長的(de)(de)數(shu)據(ju)傳(chuan)(chuan)輸需求時，其(qi)傳(chuan)(chuan)輸帶(dai)寬(kuan)和(he)傳(chuan)(chuan)輸距離方面(mian)的(de)(de)限制逐漸凸顯，已無(wu)法滿足(zu)高(gao)性能PCIe互連對應的(de)(de)業務場景。浪潮信息開始探索使用光(guang)互連技術替代傳(chuan)(chuan)統(tong)的(de)(de)電(dian)互連方案，光(guang)互連技術可以實(shi)現更(geng)遠的(de)(de)距離、更(geng)高(gao)的(de)(de)帶(dai)寬(kuan)和(he)更(geng)低的(de)(de)延遲，這為PCIe架構帶(dai)來了突破的(de)(de)可能，有望成(cheng)為服務器(qi)系(xi)統(tong)未(wei)來高(gao)速數(shu)據(ju)傳(chuan)(chuan)輸的(de)(de)重要發展方向(xiang)。
在研究過程中(zhong)，浪潮信息的工程師們發現(xian)盡管光(guang)互(hu)連(lian)(lian)技術有明顯的優勢，但PCIe協(xie)議與光(guang)傳輸技術之(zhi)間的兼容性(xing)問題卻成為了新的挑戰(zhan)。PCIe協(xie)議制定之(zhi)初并未考慮采(cai)用光(guang)互(hu)連(lian)(lian)來傳輸，導(dao)致現(xian)有光(guang)傳輸技術與PCIe協(xie)議之(zhi)間存在許多不兼容的地(di)方(fang)，如圖(tu)1。
圖1
首先，PCIe鏈路(lu)的(de)建立(li)包括接收端檢測、電氣空閑狀(zhuang)態(tai)和(he)協商鏈路(lu)速率(lv)等(deng)過(guo)程，常規(gui)的(de)光模(mo)塊設計通常針(zhen)對(dui)的(de)是簡單(dan)的(de)光信(xin)號傳輸(shu)，不具備處(chu)理(li)這些復雜的(de)協議過(guo)程的(de)能力。
其(qi)次，PCIe鏈路的(de)穩(wen)定建立(li)需要輔助(zhu)信(xin)號的(de)支持，如PERST#、PRSNT# 等(deng)，而光模塊內部通常沒有(you)預(yu)留傳輸(shu)(shu)輔助(zhu)信(xin)號的(de)通道。這些(xie)不(bu)兼容(rong)的(de)地方阻礙了PCIe協(xie)議(yi)與光傳輸(shu)(shu)的(de)結合。
眾所周知，隨著PCIe速(su)率的(de)增加，傳(chuan)統(tong)銅纜在長距離(li)傳(chuan)輸面(mian)臨著越來(lai)越大的(de)挑戰(zhan)。例如，PCIe 1.0時，銅纜傳(chuan)輸距離(li)可(ke)達10米，而PCIe 4.0時，這一(yi)距離(li)縮短(duan)至3、4米；當速(su)率進一(yi)步提(ti)高到64 GT/s和128 GT/s，也即PCIe 6.0和未來(lai)的(de)PCIe 7.0，銅纜傳(chuan)輸距離(li)將進一(yi)步縮短(duan)至幾十厘米，無法滿足數據中心的(de)長距離(li)傳(chuan)輸需求，PCIe光互連變得不(bu)可(ke)或缺。
浪潮信息PCIe光互連方案：突破距離限制，實現高效能數據中心互連
浪(lang)潮信(xin)息(xi)針對(dui)PCIe電互連在傳(chuan)輸帶寬和距離上(shang)的(de)(de)局(ju)限性(xing)，創新研(yan)發了PCIe光互連方案(an)，成功將(jiang)PCIe信(xin)號從1.4米傳(chuan)輸距離拓展至30米，滿足(zu)數據(ju)中心對(dui)長距離高性(xing)能互連網絡(luo)的(de)(de)需求。
針(zhen)對光傳輸(shu)中(zhong)與(yu)PCIe協(xie)(xie)議(yi)的(de)(de)不兼容問題(ti)，浪潮信息(xi)的(de)(de)工(gong)程師們(men)深入研究了(le)PCIe協(xie)(xie)議(yi)以及(ji)光電轉(zhuan)換組件(jian)的(de)(de)工(gong)作原理，提(ti)出了(le)混合速率線性光傳輸(shu)方(fang)案，如(ru)圖2。
圖2
該方案包(bao)含三大關(guan)鍵技術特征(zheng)：
基于上述方案，浪潮信息的(de)(de)(de)工程師們開發了(le)PCIe光(guang)(guang)互連(lian)(lian)的(de)(de)(de)原(yuan)型(xing)，并進行(xing)了(le)傳(chuan)輸(shu)驗(yan)證。測(ce)試(shi)(shi)結(jie)(jie)果(guo)顯示，該原(yuan)型(xing)不僅實現(xian)了(le)30米(mi)(mi)光(guang)(guang)纖鏈路(lu)PCIe Gen5信號傳(chuan)輸(shu)，還實現(xian)了(le)PCIe輔助信號的(de)(de)(de)光(guang)(guang)傳(chuan)輸(shu)，圖3為(wei)30米(mi)(mi)光(guang)(guang)互連(lian)(lian)鏈路(lu)眼圖測(ce)試(shi)(shi)結(jie)(jie)果(guo)。作為(wei)對比，同樣(yang)的(de)(de)(de)系統(tong)架構(gou)，銅(tong)纜方案最遠傳(chuan)輸(shu)距(ju)離(li)約(yue)1.4米(mi)(mi)，因此光(guang)(guang)互連(lian)(lian)方案成(cheng)功實現(xian)將PCIe Gen5信號傳(chuan)輸(shu)距(ju)離(li)提升20倍。并且(qie)在性能(neng)測(ce)試(shi)(shi)環節，PCIe光(guang)(guang)互連(lian)(lian)鏈路(lu)通過(guo)2小(xiao)時的(de)(de)(de)NVMe-based FIO讀寫測(ce)試(shi)(shi)和24小(xiao)時GPU帶寬測(ce)試(shi)(shi)，遠距(ju)離(li)傳(chuan)輸(shu)性能(neng)與NVMe盤(pan)和GPU直(zhi)連(lian)(lian)CPU的(de)(de)(de)測(ce)試(shi)(shi)數據基本一致，證明了(le)該方案的(de)(de)(de)有效性和可靠性。
而(er)(er)且在針(zhen)對不(bu)同(tong)距離條件下(xia)信號傳輸(shu)質量的(de)(de)測試中(zhong)，30米長度的(de)(de)光纖(xian)鏈路眼高和眼寬結果(guo)與(yu)1米長度的(de)(de)光纖(xian)鏈路基(ji)本一(yi)致(zhi)。這(zhe)表明信號的(de)(de)傳輸(shu)質量幾(ji)乎不(bu)隨光鏈路長度增加(jia)而(er)(er)衰減，這(zhe)種優勢(shi)是(shi)電互連傳輸(shu)技術所不(bu)具(ju)備的(de)(de)。
備注：眼(yan)高和(he)眼(yan)寬是(shi)用(yong)于評估(gu)高速信號質(zhi)量的(de)兩個(ge)重要(yao)參數，據此(ci)可直觀(guan)(guan)地觀(guan)(guan)察高速信號在傳輸過程中受到的(de)噪聲和(he)抖(dou)動影響(xiang)，從(cong)而評估(gu)信號的(de)整體傳輸質(zhi)量。
圖3
PCIe協議仍在不斷(duan)迭代，數據(ju)傳(chuan)輸速率和功(gong)能不斷(duan)提升，在服務器系統高速互(hu)連(lian)(lian)中(zhong)的(de)作用愈(yu)發(fa)關鍵(jian)。光(guang)互(hu)連(lian)(lian)傳(chuan)輸技(ji)術(shu)通(tong)過提供更遠的(de)傳(chuan)輸距離、更低的(de)延(yan)遲和更低的(de)功(gong)耗(hao)，克(ke)服了傳(chuan)統電互(hu)連(lian)(lian)的(de)局限性。展望未(wei)來，PCIe光(guang)互(hu)連(lian)(lian)技(ji)術(shu)將在智算(suan)中(zhong)心(xin)、大規模(mo)數據(ju)中(zhong)心(xin)等領域發(fa)揮更大作用，為(wei)現(xian)代計算(suan)和數據(ju)通(tong)信領域帶(dai)來更多(duo)創(chuang)新和突破。
