北(bei)京2022年(nian)11月16日(ri) /美通社/ -- 日前，亞馬遜云科技宣布，由自研芯片Amazon Trainium支持的Amazon Elastic Compute Cloud（Amazon EC2）Trn1實例正式可用。Trn1 實例專為在云中進行高性能機器學習模型訓練而構建，與基于 GPU 的同類實例相比，可節省高達 50% 的訓練成本。Trn1實例能夠以超快的速度在亞馬遜云科技上訓練機器學習模型，助力客戶縮短訓練時間，快速迭代模型以提升準確性，提高自然語言處理、語音和圖像識別、語義搜索、推薦引擎、欺詐檢測和預測等工作負載的運行效率。使用Trn1實例無需最低消費承諾或預付費用，客戶只需為使用的計算量付費。欲開始使用Trn1實例，請訪問：aws.amazon.com/cn/ec2/instance-types/trn1/。
越(yue)(yue)來越(yue)(yue)多(duo)客戶(hu)正在構建、訓練(lian)和部署機(ji)器(qi)學習模(mo)(mo)型(xing)，以支撐有望重塑其(qi)(qi)業務(wu)和客戶(hu)體驗的(de)應(ying)用程序。這些機(ji)器(qi)學習模(mo)(mo)型(xing)變(bian)得越(yue)(yue)來越(yue)(yue)復(fu)(fu)雜(za)，需(xu)要(yao)越(yue)(yue)來越(yue)(yue)多(duo)的(de)訓練(lian)數據提高準確性。因此(ci)，客戶(hu)必(bi)須(xu)將其(qi)(qi)模(mo)(mo)型(xing)擴展到數千(qian)個(ge)加速器(qi)上(shang)，致使(shi)訓練(lian)成本(ben)越(yue)(yue)來越(yue)(yue)高。這會直接影(ying)響研發(fa)團隊試驗和訓練(lian)不同模(mo)(mo)型(xing)的(de)能力，限制客戶(hu)將創新推向市場的(de)速度。亞馬遜云科(ke)技(ji)此(ci)前已經為機(ji)器(qi)學習提供了廣(guang)泛且深入的(de)硬件加速器(qi)計算產品(pin)選擇，包(bao)括由(you)亞馬遜云科(ke)技(ji)自(zi)研芯片Amazon Inferentia支持的(de)Inf1實(shi)例、G5實(shi)例、P4d實(shi)例和DL1實(shi)例。但是(shi)，即便(bian)使(shi)用當前最快的(de)加速實(shi)例，訓練(lian)日益(yi)復(fu)(fu)雜(za)的(de)機(ji)器(qi)學習模(mo)(mo)型(xing)仍然非常昂貴和耗時(shi)。
由Amazon Trainium芯片(pian)支(zhi)(zhi)持(chi)的(de)(de)(de)(de)(de)全(quan)新(xin)Trn1實(shi)(shi)例(li)(li)為(wei)在(zai)亞馬(ma)遜云科技上運(yun)行(xing)的(de)(de)(de)(de)(de)機器(qi)學(xue)(xue)習(xi)模(mo)型(xing)(xing)訓(xun)練(lian)(lian)提(ti)供超高(gao)(gao)性(xing)價比和超快(kuai)速度(du)。與最新(xin)的(de)(de)(de)(de)(de)、基于(yu)GPU的(de)(de)(de)(de)(de)P4d實(shi)(shi)例(li)(li)相(xiang)(xiang)比，針對深(shen)度(du)學(xue)(xue)習(xi)模(mo)型(xing)(xing)訓(xun)練(lian)(lian)的(de)(de)(de)(de)(de)成本可(ke)(ke)降(jiang)低(di)多達(da)50%。借(jie)助針對Trn1實(shi)(shi)例(li)(li)的(de)(de)(de)(de)(de)軟(ruan)件開發工(gong)具包（SDK）Amazon Neuron，客(ke)戶幾乎(hu)不需(xu)要更(geng)改代碼。并且，Amazon Neuron與PyTorch和TensorFlow等流(liu)行(xing)的(de)(de)(de)(de)(de)機器(qi)學(xue)(xue)習(xi)框架集成。Trn1實(shi)(shi)例(li)(li)配有多達(da)16顆(ke)專為(wei)部署深(shen)度(du)學(xue)(xue)習(xi)模(mo)型(xing)(xing)而構建(jian)的(de)(de)(de)(de)(de)Amazon Trainium加速器(qi)。Trn1是首個(ge)(ge)(ge)提(ti)供高(gao)(gao)達(da)800 Gbps的(de)(de)(de)(de)(de)網絡帶寬(kuan)的(de)(de)(de)(de)(de)實(shi)(shi)例(li)(li)，延遲更(geng)低(di)，比最新(xin)的(de)(de)(de)(de)(de)基于(yu)GPU的(de)(de)(de)(de)(de)EC2實(shi)(shi)例(li)(li)快(kuai)2倍(bei)。它采用了亞馬(ma)遜云科技第二(er)代Elastic Fabric Adapter（EFA）網絡接口來提(ti)高(gao)(gao)擴展效率。Trn1實(shi)(shi)例(li)(li)還使(shi)用高(gao)(gao)速的(de)(de)(de)(de)(de)實(shi)(shi)例(li)(li)內(nei)聯技術NeuronLink加速訓(xun)練(lian)(lian)。客(ke)戶可(ke)(ke)以在(zai)Amazon EC2 UltraClusters超大規(gui)模(mo)集群中部署包含(han)數(shu)(shu)以萬(wan)(wan)(wan)計Trainium加速器(qi)的(de)(de)(de)(de)(de)Trn1實(shi)(shi)例(li)(li)，快(kuai)速訓(xun)練(lian)(lian)包含(han)數(shu)(shu)萬(wan)(wan)(wan)億(yi)個(ge)(ge)(ge)參數(shu)(shu)的(de)(de)(de)(de)(de)超復雜(za)深(shen)度(du)學(xue)(xue)習(xi)模(mo)型(xing)(xing)。憑借(jie)EC2 UltraClusters，客(ke)戶能夠使(shi)多達(da)3萬(wan)(wan)(wan)個(ge)(ge)(ge)Trainium加速器(qi)與EFA PB級(ji)網絡實(shi)(shi)現(xian)互連(lian)，擴展機器(qi)學(xue)(xue)習(xi)模(mo)型(xing)(xing)訓(xun)練(lian)(lian)，按需(xu)獲取(qu)超算級(ji)性(xing)能，將訓(xun)練(lian)(lian)時(shi)間從數(shu)(shu)月縮短至數(shu)(shu)日。每個(ge)(ge)(ge)Trn1實(shi)(shi)例(li)(li)支(zhi)(zhi)持(chi)高(gao)(gao)達(da)8TB的(de)(de)(de)(de)(de)本地(di)NVMe SSD存儲，可(ke)(ke)快(kuai)速訪問(wen)大型(xing)(xing)數(shu)(shu)據集。Amazon Trainium支(zhi)(zhi)持(chi)多種數(shu)(shu)據類型(xing)(xing)（FP32、TF32、BF16、FP16 和可(ke)(ke)配置的(de)(de)(de)(de)(de) FP8）和隨(sui)機舍(she)(she)入(ru)。隨(sui)機舍(she)(she)入(ru)是一種概(gai)率舍(she)(she)入(ru)的(de)(de)(de)(de)(de)方法(fa)，與深(shen)度(du)學(xue)(xue)習(xi)訓(xun)練(lian)(lian)中經常使(shi)用的(de)(de)(de)(de)(de)傳統舍(she)(she)入(ru)模(mo)式(shi)相(xiang)(xiang)比，性(xing)能更(geng)強，準(zhun)確度(du)更(geng)高(gao)(gao)。Amazon Trainium還支(zhi)(zhi)持(chi)動態張量形狀和自定義運(yun)算符，交付(fu)靈(ling)活的(de)(de)(de)(de)(de)基礎設施，旨在(zai)隨(sui)客(ke)戶的(de)(de)(de)(de)(de)訓(xun)練(lian)(lian)需(xu)求(qiu)而演進(jin)。
亞馬遜(xun)云科技Amazon EC2副總(zong)裁David Brown表示："近(jin)年來，我們(men)見證了(le)機(ji)器學(xue)習從大型企(qi)業使用(yong)的(de)小眾技術發展成為許多客戶(hu)的(de)業務核(he)心。我們(men)預計(ji)機(ji)器學(xue)習訓練將迅速占據其大量(liang)的(de)計(ji)算需求(qiu)。在高性能機(ji)器學(xue)習芯(xin)片Amazon Inferentia成功的(de)基(ji)礎(chu)上，我們(men)推出(chu)專為高性能訓練而構建的(de)第(di)二(er)代機(ji)器學(xue)習芯(xin)片Amazon Trainium。由Amazon Trainium支持的(de)Trn1實例可幫助客戶(hu)將訓練時間從數月縮短至(zhi)數日，同時更具成本效益。"
Trn1實例基于Amazon Nitro系統構建，該系統是亞馬遜云科技自研硬件和軟件創新的集大成者，可簡化隔離式多租戶、專用網絡和快速本地存儲的交付。Amazon Nitro系統將CPU虛擬化、存儲和網絡功能卸載至專用硬件和軟件，交付近乎裸機的性能。Trn1實例將通過其他亞馬遜云科技服務提供，包括Amazon SageMaker、Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon Elastic Container Service（Amazon ECS）和Amazon Batch。Trn1實例可以作為按需實例購買，支持節省計劃（Saving Plans），也可以按預留實例或Spot實例購買。Trn1實例現已在美國東部（弗吉尼亞北部）和美國西部（俄勒岡）區域可用，其他區域也將很快推出。欲了解更多Trn1實例相關信息，請訪問：aws.amazon.com/blogs/aws/amazon-ec2-trn1-instances-for-high-performance-model-training-are-now-available。
亞(ya)馬(ma)遜的(de)(de)產(chan)品(pin)搜索引擎索引了(le)(le)數(shu)十億種產(chan)品(pin)，每天提(ti)供數(shu)以(yi)(yi)十億計(ji)的(de)(de)客(ke)戶查詢，是(shi)全球頻繁使(shi)用的(de)(de)服務(wu)之一。Amazon Search高(gao)級首席科學家(jia)Trishul Chilimbi表示："我(wo)們正(zheng)在(zai)訓(xun)練大型語言模型，這些模型是(shi)多(duo)模式、多(duo)語言、多(duo)地區、基(ji)于多(duo)任務(wu)預(yu)訓(xun)練的(de)(de)，跨多(duo)個(ge)維度(du)（產(chan)品(pin)、查詢、品(pin)牌、評(ping)論等(deng)）改善客(ke)戶的(de)(de)購物體驗。與其他加速機器學習解決方(fang)案相(xiang)比(bi)，Amazon EC2 Trn1實例(li)可提(ti)供更(geng)高(gao)的(de)(de)性(xing)能功耗(hao)比(bi)，為訓(xun)練大型語言模型提(ti)供了(le)(le)一種更(geng)可持(chi)續的(de)(de)方(fang)式，并以(yi)(yi)超(chao)低成本提(ti)供了(le)(le)高(gao)性(xing)能。我(wo)們計(ji)劃探索新(xin)的(de)(de)、可配置的(de)(de)FP8數(shu)據類型和(he)硬件(jian)加速隨機舍(she)入，進(jin)一步提(ti)高(gao)訓(xun)練效率(lv)和(he)開發速度(du)。"
PyTorch是一(yi)個開(kai)源機(ji)器學習框架，可加速從(cong)研究原(yuan)(yuan)型(xing)(xing)設(she)計(ji)到生(sheng)產(chan)部署的(de)過(guo)程。"PyTorch希望加速將(jiang)機(ji)器學習從(cong)研究原(yuan)(yuan)型(xing)(xing)設(she)計(ji)到實(shi)(shi)際生(sheng)產(chan)就緒、可供客戶使(shi)用(yong)(yong)的(de)進(jin)程。我們與亞馬遜云科技(ji)進(jin)行了廣(guang)泛(fan)的(de)合作，為由Amazon Trainium支(zhi)持的(de)全新(xin)Trn1實(shi)(shi)例(li)(li)提供原(yuan)(yuan)生(sheng)PyTorch支(zhi)持。構建(jian)PyTorch模型(xing)(xing)的(de)開(kai)發人(ren)員(yuan)(yuan)只需少(shao)量代(dai)碼更(geng)改，即可在Trn1實(shi)(shi)例(li)(li)上(shang)開(kai)啟訓練。" PyTorch應用(yong)(yong)人(ren)工(gong)智能工(gong)程經理Geeta Chauhan表示，"此外，我們還(huan)與OpenXLA社(she)區(qu)(qu)合作，啟用(yong)(yong)PyTorch分布式庫，以便輕松地將(jiang)模型(xing)(xing)從(cong)基(ji)于GPU的(de)實(shi)(shi)例(li)(li)遷(qian)移至Trn1實(shi)(shi)例(li)(li)。Trn1實(shi)(shi)例(li)(li)為PyTorch社(she)區(qu)(qu)帶來(lai)的(de)創新(xin)包括更(geng)高效的(de)數(shu)據類型(xing)(xing)、動態形狀、自定義運算符、硬件優化(hua)的(de)隨機(ji)舍入和快速調試模式，我們對此倍感(gan)興奮。所有這些功能讓Trn1實(shi)(shi)例(li)(li)非常適(shi)合PyTorch開(kai)發人(ren)員(yuan)(yuan)廣(guang)泛(fan)采用(yong)(yong)。未來(lai)，我們期待(dai)共同為PyTorch做出貢獻，進(jin)一(yi)步優化(hua)訓練性能。"
Helixon為蛋白質(zhi)療法(fa)構建下一代人工(gong)智能(neng)(neng)（AI）解決(jue)方(fang)案，開發(fa)AI工(gong)具，幫助科學家破(po)譯蛋白質(zhi)功(gong)能(neng)(neng)和交互方(fang)式，查詢(xun)大(da)規模(mo)基因組(zu)數(shu)據集以進行(xing)靶標鑒別，設計抗體和細胞療法(fa)等(deng)治療方(fang)法(fa)。"當前，我們(men)(men)使(shi)用像全分(fen)片(pian)數(shu)據并(bing)行(xing)（Fully Sharded Data Parallel）等(deng)方(fang)式訓(xun)練分(fen)布式庫，即(ji)通過許多基于GPU的服(fu)務器并(bing)行(xing)訓(xun)練模(mo)型。但即(ji)便如(ru)此，訓(xun)練單個模(mo)型仍需花(hua)費數(shu)周時(shi)(shi)間。" Helixon首席執行(xing)官Jian Peng表示，"我們(men)(men)很高(gao)興能(neng)(neng)夠利用Amazon EC2 Trn1實例，它擁有亞馬遜云科技上(shang)超(chao)高(gao)的可用網絡帶寬，可以提高(gao)分(fen)布式訓(xun)練作業性能(neng)(neng)，縮短(duan)模(mo)型訓(xun)練時(shi)(shi)間，同時(shi)(shi)也降低(di)成本。"
Money Forward公司為企業和個人提供開放和公平(ping)的(de)金(jin)融平(ping)臺。Money Forward首席技術官Takuya Nakade表示："我(wo)(wo)們基(ji)于Amazon EC2 Inf1實例(li)推出了大規模(mo)AI聊天(tian)機器人服務，與基(ji)于GPU的(de)同類實例(li)相比，推理(li)延遲降低了97%，同時還降低了成(cheng)本。我(wo)(wo)們會定(ding)期微(wei)調定(ding)制的(de)自(zi)然語(yu)言處理(li)模(mo)型，因此減(jian)少模(mo)型訓練時間(jian)和成(cheng)本很重要。根據我(wo)(wo)們在Inf1實例(li)上成(cheng)功(gong)遷移推理(li)工作負載(zai)的(de)經(jing)驗，以及采用基(ji)于Amazon Trainium的(de)EC2 Trn1實例(li)所開展的(de)初(chu)始工作，我(wo)(wo)們預(yu)計Trn1實例(li)將在提高(gao)端(duan)到(dao)端(duan)機器學(xue)習性能和降低成(cheng)本方面提供額外價值。"
Magic是一(yi)家集生(sheng)產和研究于一(yi)體的(de)公司，它開發(fa)的(de)人工(gong)(gong)智能就像身邊的(de)同事一(yi)樣(yang)，能夠幫助你(ni)提高生(sheng)產效(xiao)率(lv)。"訓練基于大(da)型自回歸變換器（large autoregressive transformer）的(de)模型是我們工(gong)(gong)作(zuo)的(de)重要組成部分。由(you)Amazon Trainium支持的(de)Trn1實例(li)專為此類(lei)工(gong)(gong)作(zuo)負載設(she)計，提供近(jin)乎無(wu)限的(de)可擴展性、快(kuai)速(su)的(de)節點互聯以(yi)及對 16 位(wei)和 8 位(wei)數據類(lei)型的(de)高級支持。"Magic聯合創始(shi)人兼(jian)首(shou)席執行官Eric Steinberger表示(shi)，"Trn1實例(li)將(jiang)幫助我們以(yi)更低成本更快(kuai)速(su)地訓練大(da)型模型。Trainium對BF16隨機舍入的(de)原生(sheng)支持功能特別(bie)令人興(xing)奮，不僅(jin)提高了(le)性能，同時讓數值準確性與全精(jing)度幾(ji)乎無(wu)異。"
