北京2017年5月2日電 /美通社/ -- 技術(shu)的(de)發(fa)(fa)(fa)展(zhan)迅猛而(er)多(duo)變，近幾年，移(yi)動互聯(lian)網、云(yun)計(ji)(ji)(ji)算、大數(shu)據、物聯(lian)網、人工智能、區塊(kuai)鏈等(deng)新(xin)一(yi)代(dai)計(ji)(ji)(ji)算技術(shu)高速發(fa)(fa)(fa)展(zhan)，各領域的(de)細分技術(shu)層(ceng)出不窮(qiong)。然(ran)而(er)，新(xin)技術(shu)往(wang)往(wang)都(dou)是在云(yun)計(ji)(ji)(ji)算的(de)基礎上，回看云(yun)計(ji)(ji)(ji)算的(de)發(fa)(fa)(fa)展(zhan)，同樣充(chong)斥著充(chong)滿(man)著變化與創(chuang)新(xin)，IaaS、PaaS、SaaS、CaaS，Openstack、Docker、OpenLava，云(yun)管理、彈性計(ji)(ji)(ji)算、高性能計(ji)(ji)(ji)算等(deng)等(deng)，企業級(ji)云(yun)計(ji)(ji)(ji)算正(zheng)熱火朝(chao)天。
近日，天云(yun)(yun)軟件技術(shu)開放(fang)日在(zai)北京聯(lian)合創業(ye)(ye)辦公社舉行，來自天云(yun)(yun)軟件、阿里云(yun)(yun)、亞信三大企業(ye)(ye)級云(yun)(yun)系統(tong)的專家，以及關注云(yun)(yun)計(ji)算的開發者們(men)齊聚一(yi)堂，從IaaS到(dao)CaaS，從Openstack到(dao)Openlava，從云(yun)(yun)管理到(dao)高性能計(ji)算，展開了一(yi)場圍繞云(yun)(yun)系統(tong)技術(shu)與實踐的探(tan)討。
世界的變化，由技術推動
天云軟件CEO張福波博士在(zai)(zai)開(kai)場白中表(biao)示，作(zuo)為(wei)一個IT老兵，他見證了海龍(long)大廈從車水馬龍(long)到一片哀鴻，這代表(biao)著世界在(zai)(zai)發(fa)生著快速(su)的(de)變化，科技(ji)的(de)發(fa)展(zhan)同樣如此(ci)。從云計(ji)算到大數據，從大數據到人工智(zhi)能(neng)、機(ji)器學習，新技(ji)術(shu)不斷(duan)涌現(xian)。在(zai)(zai)上世紀80年代便(bian)有了人工智(zhi)能(neng)的(de)概念(nian)，然而之所(suo)以未(wei)能(neng)形成(cheng)規模化的(de)發(fa)展(zhan)，其(qi)主要原因便(bian)是計(ji)算能(neng)力的(de)受限。
而分布(bu)式(shi)(shi)計(ji)(ji)算(suan)的(de)發展才讓人工智(zhi)能有(you)了(le)現在的(de)發展。因此(ci)可以(yi)說從技術的(de)角度來看(kan)，分布(bu)式(shi)(shi)計(ji)(ji)算(suan)是IT發展的(de)根本(ben)，有(you)了(le)分布(bu)式(shi)(shi)計(ji)(ji)算(suan)，云計(ji)(ji)算(suan)、大(da)數(shu)據、人工智(zhi)能等(deng)才有(you)了(le)發展和改進的(de)空(kong)間。
然而無(wu)論是(shi)云(yun)計算、大數據，還是(shi)人工智能、機器學習，其重要的(de)目的(de)便是(shi)技(ji)術(shu)(shu)推動事物的(de)發(fa)(fa)展，用(yong)新技(ji)術(shu)(shu)解(jie)決存在(zai)的(de)問題，天云(yun)軟(ruan)(ruan)件便是(shi)秉持著這樣的(de)理念(nian)成立(li)的(de)。天云(yun)軟(ruan)(ruan)件認(ren)為(wei)，底層(ceng)技(ji)術(shu)(shu)發(fa)(fa)展很快，作為(wei)創業公司(si)應(ying)當接近客戶真實應(ying)用(yong)，以解(jie)決客戶問題為(wei)基礎，因此從2011年進(jin)入云(yun)計算領域開始(shi)，天云(yun)軟(ruan)(ruan)件不僅追(zhui)求(qiu)技(ji)術(shu)(shu)先進(jin)性(xing)，更追(zhui)求(qiu)技(ji)術(shu)(shu)的(de)應(ying)用(yong)與(yu)落地。
以人(ren)工(gong)(gong)智(zhi)能為(wei)例，人(ren)工(gong)(gong)智(zhi)能不是一(yi)個(ge)獨立的(de)應(ying)用(yong)，其更大的(de)作用(yong)是催化劑或(huo)者改(gai)進的(de)工(gong)(gong)具，所以人(ren)工(gong)(gong)智(zhi)能一(yi)定要(yao)跟運維結合，比如自動駕駛便(bian)是基于人(ren)工(gong)(gong)智(zhi)能的(de)機器學習實現的(de)。
人(ren)工(gong)智(zhi)能(neng)(neng)(neng)的(de)(de)(de)(de)(de)發(fa)展(zhan)(zhan)一是(shi)計(ji)算，二(er)是(shi)算法，在上(shang)世紀八十年代受限于(yu)計(ji)算能(neng)(neng)(neng)力，發(fa)展(zhan)(zhan)很(hen)慢，當(dang)前隨著(zhu)計(ji)算基(ji)礎的(de)(de)(de)(de)(de)成熟，它迎來了快速的(de)(de)(de)(de)(de)發(fa)展(zhan)(zhan)。在當(dang)前，人(ren)工(gong)智(zhi)能(neng)(neng)(neng)有(you)一個很(hen)重(zhong)要(yao)(yao)的(de)(de)(de)(de)(de)分支(zhi)不是(shi)基(ji)于(yu)專家經驗，而是(shi)基(ji)于(yu)現象，基(ji)于(yu)行為，這種人(ren)工(gong)智(zhi)能(neng)(neng)(neng)的(de)(de)(de)(de)(de)發(fa)展(zhan)(zhan)，使得人(ren)工(gong)智(zhi)能(neng)(neng)(neng)技(ji)術解決問題(ti)的(de)(de)(de)(de)(de)門檻大大降低(di)，因為機器(qi)基(ji)于(yu)行為是(shi)可以自己(ji)學習的(de)(de)(de)(de)(de)。未來幾年，人(ren)工(gong)智(zhi)能(neng)(neng)(neng)一定會擁(yong)有(you)很(hen)大的(de)(de)(de)(de)(de)應用(yong)場景，隨著(zhu)人(ren)工(gong)智(zhi)能(neng)(neng)(neng)的(de)(de)(de)(de)(de)發(fa)展(zhan)(zhan)，對于(yu)高性能(neng)(neng)(neng)計(ji)算、應用(yong)的(de)(de)(de)(de)(de)要(yao)(yao)求也會再上(shang)更(geng)高的(de)(de)(de)(de)(de)臺(tai)階。
企業級云管理平臺的架構實現與落地實踐、趨勢分析
天云軟件(jian)產品(pin)總監馬俊(jun)以“企業級云管(guan)理(li)(li)平(ping)臺(tai)的架構實(shi)現與(yu)落地實(shi)踐、趨勢分(fen)(fen)(fen)析(xi)”為(wei)主(zhu)題，從IaaS層(ceng)(ceng)解析(xi)了云管(guan)理(li)(li)平(ping)臺(tai)的架構實(shi)現、落地實(shi)踐和未(wei)來發(fa)展趨勢分(fen)(fen)(fen)析(xi)。馬俊(jun)介(jie)紹，云管(guan)理(li)(li)分(fen)(fen)(fen)為(wei)三層(ceng)(ceng)，分(fen)(fen)(fen)別是云管(guan)理(li)(li)平(ping)臺(tai)層(ceng)(ceng)、云計算技術架構層(ceng)(ceng)、虛擬化(hua)層(ceng)(ceng)。
虛(xu)擬(ni)(ni)(ni)(ni)化(hua)層(ceng)提(ti)供(gong)虛(xu)擬(ni)(ni)(ni)(ni)化(hua)功(gong)能(neng)，對(dui)計(ji)(ji)算資(zi)(zi)源(yuan)(yuan)(yuan)、網絡(luo)資(zi)(zi)源(yuan)(yuan)(yuan)和存(cun)儲資(zi)(zi)源(yuan)(yuan)(yuan)提(ti)供(gong)虛(xu)擬(ni)(ni)(ni)(ni)化(hua)支(zhi)持(chi)和虛(xu)擬(ni)(ni)(ni)(ni)化(hua)管(guan)(guan)理(li)功(gong)能(neng)；云(yun)計(ji)(ji)算技(ji)術(shu)(shu)(shu)架(jia)構(gou)(gou)(gou)(gou)層(ceng)通過(guo)虛(xu)擬(ni)(ni)(ni)(ni)化(hua)層(ceng)提(ti)供(gong)的(de)(de)特性構(gou)(gou)(gou)(gou)建(jian)云(yun)計(ji)(ji)算的(de)(de)技(ji)術(shu)(shu)(shu)架(jia)構(gou)(gou)(gou)(gou)，包括(kuo)構(gou)(gou)(gou)(gou)建(jian)計(ji)(ji)算資(zi)(zi)源(yuan)(yuan)(yuan)技(ji)術(shu)(shu)(shu)架(jia)構(gou)(gou)(gou)(gou)、構(gou)(gou)(gou)(gou)建(jian)存(cun)儲資(zi)(zi)源(yuan)(yuan)(yuan)技(ji)術(shu)(shu)(shu)架(jia)構(gou)(gou)(gou)(gou)、構(gou)(gou)(gou)(gou)建(jian)網絡(luo)資(zi)(zi)源(yuan)(yuan)(yuan)技(ji)術(shu)(shu)(shu)架(jia)構(gou)(gou)(gou)(gou)；云(yun)管(guan)(guan)理(li)平臺層(ceng)提(ti)供(gong)業務支(zhi)撐管(guan)(guan)理(li)功(gong)能(neng)、提(ti)供(gong)異構(gou)(gou)(gou)(gou)混合云(yun)管(guan)(guan)理(li)功(gong)能(neng)，對(dui)虛(xu)擬(ni)(ni)(ni)(ni)化(hua)層(ceng)、技(ji)術(shu)(shu)(shu)架(jia)構(gou)(gou)(gou)(gou)層(ceng)進(jin)行統一的(de)(de)管(guan)(guan)理(li)；
當(dang)前(qian)隨著(zhu)云計算技術架構層從vCenter向Openstack、Cloudstack轉(zhuan)變(bian)，云管(guan)理平臺即CMP，也正在發生著(zhu)巨(ju)大轉(zhuan)變(bian)。
天云軟(ruan)件的(de)SkyForm CMP是(shi)一個開放、中立的(de)企業級云管(guan)理平(ping)臺(tai)，向(xiang)(xiang)下對接企業傳(chuan)統 IT 資源和云資源池(chi)，向(xiang)(xiang)上為系統管(guan)理員提(ti)供(gong)all-in-one的(de)IT資源管(guan)理能力，實(shi)現面向(xiang)(xiang)最(zui)終(zhong)用戶的(de)云服務交付。
SkyForm CMP的核(he)(he)心(xin)(xin)是CMDB，強調異構(gou)管(guan)理(li)(li)(li)。而此(ci)CMDB的核(he)(he)心(xin)(xin)是調度，也是企(qi)業(ye)(ye)客戶怎么把資(zi)源(yuan)(yuan)管(guan)理(li)(li)(li)好(hao)的核(he)(he)心(xin)(xin)。之所以(yi)如此(ci)，主(zhu)要(yao)取(qu)決于當前企(qi)業(ye)(ye)客戶的需(xu)求，企(qi)業(ye)(ye)要(yao)求云管(guan)理(li)(li)(li)平臺(tai)對多個數據中心(xin)(xin)的資(zi)源(yuan)(yuan)進行(xing)統(tong)一(yi)(yi)(yi)管(guan)理(li)(li)(li)：統(tong)一(yi)(yi)(yi)資(zi)源(yuan)(yuan)池管(guan)理(li)(li)(li)，統(tong)一(yi)(yi)(yi)監控視圖，統(tong)一(yi)(yi)(yi)資(zi)源(yuan)(yuan)配置管(guan)理(li)(li)(li)，統(tong)一(yi)(yi)(yi)資(zi)源(yuan)(yuan)模板管(guan)理(li)(li)(li)，統(tong)一(yi)(yi)(yi)資(zi)源(yuan)(yuan)申請、審(shen)批、開(kai)通管(guan)理(li)(li)(li)，統(tong)一(yi)(yi)(yi)資(zi)源(yuan)(yuan)實例管(guan)理(li)(li)(li)。
SkyForm CMP是一個完全開(kai)放的平臺(tai)，提供對外(wai)的用戶管理API和資源管理API，以(yi)及監控告警數(shu)據(ju)，客戶可以(yi)根(gen)據(ju)API和數(shu)據(ju)可以(yi)重新開(kai)發界面UI，從(cong)而很方便的與OA集成、網管集成以(yi)及和PaaS平臺(tai)集成。
下一(yi)步(bu)，SkyForm CMP將(jiang)向四個方(fang)向發(fa)展(zhan)，第一(yi)是(shi)(shi)進(jin)(jin)行服務(wu)解(jie)耦，即微服務(wu)化改造，將(jiang)大服務(wu)拆分出多個原子服務(wu)，各個服務(wu)的(de)關系是(shi)(shi)平(ping)級、獨(du)立部署(shu)，支持(chi)分布(bu)式，已達到更(geng)為編(bian)輯的(de)集成(cheng)、開發(fa)測試(shi)和上線(xian)。第二是(shi)(shi)基(ji)于機器學習(xi)(xi)的(de)業務(wu)系統擴容建議(yi)，基(ji)于CMP的(de)系統數據，進(jin)(jin)行分析(xi)，實(shi)現更(geng)好的(de)客戶投資(zi)收益。第三是(shi)(shi)基(ji)于機器學習(xi)(xi)的(de)資(zi)源(yuan)(yuan)池優(you)化建議(yi)，以便將(jiang)客戶的(de)虛擬化資(zi)源(yuan)(yuan)池、Openstack使用(yong)率調到較大。四是(shi)(shi)雙(shuang)模IT管(guan)理(li)，將(jiang)IaaS、PaaS一(yi)起管(guan)理(li)，形成(cheng)一(yi)個大的(de)IT管(guan)理(li)平(ping)臺。
目前，SkyForm CMP已(yi)大規模(mo)(mo)成功應用(yong)于(yu)運(yun)營(ying)商(shang)(shang)公(gong)有云(yun)(yun)(yun)(yun)，服務于(yu)運(yun)營(ying)商(shang)(shang)政(zheng)企客戶；運(yun)營(ying)商(shang)(shang)私有云(yun)(yun)(yun)(yun)，針對運(yun)營(ying)商(shang)(shang)B域、O域、M域的(de)(de)IT資源進(jin)行云(yun)(yun)(yun)(yun)化改造。同時，SkyFrom CMP已(yi)成功應用(yong)于(yu)電(dian)子政(zheng)務云(yun)(yun)(yun)(yun)、教(jiao)育云(yun)(yun)(yun)(yun)、航空(kong)制造云(yun)(yun)(yun)(yun)、金融(rong)云(yun)(yun)(yun)(yun)、園區云(yun)(yun)(yun)(yun)、動(dong)漫(man)渲染云(yun)(yun)(yun)(yun)等(deng)。中國移動(dong)、中國聯通等(deng)均是SkyForm CMP的(de)(de)客戶，其中較大的(de)(de)是聯通沃(wo)云(yun)(yun)(yun)(yun)，去年(nian)年(nian)底已(yi)經達到25萬CPU的(de)(de)規模(mo)(mo)。
基于Kubernetes打造輕量級PaaS平臺
天云軟件CTO牛繼(ji)賓從PaaS層面，分享了(le)如何基于K8S打造輕(qing)量級PaaS平臺(tai)。當前(qian)，行業內對(dui)PaaS的理解有多種版本(ben)，然而無(wu)論是(shi)(shi)哪種方向，PaaS通用的定(ding)位(wei)是(shi)(shi)提供一種環(huan)境，從而支撐開發者(zhe)快速進(jin)行開發和應用，同時支撐應用進(jin)行彈(dan)性計算或(huo)者(zhe)靈活(huo)調整。因此。他將構建(jian)輕(qing)量級PaaS平臺(tai)叫(jiao)做ECP，即彈(dan)性計算平臺(tai)。
ECP的(de)(de)有(you)四大(da)建設目標：一是(shi)系統高(gao)可用(yong)(yong)，用(yong)(yong)了PaaS平臺后，不(bu)需要(yao)再去關(guan)心底層IaaS資(zi)(zi)源(yuan)，只需要(yao)關(guan)心平臺能(neng)否從技術架構、平臺服務和(he)物理(li)資(zi)(zi)源(yuan)三(san)(san)個(ge)層面提(ti)(ti)高(gao)系統的(de)(de)穩定性、可靠性；二是(shi)資(zi)(zi)源(yuan)共享和(he)動(dong)(dong)態調度(du)，打破資(zi)(zi)源(yuan)靜態分配瓶頸，支持服務的(de)(de)彈(dan)性伸縮，提(ti)(ti)高(gao)資(zi)(zi)源(yuan)利用(yong)(yong)效率，比如淘(tao)寶雙(shuang)十一，更多(duo)是(shi)打造消息中間件和(he)應(ying)用(yong)(yong)軟件可彈(dan)性的(de)(de)中間件環境，從而(er)支撐(cheng)應(ying)用(yong)(yong)做彈(dan)性拓展；三(san)(san)是(shi)DevOps，研(yan)發測試到運(yun)(yun)(yun)維(wei)一體化，改變(bian)開發、測試、運(yun)(yun)(yun)維(wei)割裂(lie)的(de)(de)現(xian)狀，簡化應(ying)用(yong)(yong)開發、部署(shu)和(he)運(yun)(yun)(yun)維(wei)的(de)(de)難度(du)；四是(shi)自動(dong)(dong)化運(yun)(yun)(yun)維(wei)：將(jiang)事件與流程相關(guan)聯，發生問題時自動(dong)(dong)出發處理(li)流程，提(ti)(ti)高(gao)運(yun)(yun)(yun)維(wei)效率。
基(ji)于ECP的(de)(de)建(jian)設(she)目(mu)標，為(wei)什么要基(ji)于Kubernetes去構(gou)建(jian)輕量(liang)級平臺？實際上，是因為(wei) Kubernetes提供(gong)了(le)一(yi)套應(ying)用(yong)發布運行(xing)的(de)(de)彈性(xing)框(kuang)架。一(yi)個(ge)應(ying)用(yong)，其實就是一(yi)個(ge)負載均衡加上后端的(de)(de)幾個(ge)計(ji)算單(dan)點(dian)，Kubernetes主要提供(gong)一(yi)套機制，保證應(ying)用(yong)能夠快(kuai)速(su)的(de)(de)發布和服(fu)務(wu)的(de)(de)快(kuai)速(su)發現。Kubernetes的(de)(de)體(ti)系比(bi)較完整(zheng)，體(ti)系架構(gou)比(bi)較統(tong)一(yi)，開發語(yu)言也比(bi)較統(tong)一(yi)、完整(zheng)，目(mu)前國內基(ji)于容器(qi)打造(zao)輕量(liang)級PaaS的(de)(de)服(fu)務(wu)商，基(ji)本也都已(yi)經(jing)切換(huan)到Kubernetes，這(zhe)也證明了(le)其高可用(yong)性(xing)。
既然可以基(ji)于Kubernetes發現(xian)應用、發現(xian)服務，為(wei)什么天云軟件還要基(ji)于Kubemetes再去打造一個新(xin)平臺(tai)？牛繼(ji)賓指出，這首先是(shi)因為(wei)Kubernetes本身(shen)的(de)UI不是(shi)很友好(hao)(hao)，不符合國(guo)內(nei)應用習慣。其次是(shi)使用Kubernetes的(de)時候，通過service找到后面掛(gua)了幾個pod，但如果從(cong)pod反向找service時，就找不到了。其三(san)是(shi)因為(wei)PAAS是(shi)一個云的(de)概念(nian)，要求(qiu)多租戶，目前Kubernetes對(dui)租戶的(de)支(zhi)持不是(shi)很好(hao)(hao)。其四是(shi)基(ji)礎設施(shi)的(de)管(guan)理、日志與監控等(deng)，也不是(shi)那(nei)么友好(hao)(hao)。
基(ji)于Kubernetes鏡(jing)像倉庫、存儲(chu)(chu)集(ji)群、Elastic Search、Kubernetes Cluster核心組件，加上(shang)Etcd Cluster，構(gou)建(jian)基(ji)礎服(fu)務，在外(wai)圍構(gou)建(jian)主機管(guan)(guan)(guan)(guan)理(li)、網絡管(guan)(guan)(guan)(guan)理(li)、存儲(chu)(chu)管(guan)(guan)(guan)(guan)理(li)、應用管(guan)(guan)(guan)(guan)理(li)、服(fu)務管(guan)(guan)(guan)(guan)理(li)、健康管(guan)(guan)(guan)(guan)理(li)、日志管(guan)(guan)(guan)(guan)理(li)、用戶(hu)(hu)管(guan)(guan)(guan)(guan)理(li)、UI、鏡(jing)像管(guan)(guan)(guan)(guan)理(li)、CI/CD等(deng)服(fu)務，并進行鏡(jing)像封裝(zhuang)，再用Pod的(de)形(xing)(xing)式集(ji)起來，只需從UI抽取相關API，就(jiu)可(ke)以(yi)形(xing)(xing)成一套PaaS平(ping)臺(tai)，用戶(hu)(hu)可(ke)以(yi)基(ji)于PaaS平(ping)臺(tai)構(gou)建(jian)Docker的(de)能力。
構建企業及互聯網架構，大平臺＋輕架構＋小應用
在應(ying)用層，亞(ya)信(xin)軟件高(gao)級(ji)架(jia)構(gou)(gou)師李春林(lin)以“構(gou)(gou)建(jian)企業(ye)及(ji)互聯網架(jia)構(gou)(gou)，大平臺＋輕架(jia)構(gou)(gou)＋小(xiao)應(ying)用的(de)較佳實(shi)踐，能力集成與(yu)開(kai)放平臺的(de)實(shi)現思路”為主題，分享了亞(ya)信(xin)AIF在應(ying)用方面的(de)理念和實(shi)踐。
亞信AIF是(shi)一個微(wei)服(fu)務架(jia)構的(de)(de)(de)平臺。我們(men)都(dou)知道，架(jia)構的(de)(de)(de)作用(yong)是(shi)為了更好(hao)地適應需求的(de)(de)(de)變化，當前應用(yong)架(jia)構經歷了MVC架(jia)構、RPC架(jia)構、SOA架(jia)構到微(wei)服(fu)務架(jia)構的(de)(de)(de)演(yan)變。MVC架(jia)構是(shi)為了解決(jue)(jue)前后端、界面、控(kong)制邏輯(ji)和(he)業(ye)務邏輯(ji)分(fen)層(ceng)問(wen)題。隨著(zhu)業(ye)務擴大、模塊(kuai)化成(cheng)為趨勢(shi)，RPC架(jia)構解決(jue)(jue)模塊(kuai)間(jian)跨進程通(tong)信，幫助業(ye)務屏(ping)蔽通(tong)信細節(jie)，但其缺點(dian)是(shi)不(bu)負責服(fu)務治理(li)，包(bao)括服(fu)務的(de)(de)(de)自動(dong)發現、發布(bu)、運維等。而SOA架(jia)構則注重標(biao)準化服(fu)務的(de)(de)(de)提供(gong)，企(qi)業(ye)資(zi)產復用(yong)、異(yi)構系統(tong)集(ji)成(cheng)，具(ju)備服(fu)務治理(li)。SOA架(jia)構對于傳統(tong)企(qi)業(ye)，主要解決(jue)(jue)異(yi)構系統(tong)互通(tong)和(he)粗(cu)粒度(du)的(de)(de)(de)標(biao)準化（WebService）；在互聯網(wang)領(ling)域，提供(gong)一套高(gao)效支撐應用(yong)快速開發迭(die)代的(de)(de)(de)服(fu)務化架(jia)構。
那么(me)亞信(xin)AIF所采用的微(wei)服(fu)務架構則是注重服(fu)務的構建方式，將服(fu)務拆開，拆成微(wei)、小的應用，應用之(zhi)間獨立(li)部署、生命周期管(guan)理，實現了松(song)耦合、模塊職責單一，以(yi)及輕量級(ji)通(tong)訊，對內(nei)高性能(neng)RPC、對外HTTP Restful風格(ge)，從而(er)更好(hao)地(di)實現運維(wei)體系支撐，服(fu)務治理、監控中心(xin)、日志中心(xin)、配置(zhi)中心(xin)等。
微服(fu)務架(jia)構實質上(shang)打(da)破(po)了(le)系(xi)統建設中的“無形的煙(yan)囪”。過去集群模式下，服(fu)務規模較(jiao)大，需要使用多個服(fu)務器的資(zi)(zi)(zi)源，并且(qie)(qie)是靜態資(zi)(zi)(zi)源分配(pei)。而AIF則是多個服(fu)務細粒(li)度地共享一(yi)組服(fu)務器提(ti)供的資(zi)(zi)(zi)源，并且(qie)(qie)應用框架(jia)一(yi)致(zhi)，通過技術平臺對(dui)應用進(jin)行(xing)管控，促進(jin)應用軟(ruan)件的標準化(hua)。
亞信(xin)AIF秉(bing)承(cheng)“大平(ping)臺 小架構 輕(qing)應(ying)用”的原則，實(shi)現(xian)組件解耦和開放，具體(ti)來(lai)講，AIF有以(yi)下八大特性：
應(ying)(ying)用標準(zhun)化(hua)：統一技術(shu)架構(gou)，促進(jin)應(ying)(ying)用標準(zhun)化(hua)；
服(fu)務透明(ming)化(hua)：服(fu)務接入(ru)的規范化(hua)，實現(xian)服(fu)務的可見(jian)，可管，可控，支持(chi)對服(fu)務的持(chi)續治理；
應用與技術解耦(ou)：通過對開源軟件的封裝，降低(di)開發門檻和TCO的同時(shi)，實現應用與技術組(zu)件的解耦(ou)；
應(ying)用(yong)與數(shu)據分離：屏蔽底層數(shu)據存儲對應(ying)用(yong)邏輯的影(ying)響，實(shi)現底層數(shu)據的訪問(wen)(wen)對應(ying)用(yong)透明化，使用(yong)者無需關心如(ru)何跨越多個分區(qu)查詢數(shu)據、如(ru)何平衡各個分區(qu)負載、如(ru)何訪問(wen)(wen)異構(gou)數(shu)據庫等問(wen)(wen)題；
運維(wei)有形化(hua)：多維(wei)度實時監控到系統(tong)調(diao)用(yong)鏈路的每個環節，包含性能、健(jian)康度等，進(jin)而(er)對系統(tong)進(jin)行(xing)實時干預；
運維智能(neng)化：熔斷機制，及時自動隔(ge)離集群(qun)中隱患(huan)節點(dian)；
億級(ji)消息處(chu)(chu)理：消息處(chu)(chu)理框架實(shi)現高效(xiao)異(yi)步服(fu)務協同，支持億級(ji)消息處(chu)(chu)理；
應(ying)用云化：協同DCOS平臺實(shi)現服務(wu)自(zi)動(dong)彈性伸縮。
亞信AIF未來的發展方向(xiang)將是構建基礎平(ping)臺，從Ability Integration Framework到(dao) Asiainfo Infrastructure Foundations，開(kai)放(fang)、聯合(he)，上下(xia)游共同(tong)努(nu)力(li)構建可靠、穩定(ding)、易維(wei)護的一站式云化(hua)技術(shu)大(da)平(ping)臺。
深度學習簡介及支撐深度學習的解決方案
一如張(zhang)福波博士(shi)所言，天云(yun)軟件是(shi)一家注重應用、注重技術落地的(de)云(yun)計算(suan)服(fu)務(wu)商，天云(yun)軟件CTO牛(niu)繼賓(bin)在分享(xiang)PaaS之后再一次從應用層，展開深度學(xue)習(xi)簡介及支撐深度學(xue)習(xi)的(de)解(jie)決方案的(de)分享(xiang)。
深(shen)度(du)(du)學習的(de)(de)概念(nian)源于人工(gong)神經(jing)網絡的(de)(de)研究(jiu)。含(han)多(duo)隱層的(de)(de)多(duo)層感(gan)知器就是一種深(shen)度(du)(du)學習結構。深(shen)度(du)(du)學習通過組合低(di)層特(te)征(zheng)形(xing)成更加抽象(xiang)的(de)(de)高層表(biao)示(shi)屬性類別或特(te)征(zheng)，以發現數據(ju)的(de)(de)分布式(shi)特(te)征(zheng)表(biao)示(shi)。
深度學習(xi)采用的模(mo)型(xing)為深層(ceng)(ceng)(ceng)神經(jing)網(wang)(wang)絡（Deep Neural Networks，DNN）模(mo)型(xing)，即包含多個隱(yin)藏(zang)層(ceng)(ceng)(ceng)（Hidden Layer，也稱隱(yin)含層(ceng)(ceng)(ceng)）的神經(jing)網(wang)(wang)絡（Neural Networks，NN）。深度學習(xi)利用模(mo)型(xing)中的隱(yin)藏(zang)層(ceng)(ceng)(ceng)，通過特(te)征(zheng)組合(he)的方式，逐層(ceng)(ceng)(ceng)將(jiang)原始輸入轉化(hua)為淺層(ceng)(ceng)(ceng)特(te)征(zheng)，中層(ceng)(ceng)(ceng)特(te)征(zheng)，高層(ceng)(ceng)(ceng)特(te)征(zheng)直至最(zui)終的任務目標。
復雜的(de)(de)(de)(de)人工智能(neng)(neng)算(suan)(suan)法訓練(lian)與計(ji)算(suan)(suan)經常涉及上(shang)億的(de)(de)(de)(de)參數，這些(xie)參數的(de)(de)(de)(de)計(ji)算(suan)(suan)需(xu)要大(da)量的(de)(de)(de)(de)計(ji)算(suan)(suan)能(neng)(neng)力，目前在(zai)深度學習領域，GPU計(ji)算(suan)(suan)已經成為主(zhu)流，使用GPU運(yun)算(suan)(suan)的(de)(de)(de)(de)優勢是(shi)當前主(zhu)流的(de)(de)(de)(de)GPU具有強大(da)的(de)(de)(de)(de)計(ji)算(suan)(suan)能(neng)(neng)力和(he)內(nei)(nei)存(cun)帶寬，無論性能(neng)(neng)還(huan)是(shi)內(nei)(nei)存(cun)帶寬，均(jun)遠大(da)于同(tong)代的(de)(de)(de)(de)CPU。 同(tong)時，GPU的(de)(de)(de)(de)thousands of cores的(de)(de)(de)(de)并行計(ji)算(suan)(suan)能(neng)(neng)力也是(shi)一大(da)優勢。
GPU的并(bing)(bing)行(xing)(xing)(xing)(xing)計(ji)算原理包(bao)含(han)單(dan)CPU并(bing)(bing)行(xing)(xing)(xing)(xing)計(ji)算，多GPU并(bing)(bing)行(xing)(xing)(xing)(xing)計(ji)算之數據并(bing)(bing)行(xing)(xing)(xing)(xing)，多GPU并(bing)(bing)行(xing)(xing)(xing)(xing)計(ji)算之模型并(bing)(bing)行(xing)(xing)(xing)(xing)，以(yi)及GPU集(ji)群并(bing)(bing)行(xing)(xing)(xing)(xing)模式。
單CPU并行計算(suan)是(shi)指針對每次訓練數(shu)據(ju)，模型內(nei)(nei)計算(suan)通過多次GPU內(nei)(nei)核(he)的調用完成計算(suan)。權重W值一直存在GPU內(nei)(nei)存中，直到所有訓練數(shu)據(ju)計算(suan)完畢 之后回傳(chuan)到系統內(nei)(nei)存中。
多(duo)(duo)GPU并行計算之數據(ju)(ju)并行是指對訓練數據(ju)(ju)做切分，同時(shi)采用多(duo)(duo)個模型實例，對多(duo)(duo)個分片的數據(ju)(ju)并行訓練。其缺(que)點是當模型較大時(shi)，GPU內存無法滿(man)足存儲要求(qiu)，無法完(wan)成計算。
多GPU并行(xing)計(ji)算(suan)之模型(xing)并行(xing)將模型(xing)拆分(fen)成幾個分(fen)片，由(you)幾個訓練(lian)單元(yuan)(yuan)分(fen)別持(chi)有，共同協作(zuo)完成訓練(lian)。當一(yi)個神(shen)經(jing)元(yuan)(yuan)的(de)(de)輸入來(lai)自(zi)另一(yi)個訓練(lian)單元(yuan)(yuan)上(shang)的(de)(de)神(shen)經(jing)元(yuan)(yuan)的(de)(de)輸出時(shi)，產生(sheng)通信(xin)(xin)開銷(xiao)。其缺(que)點是需要更頻繁的(de)(de)通信(xin)(xin)，增(zeng)加通信(xin)(xin)壓力，且(qie)實現難度較大。
GPU集(ji)群并(bing)行模式即為(wei)多GPU并(bing)行中各種并(bing)行模式的擴展。節(jie)點間(jian)采用InfiniBand通(tong)(tong)(tong)信(xin)(xin)，節(jie)點間(jian)的GPU通(tong)(tong)(tong)過RMDA通(tong)(tong)(tong)信(xin)(xin)，節(jie)點內(nei)多GPU之間(jian)采用基于(yu)InfiniBand的通(tong)(tong)(tong)信(xin)(xin)。
整個深度學習(xi)集群（包括軟硬件），可(ke)能是公司內部的(de)共享資產，每個項目組都需要使用，那么，采取(qu)上(shang)述方(fang)式部署便會帶來三大問題：
一(yi)，要求項目(mu)組(zu)(zu)必須使用統一(yi)的(de)深度(du)(du)學習(xi)框架(jia)，統一(yi)的(de)深度(du)(du)學習(xi)框架(jia)的(de)版本，否則不同(tong)項目(mu)組(zu)(zu)完(wan)成的(de)訓練代(dai)碼(ma)有可能不工(gong)作，如果每次為了適應某個項目(mu)組(zu)(zu)的(de)要求去重新部署框架(jia)，工(gong)作量巨大，而(er)且耗時耗力；
二，其中一個項目組(zu)(zu)在使用(yong)集群時，其他項目組(zu)(zu)往(wang)往(wang)需要等待，即使集群的資源(yuan)使用(yong)率較低；
三(san)，服務(wu)器集群中任何(he)一(yi)臺(tai)硬件出現問題，都會影(ying)響整個集群的使用。
因此，分布(bu)式(shi)機器學習集群(qun)共享調度成為(wei)解決之道。分布(bu)式(shi)機器學習集群(qun)共享調度的實現方式(shi)之一(yi)是基于Kubernetes容器的調度，Kubernetes能(neng)(neng)夠(gou)提供應用(yong)部署、維護、擴展機制等功(gong)(gong)能(neng)(neng)，利用(yong)Kubernetes能(neng)(neng)方便地管理(li)跨機器運行容器化的應用(yong)，其主要功(gong)(gong)能(neng)(neng)如下：
1) 使用(yong)Docker對應用(yong)程序包裝(package)、實例化(instantiate)、運行(run)。
2) 以集群(qun)的(de)方式(shi)運行、管理跨(kua)機器(qi)的(de)容器(qi)。
3) 解決Docker跨機(ji)器(qi)容器(qi)之間(jian)的通(tong)訊(xun)問(wen)題(ti)。
4) Kubernetes的(de)自我(wo)修復機制使得容器集群總是(shi)運(yun)行在用戶期望的(de)狀態。
二是(shi)(shi)通(tong)過(guo)(guo)MPI作(zuo)業(ye)調度(du)(du)。MPI是(shi)(shi)高性能(neng)計算(suan)（HPC）應用(yong)中廣泛使用(yong)的(de)編程(cheng)接(jie)口，用(yong)于(yu)并行化大(da)(da)(da)規模問題(ti)的(de)執(zhi)行，在大(da)(da)(da)多數(shu)情況下，需要通(tong)過(guo)(guo)集群(qun)(qun)作(zuo)業(ye)調度(du)(du)管(guan)理(li)(li)軟(ruan)(ruan)件(jian)來啟動和監視在集群(qun)(qun)主(zhu)(zhu)機上執(zhi)行的(de)MPI任務(wu)(wu)。此(ci)方(fang)法的(de)主(zhu)(zhu)要目標是(shi)(shi)使集群(qun)(qun)作(zuo)業(ye)調度(du)(du)管(guan)理(li)(li)軟(ruan)(ruan)件(jian)能(neng)夠跟蹤(zong)和控制組成MPI作(zuo)業(ye)的(de)進程(cheng)。一些集群(qun)(qun)作(zuo)業(ye)調度(du)(du)管(guan)理(li)(li)軟(ruan)(ruan)件(jian)，如(ru)天(tian)(tian)云軟(ruan)(ruan)件(jian)SkyForm OpenLava等(deng)，可以跟蹤(zong)MPI任務(wu)(wu)的(de)CPU、內存(cun)、GPU的(de)使用(yong)。我們(men)把每(mei)個深(shen)度(du)(du)學習的(de)計算(suan)作(zuo)為(wei)MPI作(zuo)業(ye)，通(tong)過(guo)(guo)天(tian)(tian)云軟(ruan)(ruan)件(jian)OpenLava作(zuo)業(ye)調度(du)(du)管(guan)理(li)(li)軟(ruan)(ruan)件(jian)進行集群(qun)(qun)統(tong)一的(de)資(zi)源(yuan)管(guan)理(li)(li)與分配，無論性能(neng)還是(shi)(shi)內存(cun)帶寬，均遠大(da)(da)(da)于(yu)同代的(de)CPU。 同時，GPU的(de)thousands of cores的(de)并行計算(suan)能(neng)力也是(shi)(shi)一大(da)(da)(da)優(you)勢。
這兩種調度方式(shi)的好處是(shi)，能夠分享集(ji)群的資源，實(shi)現多租戶(hu)、多用戶(hu)、不同任務(wu)框架的并行計算，如果(guo)集(ji)群出(chu)現了(le)問題(ti)還可以摒棄作(zuo)業出(chu)現的任務(wu)。
其實整(zheng)個人工智(zhi)能(neng)產(chan)業(ye)鏈包含技術(shu)支撐(cheng)層(ceng)、基(ji)礎(chu)應用層(ceng)、和方案集(ji)成(cheng)層(ceng)，我國人工智(zhi)能(neng)產(chan)業(ye)發展更多集(ji)中在(zai)技術(shu)支撐(cheng)層(ceng)，提供集(ji)群計算、深度學(xue)習框架、CPU、GPU、NPU、路徑規劃等能(neng)力，天云(yun)軟件則是聚焦在(zai)集(ji)群計算方面，并取得了一定突破。
而如(ru)果從人(ren)工(gong)智能(neng)發展的(de)基礎(chu)(chu)來看，算法、數(shu)據、計算平(ping)臺是人(ren)工(gong)智能(neng)爆發的(de)三大基礎(chu)(chu)，只有三者都達到臨界值，人(ren)工(gong)智能(neng)才(cai)能(neng)真正發展起(qi)來。在人(ren)工(gong)智能(neng)方面，天(tian)云軟件聚(ju)焦(jiao)點(dian)是集群和高性能(neng)計算平(ping)臺，支撐深度學習的(de)深入(ru)應用。
“天云軟(ruan)件技術開(kai)放日(ri)”是天云軟(ruan)件對外展(zhan)示(shi)技術實力、分(fen)享技術實踐、交(jiao)流技術熱點的活動，是天云軟(ruan)件與用戶、產業(ye)鏈伙伴(ban)、業(ye)界同仁(ren)充分(fen)溝(gou)通、增進了解、彼此學習(xi)、促(cu)進合作的平臺。
張(zhang)福(fu)波(bo)表示，天云軟件是一家(jia)技術(shu)公(gong)司，希(xi)望通過分享的(de)方式，讓(rang)更(geng)多的(de)技術(shu)人(ren)員以彼此的(de)臂膀(bang)為依托互(hu)相學(xue)習進步，從而也推動整(zheng)個行(xing)業的(de)發展。
