北(bei)京2017年4月(yue)27日(ri)電 /美通社/ -- 智能互聯時(shi)代(dai)造(zao)就的(de)(de)“數據(ju)洪(hong)流(liu)”,正(zheng)沖擊(ji)著傳統的(de)(de)企業(ye)管理(li)與運(yun)營模式,以(yi)(yi)及(ji)人(ren)類日(ri)常的(de)(de)生(sheng)活(huo)與工(gong)作(zuo)方式。而(er)數據(ju),在這一(yi)變革浪潮中正(zheng)在成為洞察未來發展趨向、加速業(ye)務流(liu)程變革,以(yi)(yi)在日(ri)趨激(ji)烈(lie)的(de)(de)市場競(jing)爭(zheng)環境中獲取競(jing)爭(zheng)優勢(shi)的(de)(de)新資源。
然而,企業用戶傳統的(de)數據分(fen)(fen)析平臺(tai)在(zai)選型、搭建、運維以及(ji)后期拓展(zhan)等(deng)方面(mian)面(mian)臨昂(ang)貴的(de)計(ji)算、存儲和(he)網絡設(she)備,復雜的(de)軟件堆棧等(deng)技術障(zhang)礙(ai)造(zao)(zao)成的(de)嚴峻挑(tiao)戰。對數據資源的(de)有效利(li)用,既(ji)需(xu)要高效、靈活的(de)IT基礎設(she)施保障(zhang),也需(xu)要創新(xin)的(de)服務交付(fu)模(mo)式,而英特爾與金山(shan)云(yun)(yun)在(zai)KMR上的(de)深入(ru)合作,讓云(yun)(yun)計(ji)算和(he)數據分(fen)(fen)析的(de)深入(ru)融(rong)合造(zao)(zao)就數據處理模(mo)式的(de)新(xin)變(bian)革,并在(zai)用戶服務等(deng)領(ling)域提供了(le)一(yi)種(zhong)兼具性(xing)能和(he)成本優(you)勢的(de)新(xin)型解決方案。
“大象”上云分幾步?
自2012年成(cheng)立以(yi)來,憑借領先(xian)的(de)VPC和(he)虛(xu)擬化(hua)技(ji)術(shu),金(jin)山云(yun)成(cheng)為國(guo)內首家提(ti)供(gong)混合(he)云(yun)部署方案(an)的(de)云(yun)服務(wu)(wu)提(ti)供(gong)商。得益于游戲(xi)、視頻、醫(yi)療等(deng)垂(chui)直行業客戶的(de)拓展(zhan)(zhan),其已(yi)經發展(zhan)(zhan)成(cheng)為國(guo)內較大的(de)云(yun)存儲廠商之一,每(mei)天積(ji)累約500TB數(shu)據(ju)(ju)量,而總數(shu)據(ju)(ju)量已(yi)經高達400PB。企(qi)業業務(wu)(wu)運營積(ji)累的(de)大量數(shu)據(ju)(ju),要求(qiu)企(qi)業具備(bei)利用數(shu)據(ju)(ju)驅動(dong)企(qi)業分析、決(jue)策和(he)管理的(de)能(neng)力,在過去(qu)四(si)年多的(de)發展(zhan)(zhan)歷(li)程中,金(jin)山云(yun)基于開放的(de)英特爾架構,正在以(yi)數(shu)據(ju)(ju)分析技(ji)術(shu)和(he)人工智能(neng)賦予(yu)云(yun)計算不同應用場景(jing)、不同發展(zhan)(zhan)階(jie)段的(de)新潛能(neng),以(yi)有效應對企(qi)業用戶的(de)新需求(qiu)。
2016年(nian)1月,金山云推出(chu)了(le)金山云托管Hadoop服務(wu)(Kingsoft MapReduce,KMR),KMR是一個可(ke)伸(shen)縮(suo)的(de)通(tong)用數據計(ji)算和(he)分(fen)(fen)析平臺,它(ta)以Apache Hadoop 和(he)Apache Spark兩大(da)數據計(ji)算框架(jia)為基(ji)礎,通(tong)過自(zi)動調度彈(dan)性(xing)計(ji)算服務(wu)(KEC),幫(bang)助快(kuai)速構(gou)建(jian)分(fen)(fen)布式(shi)數據分(fen)(fen)析系統。這樣一來,用戶可(ke)以一站式(shi)地(di)通(tong)過云計(ji)算,在KMR框架(jia)上便(bian)捷地(di)進(jin)行(xing)計(ji)算和(he)分(fen)(fen)析。
與傳(chuan)統(tong)的(de)Hadoop平臺相比,KMR提供了豐富(fu)的(de)管(guan)理功能(neng)和(he)便捷的(de)程序開(kai)發接口,使(shi)企(qi)業(ye)可以高效(xiao)、自(zi)動化地進(jin)行數據(ju)處理和(he)分析(xi)工(gong)作(zuo),節(jie)省管(guan)理成本和(he)使(shi)用成本。另外,彈性伸縮,靈活計費;快(kuai)速(su)部署,完全托(tuo)管(guan);全面的(de)服(fu)務可用性保障與云服(fu)務產品深度整合的(de)優勢也是這一數據(ju)分析(xi)平臺的(de)技術優勢。
作為國內領(ling)先的(de)(de)(de)電商平臺,擁(yong)有(you)幾(ji)十大(da)類、數(shu)(shu)百萬種產品(pin)的(de)(de)(de)當(dang)當(dang)網(wang)(wang),成為金山(shan)云(yun)(yun)(yun)KMR服(fu)務(wu)(wu)的(de)(de)(de)受(shou)益(yi)者(zhe)之一(yi)。基于對靈活的(de)(de)(de)云(yun)(yun)(yun)計(ji)算數(shu)(shu)據(ju)(ju)分(fen)析洞察力(li)的(de)(de)(de)需(xu)求(qiu),金山(shan)云(yun)(yun)(yun)和當(dang)當(dang)網(wang)(wang)之間通過(guo)專線(xian)將(jiang)本(ben)(ben)地(di)數(shu)(shu)據(ju)(ju)和云(yun)(yun)(yun)端數(shu)(shu)據(ju)(ju)打通,并通過(guo)KMR集(ji)群(qun)在(zai)云(yun)(yun)(yun)上搭建Storm和Kafka實(shi)時數(shu)(shu)據(ju)(ju)分(fen)析集(ji)群(qun),在(zai)業務(wu)(wu)需(xu)求(qiu)變(bian)化時可以動態地(di)調(diao)整計(ji)算資源,有(you)效(xiao)控制IT成本(ben)(ben)。此外,通過(guo)數(shu)(shu)據(ju)(ju)庫(ku)服(fu)務(wu)(wu)和底層基于英特爾強大(da)的(de)(de)(de)芯(xin)片加速(su)技術和存儲(chu)能力(li),妥(tuo)善(shan)保障當(dang)當(dang)網(wang)(wang)的(de)(de)(de)業務(wu)(wu)訪(fang)問(wen)。云(yun)(yun)(yun)計(ji)算結合性能強大(da)的(de)(de)(de)數(shu)(shu)據(ju)(ju)分(fen)析服(fu)務(wu)(wu),不僅(jin)讓當(dang)當(dang)網(wang)(wang)有(you)效(xiao)實(shi)現了本(ben)(ben)地(di)數(shu)(shu)據(ju)(ju)和云(yun)(yun)(yun)上數(shu)(shu)據(ju)(ju)的(de)(de)(de)打通,加速(su)獲(huo)取數(shu)(shu)據(ju)(ju)洞察;更(geng)妥(tuo)善(shan)解決(jue)了雙十一(yi)等促銷節點(dian)導致的(de)(de)(de)陡(dou)增(zeng)的(de)(de)(de)計(ji)算資源需(xu)求(qiu)壓力(li),讓當(dang)當(dang)穩妥(tuo)應(ying)對業務(wu)(wu)增(zeng)長帶(dai)來的(de)(de)(de)技術挑(tiao)戰。
金(jin)山云(yun)技術產品部高(gao)級產品經理楊亮介紹說:“通(tong)(tong)過這(zhe)個項(xiang)目(mu),可以幫(bang)(bang)助當當網在很大(da)的用戶(hu)促銷壓力下,保證IT系統(tong)的穩定(ding)運(yun)(yun)行,同時可以大(da)幅度減(jian)少(shao)運(yun)(yun)維和資源應用成本(ben)。此外,通(tong)(tong)過金(jin)山云(yun)的服務,可以幫(bang)(bang)助用戶(hu)優化業務靈活性,調整資源配置。”
英特爾賦予KMR芯動力,助力釋放云端數據價值
強大的(de)(de)(de)數(shu)(shu)據分析能(neng)力(li)(li)根植于(yu)高性(xing)能(neng)、靈活、敏捷的(de)(de)(de)IT基礎(chu)設施(shi),開放的(de)(de)(de)英(ying)特爾(er)架(jia)(jia)構以高效的(de)(de)(de)分布(bu)式計算(suan)拓展能(neng)力(li)(li),成(cheng)為金(jin)山云在云計算(suan)時代底層硬件(jian)架(jia)(jia)構的(de)(de)(de)首選。從傳統的(de)(de)(de)IT架(jia)(jia)構到云上(shang)的(de)(de)(de)大數(shu)(shu)據,隨(sui)著計算(suan)、存儲和網絡性(xing)能(neng)的(de)(de)(de)不斷提升,計算(suan)集(ji)群和存儲集(ji)群可以獨立(li)構建并通(tong)過高速互聯網相互連(lian)接(jie),通(tong)過對象存儲、虛擬化、容器(qi)等技術(shu)實現多(duo)租戶的(de)(de)(de)安全性(xing)和靈活性(xing)的(de)(de)(de)結(jie)合。由此,硬件(jian)的(de)(de)(de)革命使Big Data加上(shang)Cloud成(cheng)為可能(neng),成(cheng)為Big Data As a Service。
在(zai)KMR實(shi)(shi)際的(de)(de)研發、運營和服(fu)務交付過程(cheng)中,英(ying)特爾至(zhi)強(qiang)(qiang)E5 v4處(chu)理器(qi),以及(ji)快速、穩定、高效的(de)(de)SSD硬(ying)盤,為產品構建和用(yong)戶服(fu)務提供(gong)了堅實(shi)(shi)的(de)(de)基礎;同時,英(ying)特爾在(zai)開源項目(mu)和軟件(jian)上進(jin)行優化,類似于(yu)BigDL等框架,對(dui)優化Spark機器(qi)學習的(de)(de)性能(neng)有(you)巨大幫助。英(ying)特爾不僅(jin)為金(jin)山云提供(gong)了性能(neng)強(qiang)(qiang)勁的(de)(de)硬(ying)件(jian)平臺,也積(ji)極與金(jin)山云一起對(dui)數據收集、存儲、處(chu)理、展現的(de)(de)每一個模(mo)塊進(jin)行優化,尋求進(jin)一步的(de)(de)合作(zuo)。
同時(shi),隨著人工(gong)智能需求與(yu)應用的(de)爆發,為了(le)幫(bang)助(zhu)行業用戶(hu)在數(shu)據時(shi)代(dai)輕松應對(dui)創新多變的(de)業務(wu)需求,金山(shan)云與(yu)英(ying)特爾在深(shen)度學(xue)(xue)習領(ling)域開展深(shen)入合作,搭建(jian)了(le)KDL高(gao)性(xing)能異構計(ji)算平臺(tai)。通(tong)過統一資源調度,金山(shan)云讓客戶(hu)可以很容易地訪問云存儲和(he)高(gao)性(xing)能異構計(ji)算集群,并且在上(shang)層整(zheng)合了(le)大數(shu)據和(he)深(shen)度學(xue)(xue)習運行,從而(er)為客戶(hu)提供(gong)一站式深(shen)度學(xue)(xue)習平臺(tai),幫(bang)客戶(hu)處理(li)好(hao)預處理(li)、訓練、評(ping)估、預測四個階段的(de)研(yan)發任務(wu),幫(bang)助(zhu)企(qi)業能夠更加快(kuai)速(su)的(de)迭代(dai)。
“大數據(ju)提(ti)供(gong)的是(shi)并行計(ji)算(suan)和分布式存儲,云(yun)提(ti)供(gong)的是(shi)動(dong)(dong)態配(pei)置。我們利(li)用機器(qi)(qi)學(xue)習(xi)的大腦(nao),大數據(ju)的輪子來算(suan),云(yun)計(ji)算(suan)提(ti)供(gong)了一個動(dong)(dong)態分配(pei)引擎,三(san)者(zhe)(zhe)結合到一起實(shi)際上(shang)就實(shi)現了云(yun)上(shang)的大數據(ju)機器(qi)(qi)學(xue)習(xi)。”英特爾(er)技(ji)術專家解釋了云(yun)、數據(ju)分析(xi)和深度學(xue)習(xi)三(san)者(zhe)(zhe)緊密的聯系和融合價值。
未來(lai),英(ying)特爾與(yu)金(jin)山(shan)(shan)云(yun)(yun)還(huan)將繼續開拓創新、延伸合(he)(he)作(zuo)(zuo),積極(ji)發(fa)揮金(jin)山(shan)(shan)云(yun)(yun)豐富的(de)云(yun)(yun)服務產品功能與(yu)英(ying)特爾強大(da)且穩定的(de)平臺優勢,共同(tong)構(gou)建多層(ceng)(ceng)(ceng)次的(de)人(ren)工智(zhi)能解(jie)(jie)決方案。“金(jin)山(shan)(shan)云(yun)(yun)接下來(lai)會響應國家的(de)號召,與(yu)廣(guang)大(da)科研院所(suo),還(huan)有英(ying)特爾這樣的(de)科技(ji)界(jie)的(de)合(he)(he)作(zuo)(zuo)伙伴一起,構(gou)建我們金(jin)山(shan)(shan)云(yun)(yun)多層(ceng)(ceng)(ceng)次的(de)人(ren)工智(zhi)能解(jie)(jie)決方案,為我們整個行業(ye)提(ti)供(gong)基礎的(de)視(shi)覺、聽覺、自然語言、VR/AR等(deng)等(deng)技(ji)術能力(li),再到我們更上層(ceng)(ceng)(ceng)的(de)行業(ye)解(jie)(jie)決方案。”金(jin)山(shan)(shan)云(yun)(yun)大(da)數據和AI技(ji)術總(zong)監張東進說,“金(jin)山(shan)(shan)云(yun)(yun)將在醫(yi)療、金(jin)融(rong)、交通、物聯網等(deng)等(deng)重大(da)行業(ye)里面進行深入研究,為我們廣(guang)大(da)的(de)合(he)(he)作(zuo)(zuo)伙伴提(ti)供(gong)行業(ye)解(jie)(jie)決方案,全面助力(li)數字(zi)社會的(de)加速發(fa)展。”