北京2015年12月22日(ri)(ri)電 /美(mei)通社/ -- 企業級基(ji)礎云服務商青云QingCloud( )日(ri)(ri)前(qian)宣布(bu),基(ji)于Hadoop的(de)大(da)數據集(ji)(ji)群(qun)服務現已正式推出(chu)。該服務包(bao)括三大(da)核心(xin)組件(jian),即(ji)HDFS分(fen)布(bu)式文(wen)件(jian)系(xi)統、YARN任務調(diao)度和集(ji)(ji)群(qun)資源管理系(xi)統,以及MapReduce并行計算系(xi)統。通過QingCloud Hadoop集(ji)(ji)群(qun)服務,用戶(hu)能夠在(zai)2-3分(fen)鐘內創(chuang)建一個Hadoop集(ji)(ji)群(qun),并且(qie)可以進行橫向(xiang)和縱(zong)向(xiang)的(de)在(zai)線(xian)伸縮,極大(da)地(di)降(jiang)低了Hadoop平臺的(de)技術門檻。
Hadoop是一個針對海量大數據進行存儲和(he)處理的(de)(de)(de)(de)(de)分布(bu)(bu)式開源平臺(tai),在(zai)大數據領域的(de)(de)(de)(de)(de)應(ying)用(yong)極為(wei)廣泛。它使用(yong)簡潔的(de)(de)(de)(de)(de)MapReduce編程(cheng)模(mo)型分布(bu)(bu)式處理跨(kua)集群(qun)的(de)(de)(de)(de)(de)大型數據集,集群(qun)規(gui)模(mo)可以擴展到幾千甚至上萬(wan)。QingCloud Hadoop集群(qun)服務采用(yong)Master/Slave架構,由(you)三種節(jie)(jie)點(dian)類(lei)型構成,即(ji)主節(jie)(jie)點(dian)(YARN Resource Manager和(he)HDFS Name Node)、從節(jie)(jie)點(dian)(YARN Node Manager和(he)HDFS Data Node),以及客戶(hu)端節(jie)(jie)點(dian)(Hadoop Client Node)。用(yong)戶(hu)在(zai)客戶(hu)端節(jie)(jie)點(dian)發起MapReduce任務,通過與HDFS和(he)YARN集群(qun)中各節(jie)(jie)點(dian)的(de)(de)(de)(de)(de)交互存取文(wen)件、執行MapReduce任務,最終獲取結果。
早在2015年8月,青(qing)云QingCloud就已推出(chu)基于(yu)Spark的(de)大(da)數(shu)據(ju)集群(qun)服務,此(ci)次Hadoop集群(qun)服務的(de)上線(xian)是對(dui)QingCloud大(da)數(shu)據(ju)基礎平臺的(de)有(you)(you)力(li)補充。Hadoop和Spark各有(you)(you)千秋,Hadoop適用于(yu)更(geng)大(da)規模(mo)的(de)離線(xian)數(shu)據(ju)處(chu)理(li),且對(dui)系(xi)統故(gu)障具備天(tian)然的(de)抵抗力(li);Spark更(geng)適合做快速(su)的(de)實時數(shu)據(ju)分(fen)析。因此(ci),用戶可(ke)以(yi)根據(ju)應用場景(jing)的(de)不(bu)同,選擇靈(ling)活的(de)大(da)數(shu)據(ju)解決方案。
具體而言,青云QingCloud Hadoop集群服務具有以下特(te)性:
青云QingCloud CTO甘泉(quan)(Reno Gan)表(biao)示,Hadoop集(ji)群服務(wu)(wu)的(de)推(tui)出(chu)標志著QingCloud大(da)數據基(ji)礎平(ping)(ping)臺(tai)的(de)進一步完善,結(jie)合(he)已經推(tui)出(chu)的(de)Spark、ZooKeeper、消(xiao)息隊列(Kafka)、Redis、Memcached、MongoDB等服務(wu)(wu),QingCloud的(de)大(da)數據平(ping)(ping)臺(tai)服務(wu)(wu)已經能夠越來(lai)越靈活(huo)地滿足用(yong)戶的(de)各(ge)種需求,實現用(yong)戶數據價(jia)值的(de)較大(da)化。