北京(jing)2019年7月17日 /美通(tong)社/ -- 十年前，預(yu)言家(jia)提出信息超載的概念。如今，數據(ju)(ju)正超出預(yu)料地(di)呈(cheng)指數型增長(chang)。在今天的廣電大(da)數據(ju)(ju)系統建設領(ling)域，采集所(suo)有用(yong)戶的屬(shu)性(xing)、收視、工(gong)單(dan)、訂購、賬(zhang)單(dan)、支付、設備運行等數據(ju)(ju)可以說(shuo)是一個浩瀚(han)的工(gong)程。
廣電(dian)數據(ju)(ju)由數據(ju)(ju)源經過(guo)統一的(de)(de)數據(ju)(ju)抽(chou)取和轉(zhuan)換平(ping)臺進(jin)行(xing)抽(chou)取、格式轉(zhuan)換、脫敏等操作，由于(yu)匯聚了(le)多個(ge)源的(de)(de)數據(ju)(ju)，通常數據(ju)(ju)量(liang)非常大。
面對龐大(da)(da)的(de)(de)數據體量，以及(ji)數據挖掘與分析的(de)(de)個性(xing)(xing)化(hua)需求，一套(tao)完整(zheng)的(de)(de)數據治理機制以及(ji)具有良好可擴展性(xing)(xing)的(de)(de)大(da)(da)數據平臺成為(wei)廣電大(da)(da)數據系統建(jian)設(she)、構建(jian)以數據為(wei)關(guan)鍵要素(su)的(de)(de)智(zhi)慧廣電新模式(shi)的(de)(de)核心。
曙光廣電大數據應用
最近，曙(shu)光中(zhong)標廣州(zhou)珠江數(shu)碼集(ji)團廣電大(da)數(shu)據運用(yong)項目(mu)并且實施。依托多年的大(da)數(shu)據項目(mu)經驗，在智慧(hui)廣電應(ying)用(yong)上，助力(li)珠江數(shu)碼實現全方位數(shu)據挖掘(jue)與分析(xi)需求。
珠江(jiang)數碼(ma)為華南地區最大規模(mo)(mo)的(de)廣(guang)(guang)播(bo)電視(shi)網(wang)(wang)絡運(yun)營商之一，用戶規模(mo)(mo)約(yue)400萬戶。面對(dui)移(yi)動(dong)互(hu)聯網(wang)(wang)對(dui)傳統(tong)業務(wu)帶(dai)來的(de)挑戰和機(ji)遇，珠江(jiang)數碼(ma)先后完成了4K智能電視(shi)業務(wu)平臺、綜合(he)云平臺和廣(guang)(guang)電大數據系統(tong)的(de)建設。
在(zai)此次項目中，曙(shu)光以一站(zhan)式大(da)(da)數(shu)據(ju)平臺(tai)、全(quan)程可追溯(su)的數(shu)據(ju)采控模式、靈活的大(da)(da)屏展示、以及(ji)與業務(wu)貼合的智能算(suan)法，實現(xian)珠江數(shu)碼廣電(dian)數(shu)據(ju)面向業務(wu)應用的全(quan)方位分析和挖掘。
廣州珠江數(shu)(shu)碼集(ji)團股份有(you)限公司在給曙光的(de)感謝信中特別提(ti)(ti)到(dao)：“曙光研發的(de)XData大(da)(da)數(shu)(shu)據智(zhi)能(neng)(neng)引擎(qing)發揮其在數(shu)(shu)據采集(ji)、治理、融合、分析、可視化等方面的(de)能(neng)(neng)力，實現(xian)公司數(shu)(shu)據整個生(sheng)命(ming)周(zhou)期的(de)全程(cheng)可追溯，實現(xian)收(shou)視數(shu)(shu)據指標的(de)大(da)(da)屏展示，全面提(ti)(ti)升數(shu)(shu)據質量，提(ti)(ti)升數(shu)(shu)據的(de)可用性，提(ti)(ti)供科學決策依據，得(de)到(dao)了領(ling)導高度認可與贊揚(yang)。”
曙光XData大(da)數(shu)(shu)(shu)據(ju)(ju)(ju)智能(neng)引(yin)擎(qing)，目前已入選(xuan)國家《大(da)數(shu)(shu)(shu)據(ju)(ju)(ju)優秀產(chan)品和(he)應用解決(jue)方案(an)案(an)例(li)集(ji)（2019）》。已實現(xian)對數(shu)(shu)(shu)據(ju)(ju)(ju)源進(jin)行統一存儲和(he)檢索，為前端應用系(xi)統提供豐富的(de)ETL類服務(wu)，并支持跨系(xi)統數(shu)(shu)(shu)據(ju)(ju)(ju)的(de)分(fen)析應用。另一方面(mian)，除(chu)了(le)支持支持傳統關系(xi)庫(ku)、文件、FTP等數(shu)(shu)(shu)據(ju)(ju)(ju)源的(de)可(ke)視(shi)接入，還可(ke)實現(xian)數(shu)(shu)(shu)據(ju)(ju)(ju)采集(ji)插件的(de)可(ke)拓展。
本次建設(she)智慧廣電(dian)，曙(shu)光大數據服務工程團(tuan)隊還有兩個方(fang)案技術(shu)架構值得一提。
第一個是數據共享平臺
曙光XData大數據智能引擎是基于微服務(wu)架構的(de)多線程、集群化的(de)數據存儲、數據計算(suan)的(de)平臺工(gong)具。
為了實現多種存儲系統(tong)(tong)的統(tong)(tong)一管理，曙光融(rong)合分布(bu)式文(wen)件系統(tong)(tong)HDFS、數(shu)(shu)據(ju)倉庫Hive、分布(bu)式數(shu)(shu)據(ju)庫Hbase、并行數(shu)(shu)據(ju)庫MppDB等，打(da)造了統(tong)(tong)一接(jie)入、統(tong)(tong)一管理、統(tong)(tong)一權限的融(rong)合存儲層；針對不(bu)同(tong)的計算(suan)(suan)(suan)內容和(he)計算(suan)(suan)(suan)方式，提供內存計算(suan)(suan)(suan)、流式計算(suan)(suan)(suan)、離(li)線計算(suan)(suan)(suan)、圖(tu)計算(suan)(suan)(suan)等常規(gui)大數(shu)(shu)據(ju)計算(suan)(suan)(suan)方式，支持基(ji)于Hadoop生態的主流組件，包括MapReduce/Storm/Spark/Spark Streaming/SparkSQL，搜索(suo)支持Solr和(he)ElasticSearch、數(shu)(shu)據(ju)可(ke)(ke)視化(hua)平臺(tai)等，并且可(ke)(ke)以(yi)在此基(ji)礎上進行擴展(zhan)升級。
第二個是數據智能應用
數(shu)據智能應(ying)用包括收視行為分析、精準營銷推薦、數(shu)據可(ke)視化展示等。
收視行(xing)為分析和互(hu)聯網行(xing)業用戶畫(hua)像的結合，依據當前用戶的收視習(xi)慣和用戶評論、用戶屬(shu)性(xing)、廣告點擊(ji)等信息(xi)，完成基于排行(xing)榜與(yu)用戶瀏(liu)覽歷史的節(jie)目、廣告推薦。
精準營銷主(zhu)要是建立用戶檔(dang)案(an)，為業(ye)務(wu)(wu)部門提供精準化(hua)營銷、用戶挽留、產品推介等市場(chang)服務(wu)(wu)。開發針對每個(ge)用戶的數據(ju)化(hua)視(shi)圖，建立用戶的各項數據(ju)檔(dang)案(an)，將其(qi)標簽化(hua)、積分化(hua)。
數據(ju)可視化展示(shi)(shi)(shi)主(zhu)要包(bao)括大屏交(jiao)互展示(shi)(shi)(shi)、數據(ju)采(cai)集過程追蹤(zong)、報(bao)表展示(shi)(shi)(shi)及數據(ju)目錄(lu)。準確的定位數據(ju)問題(ti)，使數據(ju)發揮更大的價值(zhi)。
依托多年大數據項目經驗
以關鍵技術打通創新節點
曙光大(da)數(shu)據(ju)工程服(fu)務(wu)團隊依靠多年的(de)(de)大(da)數(shu)據(ju)項(xiang)目經驗積累(lei)、雄厚的(de)(de)技術實力，在數(shu)據(ju)采集、綜合治理、智能分析、可(ke)視化服(fu)務(wu)等領(ling)域已經積累(lei)了(le)一整套(tao)成體系的(de)(de)項(xiang)目流(liu)程規范和技術服(fu)務(wu)體系。
依(yi)(yi)托(tuo)強勁算(suan)力，結合與業(ye)務(wu)貼合的智能算(suan)法，依(yi)(yi)托(tuo)多年大數據項目經(jing)驗，曙光在實現廣電(dian)數據面向業(ye)務(wu)應(ying)用的全方位(wei)分析和挖(wa)掘的道路上(shang)繼續(xu)探索，通過軟硬一體化發展(zhan)路徑(jing)，用關鍵技(ji)術打(da)通創(chuang)新節點(dian)，為企業(ye)決策提供(gong)依(yi)(yi)據，加速企業(ye)戰略轉型，促進數字經(jing)濟(ji)的飛速發展(zhan)。
