北京2020年10月23日 /美(mei)通(tong)社/ -- 隨(sui)著城(cheng)市化進程加(jia)快，經濟和社會活動(dong)日益頻繁，城(cheng)市交通(tong)在人(ren)、車、路、環境等方面面臨資源(yuan)失(shi)衡、行車難(nan)、停車難(nan)、擁(yong)堵頻發等問題，亟需(xu)城(cheng)市交通(tong)管理者找(zhao)到適合的疏解(jie)方案。

作為智(zhi)慧交通(tong)領域先行者，浪(lang)潮合作伙伴易(yi)華錄以數(shu)據(ju)湖為主體，發展大(da)交通(tong)，致(zhi)力(li)于(yu)為客(ke)戶提供(gong)智(zhi)慧大(da)數(shu)據(ju)解決方案(an)，建(jian)設(she)城市數(shu)字經濟基礎設(she)施(shi)，努力(li)降低全社會長期(qi)保存數(shu)據(ju)的能(neng)耗和成本，構建(jian)數(shu)字孿生城市，實現數(shu)字永(yong)生。

智慧交通系統面臨海量數據快速讀寫挑戰

在智(zhi)慧(hui)交(jiao)通(tong)大數據業(ye)務中，智(zhi)慧(hui)交(jiao)通(tong)系(xi)統對各類違(wei)法(fa)車輛(liang)進行(xing)(xing)實時監控抓拍(pai)，快速智(zhi)能識別各種違(wei)法(fa)行(xing)(xing)為，并第一時間通(tong)知一線(xian)民警(jing)對違(wei)法(fa)車輛(liang)進行(xing)(xing)攔(lan)截以及現場(chang)處罰，能夠有效監督(du)和消除(chu)車輛(liang)違(wei)法(fa)行(xing)(xing)為，凈化交(jiao)通(tong)環境。

在易(yi)華錄(lu)智(zhi)(zhi)慧(hui)(hui)交通(tong)業務中(zhong)(zhong)，廣泛(fan)使(shi)用Redis集(ji)群緩存(cun)配置下(xia)發及中(zhong)(zhong)間結(jie)果數(shu)(shu)據，系統對于(yu)Redis讀寫并發性(xing)、實時性(xing)以及數(shu)(shu)據持久化要(yao)求都較(jiao)高(gao)(gao)。Redis是一個高(gao)(gao)效(xiao)的(de)key-value內存(cun)數(shu)(shu)據庫，基于(yu)其高(gao)(gao)并發下(xia)較(jiao)高(gao)(gao)的(de)數(shu)(shu)據查詢效(xiao)率(lv)，是易(yi)華錄(lu)智(zhi)(zhi)慧(hui)(hui)交通(tong)大數(shu)(shu)據平臺中(zhong)(zhong)不(bu)可缺少的(de)組件。

圖(tu)一為典型的(de)智慧交通業務，系統采集海量(liang)的(de)設備、下級平(ping)臺(tai)及視(shi)頻結構(gou)化產生(sheng)的(de)車輛及人像(xiang)特征數(shu)據(ju)，經ETL清洗(xi)轉換，借助Spark流計算框架，與Redis中緩存的(de)黑白名單數(shu)據(ju)按(an)照空間(jian)、時間(jian)及其它邏輯規則，進行比對產生(sheng)各類(lei)告警數(shu)據(ju)。該業務場(chang)景下面臨的(de)主(zhu)要挑戰為：

• 作為流計算的支撐外部數據源，Redis集群中緩存大量的黑白名單配置數據及中間計算結果，單位時間讀寫并發數較高，該操作需要低延時，其中緩存數據規模在數十億級別，客戶要求讀寫時延在毫秒級；
• Redis中緩存了業務計數等中間計算結果，這些數據通常以分鐘/小時粒度周期性同步至關系型及MPP數據庫中，因此緩存數據需持久化到硬盤中，防止因集群故障、斷電等異常情況，導致數據無法恢復。同時，因為涉及到交管核心業務，當系統異常情況產生后，迫切需要快速恢復集群，并確保異常前后數據一致性，其中數據持久化存儲和性能是一個亟需解決的問題。

智慧交通大數據解決方案實現高吞吐率、低延時、高耐用

浪(lang)潮與易華(hua)錄聯合推出Redis解(jie)決方案，以易華(hua)錄交通(tong)大(da)(da)數(shu)據平(ping)臺為高效數(shu)據處理(li)平(ping)臺，面向城(cheng)市數(shu)據湖、新型智(zhi)(zhi)慧(hui)城(cheng)市業務、政府及企業用戶提供更高效、更低成本的智(zhi)(zhi)慧(hui)交通(tong)大(da)(da)數(shu)據解(jie)決方案。

相較(jiao)于(yu)傳統DRAM方案，新(xin)(xin)方案提(ti)供了行業領先(xian)的高吞吐率、低延時、高服(fu)務質量和超高的耐用性，新(xin)(xin)增(zeng)內(nei)存擴(kuo)展打(da)破服(fu)務器內(nei)存容(rong)量限制而優化，單(dan)機內(nei)存容(rong)量可(ke)以擴(kuo)展1.5TB，較(jiao)之前的單(dan)機內(nei)存容(rong)量大幅提(ti)升200%。

同(tong)時，易華錄還(huan)實施了多種調優方(fang)案。首先在(zai)數據讀取(qu)場景中，通(tong)過采用非一(yi)致內(nei)存(cun)訪問節(jie)點綁定的方(fang)式(shi)（NUMA進(jin)(jin)程(cheng)綁定），避免內(nei)存(cun)在(zai)進(jin)(jin)行數據存(cun)取(qu)時，在(zai)不同(tong)的NUMA節(jie)點間(jian)切換(huan)，以(yi)實現更好(hao)的讀寫性能。

其(qi)次，新設計的(de)Redis服(fu)務獲(huo)得秒級(ji)的(de)故(gu)障恢復(fu)速度(du)，與之前(qian)分(fen)鐘(zhong)級(ji)的(de)恢復(fu)速度(du)相比，提升(sheng)達(da)幾(ji)十倍(bei)之多。而(er)且還能幫助易華錄交通大數據平(ping)臺的(de)TCO 降(jiang)低30%。

測試結果顯示新方案吞吐能力可提升200倍

為了(le)驗(yan)證新(xin)方(fang)案(an)(an)的(de)(de)應用(yong)(yong)優勢，浪(lang)潮(chao)與易華錄共同(tong)圍繞Redis數(shu)據(ju)庫的(de)(de)常規操作(zuo)以及用(yong)(yong)戶最關(guan)心的(de)(de)業務性(xing)能指標(biao)進行(xing)了(le)測試。測試使用(yong)(yong)了(le)benchmark工具，選取SET、GET等10余條Redis數(shu)據(ju)庫常用(yong)(yong)命令，全(quan)面覆蓋(gai)Redis五種數(shu)據(ju)結構，每(mei)個(ge)操作(zuo)執行(xing) 32次并發，共640萬次的(de)(de)性(xing)能測試。測試結果顯示新(xin)方(fang)案(an)(an)在(zai)總吞吐能力和延遲上相較于傳統的(de)(de)DRAM方(fang)案(an)(an)性(xing)能有100~200倍的(de)(de)性(xing)能提升。

該方案能夠(gou)有效支(zhi)撐城(cheng)市數(shu)(shu)據(ju)湖中(zhong)海量數(shu)(shu)據(ju)采集、加工(gong)、治理、建(jian)模各環節對Redis持久化、高效讀寫等共性需求，與易(yi)華錄城(cheng)市大腦、葫蘆APP、交(jiao)通大腦等核(he)心業務存(cun)在廣泛(fan)的契合(he)點，幫助易(yi)華錄解決智慧交(jiao)通大數(shu)(shu)據(ju)平臺系統(tong)中(zhong)面(mian)臨的Redis難題。