杭州2020年6月9日 /美通社/ -- Nebula Graph V1.0 于6月9日正式(shi)發布(bu)(bu),它(ta)(ta)采用 shared-nothing 分布(bu)(bu)式(shi)架構,擅長處(chu)理(li)千億(yi)節點萬億(yi)條邊的(de)(de)(de)(de)海量關聯數(shu)據(ju)集(ji),從而更(geng)(geng)好地服務企(qi)業級應用。Nebula Graph 的(de)(de)(de)(de)設計初衷(zhong)是為了解(jie)決企(qi)業應用中(zhong)海量數(shu)據(ju)的(de)(de)(de)(de)實時(shi)處(chu)理(li)問(wen)題,相(xiang)比其他解(jie)決方案(an),它(ta)(ta)可以更(geng)(geng)快處(chu)理(li)更(geng)(geng)多(duo)的(de)(de)(de)(de)數(shu)據(ju)量,這使(shi)得 Nebula Graph 成(cheng)為業界領先的(de)(de)(de)(de)高(gao)性能圖數(shu)據(ju)庫。
Nebula Graph 是(shi)一個開源的圖數據(ju)庫(ku),由杭州歐若數網科技(ji)有限公(gong)司(si)(下文簡稱:歐若數網)自主(zhu)研發維護。歐若數網研發人員來自阿里巴巴、Facebook、華為(wei)、IBM 等大廠。
Nebula Graph 優勢
Nebula Graph 分布式架構能處理的(de)數據量遠大于其他(ta)圖數據庫。
此外,高可(ke)用的分布式架構使(shi)它(ta)在企業(ye)級應用中(zhong)具(ju)有在線(xian)水平擴容(rong)、數據恢復(fu)特(te)性。
除了(le)分(fen)布式架(jia)構,Nebula Graph 獨創(chuang)圖(tu)查(cha)詢語言 -- nGQL。這(zhe)是一種(zhong)為圖(tu)結(jie)構設計(ji)的(de)(de)類 SQL 查(cha)詢語言,有 SQL 使用背景的(de)(de)工程師可快速上手 nGQL。
同時,Nebula Graph 開發(fa)了一款(kuan)圖(tu)數(shu)據可(ke)視化(hua)工具(ju) -- Nebula Graph Studio,具(ju)備(bei)數(shu)據導入和圖(tu)探索功能,可(ke)對數(shu)據進(jin)行(xing)實(shi)時交互(hu)分析,幫助用戶理(li)解圖(tu)數(shu)據結構。
圖數據庫市場和應用
在過(guo)去的(de)2年時間(jian)里,近(jin)1.25億美元注入(ru) Nebula Graph 所在的(de)圖數據(ju)庫(ku)行業,資本市場對圖數據(ju)庫(ku)行業的(de)支持可(ke)見一(yi)斑。
和(he) RDBMS 不(bu)同,圖數(shu)據(ju)(ju)(ju)庫(ku)(ku)不(bu)僅(jin)存儲數(shu)據(ju)(ju)(ju)本身(shen),也存儲了數(shu)據(ju)(ju)(ju)之間的(de)深層關(guan)系。因此,圖數(shu)據(ju)(ju)(ju)庫(ku)(ku)可高效(xiao)地管理萬億級別(bie)關(guan)聯數(shu)據(ju)(ju)(ju),挖掘數(shu)據(ju)(ju)(ju)之間的(de)深層關(guan)系,而這(zhe)恰(qia)恰(qia)是傳統的(de)關(guan)系型數(shu)據(ju)(ju)(ju)庫(ku)(ku)(RDBMS)難以解決(jue)的(de)問題。
對(dui) CIO 而(er)言(yan),Nebula Graph 是(shi)挖掘現存數據關(guan)聯關(guan)系潛在(zai)價(jia)值(zhi)的(de)絕佳(jia)選(xuan)擇。對(dui)希望低成本、高效(xiao)地處理關(guan)聯關(guan)系的(de)架(jia)構師而(er)言(yan),Nebula Graph 也是(shi)一(yi)個理想(xiang)的(de)選(xuan)擇方案。此外,數據科學家也可(ke)用 Nebula Graph 深(shen)挖數據背后的(de)關(guan)聯價(jia)值(zhi)。
現(xian)(xian)代商業社會產生了海(hai)量數(shu)據(ju),不同(tong)的(de)數(shu)據(ju)儲存在不同(tong)的(de)地方,容易形成(cheng)信(xin)息(xi)孤(gu)島(dao)。利(li)用(yong) Nebula Graph,企業可(ke)(ke)以(yi)打通(tong)信(xin)息(xi)孤(gu)島(dao),挖掘數(shu)據(ju)中有意義的(de)關聯信(xin)息(xi)加(jia)以(yi)利(li)用(yong)。例(li)如,在金(jin)融(rong)領域,可(ke)(ke)以(yi)利(li)用(yong) Nebula Graph 發現(xian)(xian)潛(qian)(qian)在風(feng)險,預防團伙作(zuo)案的(de)金(jin)融(rong)欺詐事件;政府有關部門(men)也(ye)可(ke)(ke)用(yong)于監(jian)控(kong)線上活動、機(ji)構(gou)、賬號等,第(di)一時間(jian)發現(xian)(xian)潛(qian)(qian)在威脅、應對可(ke)(ke)疑情況(kuang)。
除了(le)上(shang)述場(chang)(chang)景,還有(you)許(xu)多 Nebula Graph 適用場(chang)(chang)景。通過 Nebula Graph,社(she)交媒(mei)體(ti)網可將(jiang)用戶進行點對點連接,更(geng)(geng)好地(di)服務于他們;在物聯(lian)網(IoT)領域,只(zhi)有(you)設備間的關(guan)聯(lian)有(you)意義,才(cai)能帶來更(geng)(geng)大的商業(ye)價值(zhi);線上(shang)零售、醫療保健領域、人(ren)工智能(AI)領域,Nebula Graph 也(ye)可助力處理、挖掘關(guan)聯(lian)信息。
如何使用 Nebula Graph
目前 Nebula Graph V1.0 已發布,可基于 Apache 2.0 許可證(zheng)使用(yong) Nebula Graph。近期 Nebula Graph 將會提供云(yun)上服務。
用戶寄語
“之前(qian)京(jing)東(dong)(dong)數科的(de)(de)(de)圖(tu)服務(wu)是(shi)由 JanusGraph 提供的(de)(de)(de),我們(men)碰到的(de)(de)(de)主要問題是(shi)寫入和查詢速度很慢,且社區(qu)不活躍(yue) bug fix 不及時,導致業(ye)務(wu)使(shi)用體驗不理(li)想。正(zheng)在尋找新的(de)(de)(de)解決方案時,遇到 Nebula Graph 剛啟動,所以京(jing)東(dong)(dong)數科圖(tu)技術團隊立刻就(jiu)參與了 Nebula Graph 的(de)(de)(de)開源社區(qu),并(bing)一起參與和合(he)作開發了很多功能。借助 Nebula Graph 圖(tu)數據(ju)(ju)庫的(de)(de)(de)高(gao)性(xing)能分(fen)布式存儲和查詢能力,從(cong)京(jing)東(dong)(dong)數科海量數據(ju)(ju)集中(zhong)挖掘重要的(de)(de)(de)關(guan)聯關(guan)系,很好的(de)(de)(de)助力內部和集團業(ye)務(wu)的(de)(de)(de)開展。目前(qian),我們(men)正(zheng)在將更(geng)多的(de)(de)(de)圖(tu)項目從(cong)傳統方案遷(qian)移到 NebulaGraph。”
-- 京東數科圖技術團隊(dui)負責(ze)人錢勇
“在(zai)(zai)接觸 Nebula Graph 之(zhi)前,我們(men)(men)(men)的(de)(de)(de)圖(tu)譜(pu)(pu)項(xiang)目已經試用過多(duo)個(ge)知(zhi)名(ming)的(de)(de)(de)開源(yuan)圖(tu)數據(ju)庫,包括 Neo4j、JanusGraph、DGraph 這些在(zai)(zai) DB-Engine 上(shang)排名(ming)非常靠(kao)前的(de)(de)(de)產品,但在(zai)(zai)規模和性(xing)(xing)能(neng)上(shang)沒(mei)法滿足我們(men)(men)(men)的(de)(de)(de)要求,導致項(xiang)目一直沒(mei)有(you)上(shang)線。當遇(yu)到(dao) Nebula Graph 后,我們(men)(men)(men)發(fa)現 Nebula Graph 的(de)(de)(de)架構設計(ji)簡潔(jie)可擴展,且(qie)基(ji)(ji)(ji)于 C++ 開發(fa),性(xing)(xing)能(neng)特(te)別(bie)強(qiang)勁,具備非常強(qiang)的(de)(de)(de)互聯網分布式(shi)基(ji)(ji)(ji)因;Nebula的(de)(de)(de)同學們(men)(men)(men)也(ye)非常給(gei)力(li)靠(kao)譜(pu)(pu),大家一起解決(jue)了(le)N多(duo)個(ge)技術難題(ti),成(cheng)功把(ba)性(xing)(xing)能(neng)提升到(dao)遠(yuan)超最初規劃,并(bing)且(qie)基(ji)(ji)(ji)于公(gong)司已有(you)基(ji)(ji)(ji)礎設施,搭建了(le)一套圖(tu)數據(ju)庫平(ping)臺,方便業(ye)務接入。現在(zai)(zai),我們(men)(men)(men)正在(zai)(zai)通力(li)合(he)作,把(ba)更多(duo)的(de)(de)(de)知(zhi)識圖(tu)譜(pu)(pu)項(xiang)目遷移到(dao) Nebula Graph 上(shang)面來。”
-- 美團(tuan)點評AI平臺技(ji)術專家趙登昌
基(ji)于圖的(de)(de)風控和推(tui)薦(jian)方案相比傳統(tong)方案有很(hen)大的(de)(de)技(ji)術優勢,通(tong)過圖技(ji)術賦予的(de)(de)新能(neng)力,我(wo)們在(zai)業(ye)務上發現了(le)很(hen)多有意思的(de)(de)增長點。但由于業(ye)務上對于低時延、高并發的(de)(de)要求,我(wo)們一直(zhi)在(zai)尋找高性能(neng)的(de)(de)開(kai)源(yuan)圖數據庫方案。在(zai)通(tong)過詳盡的(de)(de)比較 Nebula Graph、Neo4j、DGraph、JanusGraph 幾(ji)種開(kai)源(yuan)方案后,我(wo)們最終選用了(le) Nebula Graph,是基(ji)于這樣幾(ji)個原因:
-- 有贊數據基(ji)礎平臺(tai)技(ji)術(shu)專(zhuan)家陳琦
“基于(yu)企業間關(guan)系的企業圖(tu)(tu)譜(pu)(pu)、供應(ying)鏈關(guan)系、企業知(zhi)識圖(tu)(tu)譜(pu)(pu)這(zhe)些(xie)應(ying)用都(dou)是非常(chang)典(dian)型(xing)的知(zhi)識圖(tu)(tu)譜(pu)(pu)應(ying)用,也(ye)非常(chang)適合(he)使用圖(tu)(tu)數(shu)據(ju)庫來(lai)作為基礎設施支(zhi)撐業務(wu)(wu)發展。最初階(jie)段,我(wo)們使用了某(mou)知(zhi)名單機圖(tu)(tu)數(shu)據(ju)庫的方(fang)案,很(hen)好(hao)的支(zhi)持了彼時業務(wu)(wu)的快(kuai)速擴(kuo)張;但隨著(zhu)互聯網式(shi)的數(shu)據(ju)量(liang)和(he)訪(fang)問規(gui)模快(kuai)速增加,這(zhe)樣(yang)的方(fang)案在(zai)(zai)擴(kuo)展性(xing)和(he)時效性(xing)上的問題越來(lai)越突出。在(zai)(zai)得知(zhi) Nebula Graph 去(qu)年(nian)5月份開(kai)源(yuan)后(hou),我(wo)們就一直(zhi)持續關(guan)注其動態,其分(fen)布式(shi)架構很(hen)適合(he)我(wo)們的業務(wu)(wu)需(xu)求,并且迭代速度相當(dang)(dang)快(kuai)速。在(zai)(zai)經過(guo)幾個(ge)月的試用和(he)調優后(hou),Nebula Graph 已(yi)經在(zai)(zai)相當(dang)(dang)多(duo)內部業務(wu)(wu)上替(ti)代了原(yuan)方(fang)案;未(wei)來(lai),隨著(zhu)對于(yu) OpenCypher 的兼容(rong),我(wo)們計劃將更(geng)多(duo)業務(wu)(wu)遷移到 Nebula Graph上。”
-- 蘇州朗(lang)動網(wang)絡技術有限公司(企查查)知識圖(tu)譜算法專家(jia)鄭文裕
“I have a graph,a red graph. 小紅(hong)(hong)(hong)書作(zuo)為一個在(zai)(zai)線社區,有著很多(duo)(duo)(duo)的(de)(de)(de)(de)圖(tu)(tu)存在(zai)(zai):用戶和筆(bi)(bi)記的(de)(de)(de)(de)交(jiao)互關(guan)系,用戶和用戶的(de)(de)(de)(de)關(guan)注關(guan)系,電商交(jiao)易關(guan)系等(deng)等(deng)。關(guan)系型(xing)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)庫(ku)往(wang)往(wang)不能(neng)有效支撐小紅(hong)(hong)(hong)書這(zhe)樣(yang)一個量級的(de)(de)(de)(de)圖(tu)(tu)有效存儲(chu)和實(shi)時(shi)查詢計算。筆(bi)(bi)者(zhe)接觸過不少圖(tu)(tu)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)庫(ku),一些寄(ji)希望于(yu)摩爾定(ding)律(lv)的(de)(de)(de)(de)發(fa)展(zhan),其他在(zai)(zai)性能(neng)上(shang)達不到(dao)我們(men)的(de)(de)(de)(de)要求。我們(men)選(xuan)用Nebula圖(tu)(tu)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)庫(ku),首先(xian)來自對(dui)團(tuan)隊的(de)(de)(de)(de)信任,創始(shi)人和核(he)心成員在(zai)(zai)Facebook和螞蟻金服,阿(a)里等(deng)大(da)公(gong)司做過圖(tu)(tu)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)庫(ku),支撐了(le)在(zai)(zai)線業務(wu)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)流下的(de)(de)(de)(de)推薦、搜索(suo)和風(feng)控等(deng)多(duo)(duo)(duo)個場(chang)景(jing),深刻(ke)理解數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)和業務(wu)形態以及之上(shang)的(de)(de)(de)(de)算法場(chang)景(jing)和需(xu)求,是最熟悉中國一線互聯網公(gong)司圖(tu)(tu)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)庫(ku)需(xu)求的(de)(de)(de)(de)團(tuan)隊。其次(ci)諸多(duo)(duo)(duo)核(he)心架構(gou)設計保(bao)證了(le)對(dui)于(yu)超大(da)規模(mo)數(shu)(shu)據(ju)(ju)(ju)(ju)(ju)的(de)(de)(de)(de)支持和集群規模(mo)的(de)(de)(de)(de)可(ke)擴展(zhan)性。值(zhi)得一提的(de)(de)(de)(de)是,對(dui)于(yu)圖(tu)(tu)上(shang)經(jing)典的(de)(de)(de)(de)熱點問題,Nebula最早應小紅(hong)(hong)(hong)書需(xu)求實(shi)現了(le)蓄(xu)水池抽樣(yang)算法。我們(men)也利用Nebula這(zhe)個風(feng)控底層武器來保(bao)護小紅(hong)(hong)(hong)書社區這(zhe)個Red Graph,同時(shi)也在(zai)(zai)賦能(neng)給我們(men)的(de)(de)(de)(de)其它(ta)業務(wu)算法線。”
-- 小紅書反作弊風控策略算法負責(ze)人吹雪