北京2022年2月10日 /美通(tong)社/ -- 十年前，亞馬遜云科技正式推(tui)出Amazon DynamoDB，一種快速、靈活的 NoSQL 數據庫服(fu)務，可在任意(yi)規模(mo)環境中提供一致的個位數毫秒響應時(shi)間。
亞馬(ma)遜(xun)首席(xi)技(ji)術官Werner Vogels曾表示：“我們(men)非常(chang)高(gao)興推出Amazon DynamoDB，一種(zhong)快(kuai)速、可靠且具(ju)有成(cheng)本效益的(de)(de) NoSQL 數據庫(ku)服務(wu)(wu)，專為互聯網規(gui)模的(de)(de)應(ying)用程序而(er)設(she)計(ji)。” Amazon DynamoDB代表了亞馬(ma)遜(xun)在大型(xing)非關系型(xing)數據庫(ku)和云服務(wu)(wu)技(ji)術領域(yu)15年持續投入的(de)(de)成(cheng)果。
Vogels表示(shi)：“我們(men)早在2007年就發表了有關亞馬遜(xun)Dynamo技術細節的論文，并以(yi)此奠定了首批(pi)非關系(xi)型(xing)數(shu)(shu)據庫(ku)(ku)的雛(chu)形。最(zui)初的Dynamo基于(yu)一(yi)套強大的分布(bu)式(shi)系(xi)統原則設計，并生成了一(yi)個可隨意擴(kuo)展和(he)高(gao)(gao)可靠的數(shu)(shu)據庫(ku)(ku)系(xi)統。Amazon DynamoDB繼(ji)續基于(yu)這些(xie)原則構建(jian)，也是(shi)亞馬遜(xun)多年運(yun)行大規模非關系(xi)型(xing)數(shu)(shu)據庫(ku)(ku)和(he)云服(fu)務（如Amazon SimpleDB和(he)Amazon S3）的經驗積累。很高(gao)(gao)興(xing)看到我們(men)的探索和(he)經驗轉化為易于(yu)使用的托管服(fu)務，并提供給我們(men)的客戶(hu)。”
亞(ya)馬(ma)遜云科技數據(ju)庫、數據(ju)分(fen)析、機器學習副總裁Swami Sivasubramanian和Vogels同(tong)為2007年Dynamo論文的(de)合(he)著作(zuo)者(zhe)之一。Swami是Amazon DynamoDB開發的(de)主(zhu)要(yao)貢獻者(zhe)，那時(shi)他是一名(ming)從事分(fen)布(bu)式系統(tong)技術設計、實施(shi)和分(fen)析相關工作(zuo)的(de)亞(ya)馬(ma)遜研(yan)究工程師(shi)。
Amazon DynamoDB發布十年之際(ji)，Swami表示：“我們(men)正在經歷數(shu)據(ju)(ju)和機器學習的(de)(de)‘文藝復興’時代。如今(jin)企(qi)業(ye)可以(yi)將數(shu)據(ju)(ju)存(cun)儲在這些數(shu)據(ju)(ju)庫中(zhong)，并快速開(kai)始在 Amazon S3 中(zhong)構建自己(ji)的(de)(de)數(shu)據(ju)(ju)湖，然(ran)后就可以(yi)立刻開(kai)展數(shu)據(ju)(ju)分析(xi)，并在幾(ji)周甚(shen)至幾(ji)天時間內(nei)就能通(tong)過Amazon SageMaker實現(xian)人工智能賦(fu)能，這真(zhen)的(de)(de)非常(chang)了(le)不起。我非常(chang)期待現(xian)在能有機會幫助(zhu)客戶(hu)更快地從數(shu)據(ju)(ju)中(zhong)獲得洞察。客戶(hu)真(zhen)的(de)(de)希(xi)望將數(shu)據(ju)(ju)‘物以(yi)致(zhi)用(yong)’，實現(xian)數(shu)據(ju)(ju)驅動的(de)(de)決策。越(yue)來(lai)越(yue)多的(de)(de)CIO和企(qi)業(ye)意識到這將成為數(shu)據(ju)(ju)使用(yong)者的(de)(de)‘生存(cun)法則’，那(nei)些有能力將數(shu)據(ju)(ju)應用(yong)于實際(ji)工作的(de)(de)人將披荊斬棘(ji)，無往(wang)不利。”
以下Swami與我們分享了Amazon DynamoDB的起源、前身以及未來。
關于Dynamo的起源
Swami：我們在(zai)2007年發表了(le)Dynamo論文，探討這個話題(ti)之(zhi)前，我們需要先追(zhui)溯到2004、2005 年。那時我正在(zai)攻(gong)讀博(bo)士學位，（并(bing)(bing)隨后于2006年從阿姆斯特丹自由(you)大(da)學獲得(de)計算機科學博(bo)士學位），也在(zai)考慮我將在(zai)哪里(li)工作。看(kan)到亞馬(ma)遜(xun)正在(zai)快速(su)成長，并(bing)(bing)不(bu)斷突破(po)常規，打破(po)界限(xian)，我選擇了(le)以亞馬(ma)遜(xun)研究工程師實習生的身份(fen)加入亞馬(ma)遜(xun)。
那時亞馬(ma)遜(xun)(xun)云科技(ji)還不存在，加入亞馬(ma)遜(xun)(xun)后(hou)，我很快意識到作(zuo)為(wei)一家電子(zi)商(shang)務公(gong)司(si)，亞馬(ma)遜(xun)(xun)實際上也是一家科技(ji)公(gong)司(si)。為(wei)了(le)支持自身電子(zi)商(shang)務業務相關的各類運營場景和工(gong)作(zuo)負載，亞馬(ma)遜(xun)(xun)涌(yong)現出了(le)大量(liang)創新技(ji)術、專利和發明，這種情形在全(quan)球任何一家公(gong)司(si)都難得一見。
在(zai)亞馬遜擔任工程師(shi)時，我(wo)和團(tuan)隊曾在(zai)假(jia)期(qi)流量(liang)高峰期(qi)間經歷過一次(ci)嚴重的擴展失敗。這是由數(shu)(shu)據庫(ku)事務死鎖(suo)而(er)導致的，其(qi)背(bei)后正是亞馬遜當時使(shi)用的商業關系型(xing)數(shu)(shu)據庫(ku)。故(gu)障發(fa)生(sheng)后，我(wo)們(men)(men)一群(qun)工程師(shi)們(men)(men)一起編寫了(le)一份(fen)錯誤更正文檔(dang)，對(dui)發(fa)生(sheng)了(le)什么(me)、學到了(le)什么(me)、如何解(jie)決問題以及如何避免問題再次(ci)發(fa)生(sheng)等進(jin)行了(le)詳細說明。
我當時問了一個問題(ti)：“為什么(me)我們要為這(zhe)些工作負載使用關系型(xing)數據(ju)庫(ku)？本質(zhi)上，它(ta)們并不需要 SQL 級別(bie)的復雜性和事務保證。”
這(zhe)(zhe)導致我們(men)開始重新思考(kao)(kao)如(ru)何(he)設(she)計底層數據(ju)存(cun)儲(chu)。當(dang)時，還沒有可(ke)(ke)伸縮的(de)(de)非關系(xi)(xi)型數據(ju)庫(ku)，這(zhe)(zhe)是我們(men)開始著(zhu)手(shou)搭建(jian)Amazon Dynamo原型并(bing)撰寫論文(wen)的(de)(de)原因(yin)。事實上，Amazon Dynamo 并(bing)不是工(gong)程師們(men)當(dang)時唯一(yi)思考(kao)(kao)和研究(jiu)的(de)(de)架構。我們(men)意識(shi)到我們(men)還需(xu)要一(yi)個可(ke)(ke)擴展的(de)(de)存(cun)儲(chu)系(xi)(xi)統(tong)，Amazon S3 就誕生于(yu)(yu)此(ci)。同時，還需(xu)要一(yi)個更易于(yu)(yu)管理(li)的(de)(de)關系(xi)(xi)型數據(ju)庫(ku)，能(neng)夠自動進行復制、故障切換和備份/恢復，這(zhe)(zhe)也是 Amazon RDS 的(de)(de)由來(lai)。
最(zui)(zui)初撰寫(xie)Dynamo論(lun)文時，我(wo)(wo)(wo)們(men)就(jiu)定了(le)一(yi)條規(gui)則，即“在(zai)開(kai)發原始設計時不(bu)對外(wai)發布”，而是先將Dynamo運行于支(zhi)持多(duo)個Amazon.com服務的實(shi)際(ji)(ji)生產環境(jing)中。這樣，Dynamo論(lun)文就(jiu)會(hui)是一(yi)種端到端的可(ke)用方(fang)案，并有實(shi)際(ji)(ji)應用經驗。Werner和我(wo)(wo)(wo)對此感(gan)受非常強烈，因為我(wo)(wo)(wo)們(men)不(bu)希望僅(jin)僅(jin)撰寫(xie)一(yi)篇學術(shu)論(lun)文而已。10年后，我(wo)(wo)(wo)們(men)非常榮幸的是Dynamo論(lun)文還獲得了(le)ACM的時間考驗獎，這是由ACM主辦的The SIGOPS Hall of Fame Award，從2016年開(kai)始評選(xuan)過去十年科技(ji)圈最(zui)(zui)具(ju)影響力(li)的論(lun)文名(ming)人堂(tang)。
構建Amazon DynamoDB的初衷及其過去十年的演進
Swami：Amazon DynamoDB背(bei)后(hou)的想(xiang)法(fa)來自于與SmugMug、Flickr等客戶首席(xi)執行官(guan)的對話(hua)和(he)討(tao)論。他們(men)是最早帶(dai)有互聯(lian)網屬(shu)性的公司，而在(zai)當(dang)時類似(si)這樣的互聯(lian)網公司正在(zai)快(kuai)速走向(xiang)市場。他們(men)的典型特征(zheng)包括(kuo)在(zai)線(xian)用(yong)(yong)戶數(shu)量呈爆炸式增長、數(shu)據模(mo)式不固定(ding)，追(zhui)求快(kuai)速交(jiao)付和(he)輕運維(wei)等。傳(chuan)統關系型數(shu)據庫將所(suo)有數(shu)據存儲在(zai)一個盒子中(zhong)，無法(fa)高(gao)效(xiao)地擴展(zhan)，這迫使用(yong)(yong)戶需要(yao)對其數(shu)據庫重(zhong)新(xin)分片，然后(hou)還需要(yao)管(guan)理(li)所(suo)有的分區和(he)重(zhong)新(xin)分區等，這讓用(yong)(yong)戶面臨巨大的運維(wei)挑(tiao)戰(zhan)和(he)壓力。
這對(dui)我(wo)(wo)們來說并不(bu)(bu)新(xin)鮮，構(gou)建(jian)原始(shi)Amazon Dynamo的初(chu)衷正是應(ying)對(dui)這些(xie)挑戰。當時，Amazon Dynamo還(huan)不(bu)(bu)是一項服(fu)(fu)務(wu)，而是一個由亞馬遜工程師構(gou)建(jian)的軟件系(xi)(xi)統。在一次客戶(hu)咨詢會議上(shang)，時任Flickr 首席執行官(guan)Don MacAskill表示：“你(ni)們已(yi)經啟用了(le) Amazon Dynamo，驗證了(le)可擴展非關系(xi)(xi)型數據庫系(xi)(xi)統的可行性，為什么不(bu)(bu)能把(ba)它作為外部服(fu)(fu)務(wu)提(ti)供給我(wo)(wo)們使用？”
當時，所有亞馬遜云(yun)科技(ji)的(de)相關管(guan)理人員都在場，實際(ji)上，這也(ye)是(shi)我們(men)問自己的(de)一(yi)(yi)個問題。Flickr并不是(shi)唯一(yi)(yi)需要它(ta)的(de)客(ke)戶，越(yue)來(lai)越(yue)多的(de)客(ke)戶想要可擴(kuo)展的(de)數(shu)據庫，無(wu)需處理分區(qu)和重新分區(qu)等復雜(za)的(de)運維工作，同時他們(men)還需要極高的(de)可用(yong)性。于是(shi)，我們(men)開(kai)始認真思考構建一(yi)(yi)個不受SQL API限制的(de)、可擴(kuo)展的(de)云(yun)數(shu)據庫。
Amazon DynamoDB與原(yuan)始(shi)Amazon Dynamo不盡相同，它實際(ji)上是通過幾個(ge)(ge)原(yuan)始(shi)Amazon Dynamo組件搭(da)建的一(yi)項易于使用(yong)的云服務。客戶不再需(xu)(xu)要(yao)配置集群，只需(xu)(xu)創建一(yi)個(ge)(ge)表存儲數據，即可輕松實現無(wu)縫(feng)縮放(fang)。管理員不必執(zhi)行任何操作(zuo)(zuo)，甚至無(wu)需(xu)(xu)安裝單個(ge)(ge)庫來操作(zuo)(zuo)數據庫。
Amazon Dynamo到Amazon DynamoDB的(de)演變(bian)非(fei)常(chang)重要，亞馬遜真正以前所未(wei)有的(de)方(fang)式擁抱云，獲得它的(de)彈性(xing)和可擴展(zhan)性(xing)。
我(wo)們(men)在2012年1月(yue)18日正式發布Amazon DynamoDB，該服務一經推出(chu)就(jiu)大受歡迎，Flickr等公司率先使用該服務。Amazon DynamoDB強大的彈性(xing)、個位數(shu)毫秒的延遲性(xing)能等深受客戶青睞。我(wo)們(men)進(jin)行了(le)大量創新，從(cong)協(xie)議層(ceng)一直到SSD存儲(chu)的底層(ceng)存儲(chu)層(ceng)等各項功能。
這(zhe)里不(bu)得不(bu)提的(de)(de)(de)一個有趣的(de)(de)(de)用例，也(ye)是最早將(jiang)DynamoDB投(tou)入生產(chan)的(de)(de)(de)客(ke)戶之一，他們做的(de)(de)(de)是超(chao)級碗(wan)（Super Bowl：全(quan)國橄欖球聯盟決(jue)賽——全(quan)美直播的(de)(de)(de)體育界春晚）廣告(gao)投(tou)放。 因(yin)為(wei)Amazon DynamoDB具(ju)備強大的(de)(de)(de)彈性，可(ke)以無(wu)縫地擴展到每(mei)秒(miao)100,000次(ci)寫入，并在(zai)(zai)(zai)超(chao)級碗(wan)活動結(jie)束后縮減，這(zhe)樣客(ke)戶就不(bu)會擔心產(chan)生額(e)外(wai)的(de)(de)(de)成本。當(dang)年，這(zhe)在(zai)(zai)(zai)技(ji)術領(ling)域(yu)是個大事。現在(zai)(zai)(zai)大家(jia)習以為(wei)常的(de)(de)(de)橫向擴展與彈性，對(dui)當(dang)時的(de)(de)(de)數據庫而言，那是無(wu)法想象(xiang)的(de)(de)(de)。
那是一(yi)個大膽的(de)(de)設想。Amazon DynamoDB專為云而(er)構建的(de)(de)架構讓所有(you)橫向擴展用例成為可能。現在，Amazon DynamoDB正為多個高(gao)流量(liang)Amazon站點和(he)系統提(ti)供支持(chi)，包(bao)括(kuo) Alexa、亞馬(ma)遜全球電(dian)商網(wang)站和(he)所有(you)亞馬(ma)遜運營中心。2021年(nian)，在亞馬(ma)遜長(chang)達(da)66小時的(de)(de)Prime會員日大促期間，上述(shu)站點和(he)系統進行了(le)數萬(wan)億(yi)次API調用，Amazon DynamoDB以低至(zhi)個位數毫秒延遲的(de)(de)高(gao)性(xing)能表現，無感支持(chi)峰值達(da)每秒8,920萬(wan)個請求，同時確(que)保(bao)系統的(de)(de)高(gao)可用性(xing)。
Amazon DynamoDB自2012年問(wen)世(shi)以來，我們為其增加(jia)了大量創新功能，不僅涉及底層(ceng)可用(yong)性、持久性、安全性和規模等(deng)特性，還包括易(yi)用(yong)性等(deng)。
Amazon DynamoDB不(bu)止步于(yu)鍵值存儲，還支持基于(yu)哈希的分(fen)區和(he)基于(yu)范圍的分(fen)區，并且增(zeng)加了對二級(ji)索引(yin)的支持，支持更復(fu)雜的查(cha)詢功能，同時(shi)不(bu)影響規模或可用性。
現在(zai)，Amazon Kinesis Data Streams也適用于Amazon DynamoDB，捕獲可擴展的(de)流(liu)式數(shu)(shu)據(ju)。我(wo)認為(wei)任何數(shu)(shu)據(ju)庫都不應該是孤島，更不能(neng)是死胡同。它應該支持生(sheng)成(cheng)變化的(de)數(shu)(shu)據(ju)流(liu)，然后將(jiang)這些數(shu)(shu)據(ju)流(liu)連接(jie)到分析應用程序(xu)或其他數(shu)(shu)據(ju)存儲。
同時，我(wo)們也針對備份和(he)恢復(fu)等功(gong)能全面創新(xin)。對于(yu)像Amazon DynamoDB 這樣具有數(shu)百萬個(ge)分區的大型數(shu)據庫系(xi)統(tong)而言，備份和(he)恢復(fu)并非易事，我(wo)們致力于(yu)通過創新(xin)讓(rang)客戶獲得更好(hao)的體驗。
我(wo)們還為Amazon DynamoDB添加了創(chuang)建(jian)全(quan)局表(biao)的(de)功能(neng)，以便客戶(hu)可(ke)在輕松實現(xian)數(shu)據庫負載全(quan)球覆蓋(gai)的(de)同時，獲得近乎本地運行的(de)讀寫性能(neng)。此外，Amazon DynamoDB還擴(kuo)展了事(shi)務(wu)處(chu)理能(neng)力(li)。所有這些創(chuang)新都致(zhi)力(li)于不斷提升Amazon DynamoDB的(de)可(ke)用性和可(ke)擴(kuo)展性。
我們同時致力于(yu)為客(ke)(ke)戶(hu)(hu)提(ti)供更(geng)高的(de)(de)(de)(de)成(cheng)本(ben)效益。客(ke)(ke)戶(hu)(hu)通(tong)常(chang)需要(yao)長(chang)期存儲(chu)數(shu)據，雖然這(zhe)(zhe)些(xie)舊(jiu)(jiu)數(shu)據可能很少(shao)被訪(fang)問，但它必須(xu)保持高度可用(yong)，以便不時之(zhi)需。例(li)如(ru)，社交媒體用(yong)戶(hu)(hu)很少(shao)訪(fang)問舊(jiu)(jiu)的(de)(de)(de)(de)內容和圖片，但一旦有(you)這(zhe)(zhe)類訪(fang)問請求(qiu)，需要(yao)確(que)保可以立(li)即為用(yong)戶(hu)(hu)提(ti)供這(zhe)(zhe)些(xie)內容。這(zhe)(zhe)種不經常(chang)訪(fang)問的(de)(de)(de)(de)數(shu)據可能會給客(ke)(ke)戶(hu)(hu)帶來(lai)高昂的(de)(de)(de)(de)存儲(chu)費(fei)用(yong)，而且這(zhe)(zhe)類數(shu)據的(de)(de)(de)(de)數(shu)量還在不斷增長(chang)。過(guo)去，為了優化成(cheng)本(ben)，客(ke)(ke)戶(hu)(hu)會通(tong)過(guo)編寫(xie)代碼(ma)的(de)(de)(de)(de)方式，將舊(jiu)(jiu)的(de)(de)(de)(de)、訪(fang)問頻率較低的(de)(de)(de)(de)數(shu)據從Amazon DynamoDB 移動(dong)到存儲(chu)成(cheng)本(ben)較低的(de)(de)(de)(de)如(ru)Amazon S3中(zhong)。
在(zai)2021 re:Invent全球大會上，我們推出了Amazon DynamoDB Standard-Infrequent Access表類(lei)，一種(zhong)新的經(jing)濟高效的表類(lei)，用于(yu)存(cun)儲不經(jing)常訪問的數(shu)據，同(tong)時(shi)保(bao)持Amazon DynamoDB的高可用性和(he)性能。
不忘初心，我們始終將DynamoDB的(de)(de)最初愿景作為(wei)指引，持續創(chuang)新，為(wei)客戶提供更易于查詢的(de)(de)用例，支(zhi)持進行復(fu)(fu)雜全局事務復(fu)(fu)制等，不斷擴(kuo)展能力范圍，同時持續優化管理成本。
展望Amazon DynamoDB的未來十年
Swami：十年前(qian)，當我們推出Amazon DynamoDB 時，客戶才剛(gang)剛(gang)開始(shi)對(dui)云本身(shen)有(you)了更好的(de)理解，它的(de)好處是什么，可以做什么。
如今(jin)，就客(ke)戶構建(jian)IT應(ying)用(yong)程序而言，云已經成為的新(xin)常(chang)態，規(gui)模也是新(xin)常(chang)態，每(mei)個(ge)應(ying)用(yong)程序都需要基于不(bu)確定(ding)性構建(jian)。我們(men)將(jiang)繼續(xu)代(dai)表客(ke)戶進行創(chuang)新(xin)，Amazon DynamoDB本身也在(zai)這個(ge)持續(xu)變(bian)革的旅程中。我們(men)將(jiang)繼續(xu)朝著端(duan)到(dao)端(duan)的現(xian)代(dai)化數據戰略邁進。正如之前提(ti)到(dao)的，數據庫不(bu)應(ying)該(gai)是孤島。
客戶(hu)將不(bu)再只想在數據(ju)庫中存(cun)儲和查(cha)詢(xun)數據(ju)，他們(men)(men)需(xu)要分(fen)析(xi)這(zhe)些(xie)數據(ju)來創(chuang)造價(jia)值(zhi)，無論是(shi)通過創(chuang)建更好的(de)個性化(hua)推薦引(yin)擎，還是(shi)使用機(ji)器學習運行預(yu)測(ce)分(fen)析(xi)的(de)預(yu)測(ce)系統(tong)。將數據(ju)流點(dian)對點(dian)無縫(feng)連接，并(bing)繼續(xu)讓Amazon DynamoDB更安全(quan)、高可用，性能更強且易于使用，這(zhe)些(xie)都(dou)將是(shi)我(wo)們(men)(men)永無止(zhi)境的(de)追求。
