北京2024年12月(yue)17日(ri) /美通社/ -- 亞馬遜云(yun)(yun)科技在2024 re:Invent全球大(da)會上(shang)，宣(xuan)布推(tui)出新功(gong)能(neng)，使Amazon S3成為首個完(wan)全托管的(de)支(zhi)持Apache Iceberg云(yun)(yun)上(shang)對象存儲，進(jin)一(yi)步提(ti)升了數(shu)據分(fen)(fen)析速度(du)，并提(ti)供(gong)存儲和管理任何規模(mo)表格數(shu)據的(de)極簡(jian)(jian)單方式。新功(gong)能(neng)還(huan)包括(kuo)自(zi)動生成可查(cha)詢的(de)元數(shu)據，簡(jian)(jian)化數(shu)據發現與理解(jie)，助力(li)客(ke)戶充分(fen)(fen)挖掘Amazon S3中的(de)數(shu)據價值。
亞馬遜云科技存儲部門副總裁兼杰出工程師Andy Warfield表示："Amazon S3作(zuo)為(wei)領先的對(dui)(dui)象(xiang)存儲，存儲了超過400萬(wan)(wan)億個對(dui)(dui)象(xiang)，成(cheng)為(wei)數(shu)百萬(wan)(wan)客戶(hu)(hu)的選擇。我們(men)致力(li)于不斷創新，以(yi)前所未(wei)有(you)的規模消(xiao)除(chu)處理數(shu)據(ju)(ju)的復(fu)雜(za)(za)性。隨著表格數(shu)據(ju)(ju)的快速增(zeng)長，眾多客戶(hu)(hu)希望(wang)實現跨表查詢并提(ti)升(sheng)查詢性能(neng)，更好地(di)理解(jie)和(he)(he)組織(zhi)大量(liang)數(shu)據(ju)(ju)，以(yi)便輕松找到他們(men)所需要的信息。Amazon S3 Tables和(he)(he)Amazon S3 Metadata消(xiao)除(chu)了在對(dui)(dui)象(xiang)上組織(zhi)和(he)(he)操作(zuo)表格及元數(shu)據(ju)(ju)存儲的復(fu)雜(za)(za)性，使客戶(hu)(hu)能(neng)夠專注于數(shu)據(ju)(ju)構(gou)建。"
Amazon S3 Tables和Amazon S3 Metadata現(xian)已與Apache Iceberg表兼容，客戶可以使(shi)用(yong)亞馬遜(xun)云(yun)科技分析服務以及(ji)開源工(gong)具(ju)，包括Amazon Athena、Amazon QuickSight和Apache Spark，輕松查詢(xun)他們(men)的(de)數據(ju)。
Amazon S3 Table：以簡便快捷的方式執行Amazon S3中的Apache Iceberg表分析
如今，許(xu)多(duo)客(ke)戶(hu)都以表格(ge)數(shu)(shu)據(ju)(ju)(ju)來(lai)組(zu)織他(ta)們用(yong)(yong)于(yu)分析(xi)的(de)(de)數(shu)(shu)據(ju)(ju)(ju)，這些數(shu)(shu)據(ju)(ju)(ju)通常存(cun)儲在Apache Parquet 中(zhong)，這是一(yi)種針對數(shu)(shu)據(ju)(ju)(ju)查詢進(jin)行(xing)(xing)優化的(de)(de)文件(jian)(jian)格(ge)式。Parquet已成(cheng)為Amazon S3中(zhong)增(zeng)速最(zui)快的(de)(de)數(shu)(shu)據(ju)(ju)(ju)類型(xing)之一(yi)。客(ke)戶(hu)越來(lai)越多(duo)地(di)希(xi)望能夠查詢這些不斷增(zeng)長的(de)(de)表格(ge)數(shu)(shu)據(ju)(ju)(ju)集，他(ta)們通常會使(shi)用(yong)(yong)開放表格(ge)式（open table formats，OTF），這是一(yi)種以表格(ge)存(cun)儲數(shu)(shu)據(ju)(ju)(ju)的(de)(de)開源標(biao)準，有助于(yu)更(geng)有效地(di)管(guan)(guan)理(li)、更(geng)新和(he)(he)跟蹤大(da)量數(shu)(shu)據(ju)(ju)(ju)的(de)(de)變化。Iceberg管(guan)(guan)理(li)Parquet文件(jian)(jian)，已成(cheng)為最(zui)流(liu)行(xing)(xing)的(de)(de)OTF。客(ke)戶(hu)使(shi)用(yong)(yong)Iceberg處理(li)包含(han)PB乃至EB級數(shu)(shu)據(ju)(ju)(ju)的(de)(de)數(shu)(shu)十億文件(jian)(jian)。但隨著客(ke)戶(hu)規模的(de)(de)擴(kuo)大(da)，客(ke)戶(hu)管(guan)(guan)理(li)Iceberg極具挑戰，往(wang)往(wang)需要(yao)專業(ye)的(de)(de)團隊來(lai)構建和(he)(he)維護系統(tong)，進(jin)行(xing)(xing)表維護、數(shu)(shu)據(ju)(ju)(ju)壓縮以及管(guan)(guan)理(li)訪問控制。這些外部系統(tong)不僅(jin)成(cheng)本(ben)高昂和(he)(he)復雜，同時還需要(yao)專業(ye)的(de)(de)團隊來(lai)維護，占(zhan)用(yong)(yong)了企業(ye)諸多(duo)寶貴(gui)資源。
Amazon S3 Tables專為(wei)管(guan)理(li)數據(ju)(ju)湖中(zhong)的(de)(de)(de)Apache Iceberg表(biao)構建。Amazon S3 Tables專門針對(dui)分析工作負(fu)載進行(xing)優化(hua)，與通(tong)用Amazon S3存(cun)儲桶相比，提供了高達3倍的(de)(de)(de)查詢性能(neng)(neng)和(he)10倍的(de)(de)(de)每秒事務處理(li)量（TPS）。Amazon S3 Tables能(neng)(neng)夠自動(dong)管(guan)理(li)表(biao)維(wei)護任務，包(bao)括為(wei)更好的(de)(de)(de)查詢性能(neng)(neng)而(er)進行(xing)的(de)(de)(de)壓縮，以(yi)及(ji)快(kuai)照管(guan)理(li)，隨著客(ke)(ke)戶(hu)數據(ju)(ju)湖的(de)(de)(de)不斷擴展和(he)演進，實現對(dui)查詢性能(neng)(neng)和(he)存(cun)儲成(cheng)本進行(xing)的(de)(de)(de)持續優化(hua)。客(ke)(ke)戶(hu)僅需創(chuang)建一(yi)個(ge)表(biao)存(cun)儲桶，即可使用S3 Tables優化(hua)存(cun)儲和(he)查詢完(wan)全(quan)托管(guan)的(de)(de)(de)Iceberg表(biao)中(zhong)的(de)(de)(de)數據(ju)(ju)。借助Amazon S3 Tables，客(ke)(ke)戶(hu)可受益于(yu)Iceberg的(de)(de)(de)諸多功能(neng)(neng)，如行(xing)級事務處理(li)、通(tong)過時間旅(lv)行(xing)功能(neng)(neng)查詢快(kuai)照以(yi)及(ji)模式演進等。此外，Amazon S3 Tables還提供了表(biao)級訪問控制，讓客(ke)(ke)戶(hu)精(jing)準能(neng)(neng)夠定義數據(ju)(ju)訪問權限。
Genesys是全球領先的(de)(de)AI驅動(dong)體(ti)(ti)驗(yan)編排服(fu)務商，正計劃使用Amazon S3構建(jian)數據湖。借助Amazon S3 Tables對(dui)(dui)托管(guan)Iceberg的(de)(de)支(zhi)持(chi)(chi)，Genesys希望為其多元化的(de)(de)數據分析需求構建(jian)一個(ge)材(cai)料(liao)化視圖層。Amazon S3 Tables內置對(dui)(dui)Iceberg表的(de)(de)支(zhi)持(chi)(chi)將(jiang)(jiang)極大簡(jian)化復雜的(de)(de)數據工作流程(cheng)，通(tong)過自(zi)動(dong)執(zhi)行(xing)關鍵維護任務，如表壓(ya)縮、快照管(guan)理以及未(wei)(wei)引用文件的(de)(de)清理等(deng)。Genesys期待能(neng)從兼(jian)容(rong)Iceberg的(de)(de)分析工具(ju)中(zhong)獲得性能(neng)提升和(he)廣泛支(zhi)持(chi)(chi)，這些工具(ju)可直接從Amazon S3中(zhong)讀寫Iceberg表。Amazon S3 Tables將(jiang)(jiang)成為Genesys未(wei)(wei)來(lai)數據戰(zhan)略的(de)(de)基石(shi)，幫助Genesys提供更(geng)快、更(geng)靈活(huo)、更(geng)可靠的(de)(de)數據洞察，以支(zhi)持(chi)(chi)其AI驅動(dong)的(de)(de)客戶和(he)員工體(ti)(ti)驗(yan)解(jie)決(jue)方(fang)案(an)。
Amazon S3元數據：更輕松、快捷地探索和理解Amazon S3中的數據
隨著越(yue)來(lai)越(yue)多(duo)的(de)客戶將Amazon S3作為其中央數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)存(cun)儲庫(ku)，數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)量(liang)與數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)種(zhong)類(lei)呈(cheng)指數(shu)(shu)(shu)(shu)(shu)級增長(chang)。元(yuan)數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)作為理解和(he)組(zu)織(zhi)海(hai)量(liang)數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)的(de)一種(zhong)方式(shi)變得(de)越(yue)來(lai)越(yue)重要(yao)，以便客戶能夠找(zhao)到(dao)他們(men)所(suo)需的(de)確切對(dui)象。為有效(xiao)應對(dui)這一挑戰，許(xu)多(duo)客戶不(bu)得(de)不(bu)構(gou)建并(bing)維護(hu)復雜的(de)元(yuan)數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)獲取與存(cun)儲系統(tong)，來(lai)深化他們(men)對(dui)數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)的(de)認知。但這些(xie)元(yuan)數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)系統(tong)不(bu)但成本高昂、耗時，而且資源密集(ji)，通(tong)常(chang)需要(yao)數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)工程(cheng)師在元(yuan)數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)流經處理管道時，手動(dong)跟蹤和(he)更新元(yuan)數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)；同時，還要(yao)求數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)分析師手動(dong)遍歷海(hai)量(liang)的(de)對(dui)象存(cun)儲，以找(zhao)到(dao)用于分析和(he)AI/ML數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)處理工作流所(suo)需的(de)特定數(shu)(shu)(shu)(shu)(shu)據(ju)(ju)(ju)。
Amazon S3 Metadata能夠(gou)近乎實(shi)(shi)時(shi)(shi)地自動(dong)生(sheng)成(cheng)可(ke)查(cha)(cha)詢(xun)的(de)(de)(de)(de)對(dui)象元(yuan)(yuan)數據(ju)(ju)(ju)(ju)，從(cong)而加速數據(ju)(ju)(ju)(ju)發現并提升數據(ju)(ju)(ju)(ju)理解能力，幫助客(ke)戶(hu)(hu)(hu)消除(chu)構建和維護(hu)復雜(za)元(yuan)(yuan)數據(ju)(ju)(ju)(ju)系統的(de)(de)(de)(de)負擔。借助Amazon S3 Metadata，客(ke)戶(hu)(hu)(hu)可(ke)以(yi)(yi)(yi)查(cha)(cha)詢(xun)、發現并使用(yong)數據(ju)(ju)(ju)(ju)，以(yi)(yi)(yi)支持業務分(fen)析、實(shi)(shi)時(shi)(shi)推理應(ying)用(yong)等。Amazon S3 Metadata能夠(gou)自動(dong)生(sheng)成(cheng)對(dui)象元(yuan)(yuan)數據(ju)(ju)(ju)(ju)，包括系統定(ding)義的(de)(de)(de)(de)詳(xiang)情，如(ru)(ru)對(dui)象的(de)(de)(de)(de)大小(xiao)和來源，并可(ke)通過(guo)(guo)新的(de)(de)(de)(de)Amazon S3 Tables進行查(cha)(cha)詢(xun)。隨著對(dui)象的(de)(de)(de)(de)增加或(huo)刪除(chu)，Amazon S3 Metadata會實(shi)(shi)時(shi)(shi)更新Amazon S3 Tables中(zhong)的(de)(de)(de)(de)對(dui)象元(yuan)(yuan)數據(ju)(ju)(ju)(ju)，確(que)保客(ke)戶(hu)(hu)(hu)獲得(de)最新的(de)(de)(de)(de)數據(ju)(ju)(ju)(ju)視(shi)圖。客(ke)戶(hu)(hu)(hu)還可(ke)以(yi)(yi)(yi)使用(yong)對(dui)象標簽添加自定(ding)義元(yuan)(yuan)數據(ju)(ju)(ju)(ju)，為對(dui)象注釋特定(ding)的(de)(de)(de)(de)業務信息，如(ru)(ru)產品SKU、交易ID、內(nei)容評級或(huo)客(ke)戶(hu)(hu)(hu)詳(xiang)細信息。客(ke)戶(hu)(hu)(hu)還可(ke)以(yi)(yi)(yi)通過(guo)(guo)簡單的(de)(de)(de)(de)SQL查(cha)(cha)詢(xun)輕松檢索元(yuan)(yuan)數據(ju)(ju)(ju)(ju)，快速查(cha)(cha)找和準備數據(ju)(ju)(ju)(ju)，以(yi)(yi)(yi)支持業務分(fen)析、實(shi)(shi)時(shi)(shi)推理應(ying)用(yong)、基(ji)礎模型微(wei)調、檢索增強生(sheng)成(cheng)（RAG）、數據(ju)(ju)(ju)(ju)倉(cang)庫與分(fen)析工作(zuo)流集成(cheng)，以(yi)(yi)(yi)及執(zhi)行有針對(dui)性的(de)(de)(de)(de)存儲優(you)化任務等。
各種規模的(de)(de)(de)企業都將(jiang)(jiang)受(shou)益于(yu)(yu)Amazon S3 Metadata的(de)(de)(de)數據(ju)發現(xian)和理解。領先的(de)(de)(de)生(sheng)物技術(shu)公(gong)司羅(luo)氏（Roche），計劃借助Amazon S3 Metadata加速其(qi)未來生(sheng)成(cheng)式AI計劃。隨著羅(luo)氏對先進大(da)型語言模型（LLM）應(ying)用的(de)(de)(de)開發，如復雜的(de)(de)(de)內(nei)部聊(liao)天機器人，羅(luo)氏預計其(qi)用于(yu)(yu)檢索增(zeng)強(qiang)生(sheng)成(cheng)（RAG）的(de)(de)(de)非結構(gou)化(hua)(hua)數據(ju)量將(jiang)(jiang)面臨成(cheng)倍(bei)增(zeng)長。Amazon S3 Metadata將(jiang)(jiang)簡化(hua)(hua)可(ke)擴展元(yuan)(yuan)數據(ju)系統(tong)的(de)(de)(de)構(gou)建，自動為(wei)新數據(ju)的(de)(de)(de)攝入生(sheng)成(cheng)并更(geng)新元(yuan)(yuan)數據(ju)。Roche期望(wang)通(tong)過(guo)定(ding)制的(de)(de)(de)Lambda函數提取復雜的(de)(de)(de)、特定(ding)于(yu)(yu)業務的(de)(de)(de)元(yuan)(yuan)數據(ju)，并將(jiang)(jiang)其(qi)與(yu)Amazon S3 Metadata無縫(feng)集(ji)成(cheng)到綜合Amazon Glue目錄中。這將(jiang)(jiang)讓企業更(geng)有(you)效率，并快速識別可(ke)為(wei)前沿(yan)AI應(ying)用提供支持(chi)的(de)(de)(de)相關數據(ju)集(ji)，讓羅(luo)氏聚焦于(yu)(yu)個性(xing)化(hua)(hua)醫療領域(yu)的(de)(de)(de)突破(po)性(xing)創(chuang)新。
Cambridge Mobile Telematics (CMT) 是(shi)全球最大的(de)遠程(cheng)信息處理服(fu)務(wu)提供商(shang)。該(gai)公司從(cong)設備(bei)收集傳(chuan)感器數(shu)(shu)據(ju)，并使用上下文數(shu)(shu)據(ju)對其進(jin)行增強，從(cong)而創建(jian)車輛與駕駛員(yuan)行為統一的(de)視圖，供汽(qi)(qi)車保險公司、汽(qi)(qi)車制造商(shang)、商(shang)業移動公司以及公共部門用于支持風險評(ping)估、安全、理賠和(he)駕駛員(yuan)改(gai)進(jin)計劃。CMT存儲(chu)并分析來(lai)自全球數(shu)(shu)百萬物(wu)聯網設備(bei)的(de)多(duo)PB級(ji)數(shu)(shu)據(ju)。隨著公司規模(mo)的(de)擴大，為提出新見解和(he)開發新模(mo)型而定(ding)位特定(ding)數(shu)(shu)據(ju)變得越來(lai)越有挑戰性。借助Amazon S3 Metadata（包括(kuo)系(xi)統元數(shu)(shu)據(ju)和(he)自定(ding)義元數(shu)(shu)據(ju)），CMT能(neng)夠查詢PB級(ji)元數(shu)(shu)據(ju)，使查找相關數(shu)(shu)據(ju)變得簡單且(qie)經濟高(gao)效。
Amazon S3 Tables現已(yi)(yi)正式可(ke)用，Amazon S3 Metadata現推(tui)出預覽版。Amazon S3 Tables與Amazon Glue Data Catalog集成(cheng)現已(yi)(yi)預覽可(ke)用，客戶可(ke)使用亞馬遜云(yun)科技的(de)分析(xi)服務(wu)（如 Amazon Athena、Amazon Redshift、Amazon EMR 和 Amazon QuickSight）對包(bao)括Amazon S3 Metadata Tables在內的(de)數(shu)據進行(xing)查詢和可(ke)視化操(cao)作(zuo)。
欲獲取更多(duo)信息，請訪(fang)問(wen)：
