北京2023年10月18日 /美通社/ -- 近日,亞馬遜云科技宣布Amazon DataZone正式可用。Amazon DataZone讓客戶能夠跨組織邊界發(fā)現(xiàn)、訪問、共享和治理大規(guī)模數(shù)據(jù),并減少企業(yè)內(nèi)部成員訪問數(shù)據(jù)和使用分析工具時繁重的工作量。通過Amazon DataZone,數(shù)據(jù)工程師、科學(xué)家和分析師等數(shù)據(jù)使用者可以通過統(tǒng)一的數(shù)據(jù)分析門戶,在亞馬遜云科技賬戶之間共享和訪問數(shù)據(jù),實現(xiàn)跨部門、跨組織地使用數(shù)據(jù)及開展數(shù)據(jù)協(xié)作。此外,數(shù)據(jù)所有者和數(shù)據(jù)管理者可以通過在用戶界面中使用預(yù)定義的審批工作流來平衡數(shù)據(jù)訪問治理,以及通過向數(shù)據(jù)添加業(yè)務(wù)上下文而簡化數(shù)據(jù)發(fā)現(xiàn)。
數(shù)據(jù)管理和治理的常見問題:
- 數(shù)據(jù)發(fā)現(xiàn),特別是跨賬戶及區(qū)域分布的數(shù)據(jù):企業(yè)所擁有的PB級數(shù)據(jù)往往分散在數(shù)十甚至數(shù)千個數(shù)據(jù)源中,為發(fā)現(xiàn)可用于分析的數(shù)據(jù)帶來極大挑戰(zhàn)。
- 數(shù)據(jù)訪問:不同企業(yè)采用不同的數(shù)據(jù)管理方式,且通常需要手動批準(zhǔn),這導(dǎo)致數(shù)據(jù)訪問控制變得繁瑣耗時,而且很難及時同步更新,這讓分析師常常無法及時獲取所需數(shù)據(jù)。
- 工具使用:每個工具都以不同的方式管理數(shù)據(jù)訪問,每個用戶在治理數(shù)據(jù)時使用的工具可能各不相同。
- 協(xié)作:分析師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師通常在端到端的分析過程中處于不同的階段,但沒有一種簡單的方式可以讓他們選擇不同的工具來協(xié)作處理同一個經(jīng)過治理的數(shù)據(jù)。
- 數(shù)據(jù)治理:數(shù)據(jù)治理的構(gòu)建通常隱藏在各個工具中,并由不同的團隊以不同方式進行管理,這導(dǎo)致企業(yè)無法跟蹤誰正在訪問什么數(shù)據(jù)以及為什么訪問。
Amazon DataZone的三個核心優(yōu)勢
Amazon DataZone允許客戶跨組織邊界大規(guī)模發(fā)現(xiàn)、共享和治理數(shù)據(jù)。
- 管理跨組織邊界的數(shù)據(jù)訪問:幫助確保正確的用戶以符合企業(yè)安全規(guī)定的方式訪問正確的數(shù)據(jù),而無需依賴個人憑證;同時,通過經(jīng)過治理的工作流提供數(shù)據(jù)資產(chǎn)的透明度,并批準(zhǔn)數(shù)據(jù)訂閱;此外,審計功能可監(jiān)控跨項目的數(shù)據(jù)資產(chǎn)使用情況。
- 通過共享數(shù)據(jù)和工具連接數(shù)據(jù)用戶,驅(qū)動業(yè)務(wù)洞察:通過團隊之間無縫協(xié)作和提供數(shù)據(jù)和分析工具的自助訪問,提升業(yè)務(wù)團隊的效率;使用業(yè)務(wù)術(shù)語搜索、共享和訪問數(shù)據(jù)目錄,使數(shù)據(jù)對所有授權(quán)用戶可用,并通過業(yè)務(wù)詞匯表了解他們想要使用的數(shù)據(jù)。
- 利用機器學(xué)習(xí)實現(xiàn)數(shù)據(jù)發(fā)現(xiàn)和編目自動化:縮短了在業(yè)務(wù)數(shù)據(jù)目錄手動輸入數(shù)據(jù)屬性所需的時間,同時減少了錯誤的發(fā)生;數(shù)據(jù)目錄中數(shù)據(jù)的增多會提升搜索體驗,將搜索和使用數(shù)據(jù)的時間從幾周縮短到幾天。
為了實現(xiàn)上述優(yōu)勢,Amazon DataZone內(nèi)置了多項功能,其中包括:
- 業(yè)務(wù)驅(qū)動領(lǐng)域:一個DataZone數(shù)據(jù)域代表了企業(yè)內(nèi)的一條業(yè)務(wù)線(LOB)或一個業(yè)務(wù)領(lǐng)域的明確邊界,它可以管理自己的數(shù)據(jù),包括數(shù)據(jù)資產(chǎn)、數(shù)據(jù)定義或業(yè)務(wù)術(shù)語,以及數(shù)據(jù)治理標(biāo)準(zhǔn)。數(shù)據(jù)域是用戶開啟Amazon DataZone旅程的起點。當(dāng)用戶首次開始使用DataZone時,將創(chuàng)建一個包含所有核心組件的數(shù)據(jù)域,如業(yè)務(wù)數(shù)據(jù)目錄、項目和環(huán)境。
- 企業(yè)內(nèi)部的業(yè)務(wù)數(shù)據(jù)目錄:企業(yè)可以為數(shù)據(jù)增加業(yè)務(wù)上下文,從而增加數(shù)據(jù)的可見性,以便數(shù)據(jù)使用者可以更加快速高效地查找和理解數(shù)據(jù)。目錄的核心功能是對不同來源的數(shù)據(jù)編目,并通過附加的業(yè)務(wù)背景來增強元數(shù)據(jù),為尋找數(shù)據(jù)的使用者提供更好的決策支持。
- 利用數(shù)據(jù)項目進行聯(lián)邦治理:Amazon DataZone 數(shù)據(jù)項目基于業(yè)務(wù)用例將用戶、數(shù)據(jù)資產(chǎn)和分析工具進行分組,簡化了訪問亞馬遜云科技分析工具的過程。數(shù)據(jù)項目提供了可供項目成員一起協(xié)作、交換數(shù)據(jù)和共享工件(artifact)的空間。只有被添加到項目中的用戶才能參與協(xié)作,因此,整個項目的安全性可以得到最大限度的保證。通過這些項目,Amazon DataZone將數(shù)據(jù)所有權(quán)分散到不同團隊中的數(shù)據(jù)所有者身上,所有者通過訪問管理權(quán)控制用戶的數(shù)據(jù)訪問請求。
- Amazon DataZone現(xiàn)已提供外部API,以編程的方式與系統(tǒng)交互。用戶可以將Amazon DataZone添加到現(xiàn)有架構(gòu)中。例如,用戶可以在Amazon DataZone中使用數(shù)據(jù)管道編目數(shù)據(jù),使客戶能夠無縫搜索、查找、訂閱和訪問數(shù)據(jù)。在此版本中,Amazon DataZone引入了一個新的目錄數(shù)據(jù)模型。編目API支持基于類型系統(tǒng)的模型,允許用戶定義和管理目錄中實體的類型。通過使用該類型的系統(tǒng)模型,用戶將擁有一個靈活且可擴展的目錄,在表示不同類型對象的同時可以將其(資產(chǎn)或列)關(guān)聯(lián)到元數(shù)據(jù)。類似地,用戶也可以用編程方式使用Amazon DataZone的API。
Amazon DataZone常見客戶應(yīng)用場景
數(shù)據(jù)發(fā)現(xiàn)
Bristol Myers Squibb研究IT解決方案架構(gòu)總監(jiān)David Y. Liu表示:"Bristol Myers Squibb正在積極推進一項計劃,旨在將藥物發(fā)現(xiàn)和研發(fā)時間縮短超過30%。這項計劃的關(guān)鍵環(huán)節(jié)是解決數(shù)據(jù)共享所面臨的挑戰(zhàn)并優(yōu)化數(shù)據(jù)可用性。通過與亞馬遜云科技合作,我們發(fā)現(xiàn)Amazon DataZone能夠幫助我們創(chuàng)建、管理、歸類整理我們的數(shù)據(jù)產(chǎn)品,使數(shù)據(jù)更容易被找到、訪問、進行協(xié)作處理和復(fù)用。目前我們正在評估Amazon DataZone在企業(yè)內(nèi)更廣泛的可用性,以確定是否與我們的運營目標(biāo)相符。"
共享治理數(shù)據(jù)以支持生成式AI項目
Guardant Health數(shù)據(jù)、CRM和分析高級總監(jiān)Rajesh Kucharlapati表示:"通過在多個業(yè)務(wù)領(lǐng)域之間協(xié)調(diào)數(shù)據(jù),我們可以培養(yǎng)數(shù)據(jù)共享的文化。為此,我們一直在使用Amazon DataZone,將開發(fā)人員從構(gòu)建和維護平臺的任務(wù)中解放出來,使他們能夠?qū)W⒂诙ㄖ平鉀Q方案。亞馬遜云托管服務(wù)對我們具有重要意義,因為利用亞馬遜云科技生態(tài)系統(tǒng)功能,我們能夠更快地從數(shù)據(jù)分析中獲得業(yè)務(wù)洞察,標(biāo)準(zhǔn)化數(shù)據(jù)定義,以及充分利用生成式AI的潛力。我們期待繼續(xù)與亞馬遜云科技合作,為Guardant Health注入活力,并為我們服務(wù)的患者提供更優(yōu)質(zhì)的服務(wù)。與亞馬遜云服務(wù)的合作已遠遠超出了數(shù)據(jù)范疇,這是一段充滿活力的旅程。"
聯(lián)邦式數(shù)據(jù)治理
Itaú Unibanco數(shù)據(jù)治理和隱私主管Priscila Cardoso Ferreira表示:"實現(xiàn)數(shù)據(jù)驅(qū)動是我們的戰(zhàn)略目標(biāo)之一。我們始終遵循更優(yōu)的數(shù)據(jù)治理、數(shù)據(jù)隱私保護和安全性實踐。在Itaú,數(shù)據(jù)被視為最主要的資產(chǎn)之一,良好的數(shù)據(jù)定義和管理是我們解決方案的核心組成部分,這在使用亞馬遜云科技分析服務(wù)的每一個環(huán)節(jié)中都得到了體現(xiàn)。與亞馬遜云科技團隊一起,我們使用Amazon DataZone預(yù)覽版提出了與Itaú技術(shù)和業(yè)務(wù)需求相匹配的功能——例如按數(shù)據(jù)域劃分的數(shù)據(jù)可以簡化數(shù)據(jù)治理的流程,并幫助業(yè)務(wù)部門間分配責(zé)任。隨著Amazon DataZone的正式可用,我們希望能夠迅速而輕松地為團隊建立跨數(shù)據(jù)域工作規(guī)則,幫助數(shù)據(jù)分析師、工程師和科學(xué)家在多個業(yè)務(wù)用例中進行數(shù)據(jù)假設(shè)實驗,實現(xiàn)簡化治理。"