在全球著名咨詢機構(gòu)Gartner發(fā)布的2022年頂級戰(zhàn)略技術(shù)趨勢中，Date Fabric不僅首先被提及，甚至被定義為“數(shù)據(jù)管理的未來”。作為新興的熱門市場，Data Fabric自誕生之日起就備受關(guān)注，全球最大的信息技術(shù)和業(yè)務解決方案公司IBM、數(shù)據(jù)集成領(lǐng)域領(lǐng)導者Talend、集成分析領(lǐng)域領(lǐng)導者TIBCO、元數(shù)據(jù)管理領(lǐng)導者Alation等全球各數(shù)據(jù)領(lǐng)域頭部廠商都給出了對應的能力要求和解決方案。

從三年前的概念出現(xiàn)到如今落地實施并取得具體業(yè)務結(jié)果，Data Fabric海外爆火的背后反映了市場需求的變化。伴隨數(shù)字化和智能化的推進，越來越多企業(yè)面臨著高成本&低價值的數(shù)據(jù)集成、不斷攀升的運維成本、不斷增長的實時數(shù)據(jù)需求等多重挑戰(zhàn)，基于主動元數(shù)據(jù)、語義、知識圖譜、數(shù)據(jù)虛擬化、AI等技術(shù)的Data Fabric成為應對數(shù)據(jù)類型多樣化以及數(shù)據(jù)量激增的最佳解決方案。

通過實施Data Fabric，企業(yè)不僅可以減少一半以上人力驅(qū)動的數(shù)據(jù)管理任務、70%的數(shù)據(jù)管理工作，讓數(shù)據(jù)質(zhì)量及運營成本降低65%;還能以8倍的速度、不到一半的成本，獲取數(shù)據(jù)和洞察——基于Data Fabric產(chǎn)生的數(shù)據(jù)洞察，可以使企業(yè)平均每年增長30%以上。(數(shù)據(jù)來源：Gartner)

盡管以上每一項收益都足以讓企業(yè)管理者心動，國內(nèi)卻遲遲沒有基于這項全新的關(guān)鍵技術(shù)趨勢完成系統(tǒng)化落地。曾任螞蟻集團研究員(P10)、數(shù)據(jù)平臺部總經(jīng)理周衛(wèi)林帶領(lǐng)業(yè)界頂級數(shù)據(jù)專家團隊創(chuàng)立Aloudata大應科技，致力于打造首個NoETL湖倉平臺，內(nèi)置增強數(shù)據(jù)目錄、語義知識圖譜、主動元數(shù)據(jù)、數(shù)據(jù)推薦引擎、數(shù)據(jù)虛擬化、數(shù)據(jù)編排和Dataops等Gartner定義的6大Data Fabric核心能力，是當前國內(nèi)Data Fabric最佳實踐。

國內(nèi)Data Fabric最佳實踐：NoETL重塑數(shù)據(jù)供給和管理方式

Data Fabric的終極目標是為數(shù)據(jù)集成和訪問提供一種更靈活、更無縫、更自動化的方法。而Aloudata提出的NoETL方案，正是創(chuàng)始團隊基于過去在螞蟻集團建設金融級數(shù)據(jù)平臺以及EB級數(shù)據(jù)管理經(jīng)驗所提煉的Data Fabric最佳實踐，顛覆了傳統(tǒng)模式下基于ETL的數(shù)據(jù)生產(chǎn)鏈路，致力于讓企業(yè)每個人都能快速發(fā)現(xiàn)可信數(shù)據(jù)、自助分析全域數(shù)據(jù)，并實現(xiàn)主動、持續(xù)的數(shù)據(jù)治理，讓企業(yè)數(shù)據(jù)隨時就緒。

傳統(tǒng)鏈路下，業(yè)務方和分析師提出任何一個數(shù)據(jù)需求，都繞不開ETL工程師這個中間角色，從找數(shù)、運維再到性能優(yōu)化，各個環(huán)節(jié)都需要深度依賴ETL工程師才能完成，導致數(shù)據(jù)生產(chǎn)根本“快”不起來。

假設有100個數(shù)據(jù)需求被同時提出，ETL工程師就不得不安排優(yōu)先級并逐一解決。然而爆發(fā)式增長的數(shù)據(jù)需求遠遠超出了ETL工程師的增長速度，在實際工作場景中，多達80%的數(shù)據(jù)需求無法滿足，即便是有幸被滿足的那20%，從提出需求到需求交付的時間至少以周計。

Gartner公布的數(shù)據(jù)再次印證了這一點：分析師80%的時間用于發(fā)現(xiàn)和準備數(shù)據(jù)，知識型員工將50%的時間浪費在尋找數(shù)據(jù)、發(fā)現(xiàn)和糾正錯誤以及確認不信任的數(shù)據(jù)來源上，數(shù)據(jù)科學家花60%的時間清理和組織數(shù)據(jù)。

不僅如此，不斷增長、日趨復雜的ETL數(shù)據(jù)管道帶來了治理困難和風險隱患，大量已失效的ETL任務無法得到及時下線，帶來了嚴重的資源浪費，依賴于ETL工程師的機械式流程亟待改變。

NoETL問世，引領(lǐng)行業(yè)變革

所謂NoETL，是指在數(shù)據(jù)處理和分析環(huán)節(jié)，用戶無需搭建復雜ETL鏈路、無需等待漫長排期即可靈活分析所有數(shù)據(jù)，實現(xiàn)敏捷數(shù)據(jù)洞察和高效一致的數(shù)據(jù)協(xié)作，能夠以更低的成本、更迅速地做出可信業(yè)務決策。

NoETL的問世，無疑將引領(lǐng)一場前所未有的行業(yè)變革。提出這一理念的同時，Aloudata還進一步定義了具體可落地的NoETL技術(shù)標準——全場景自適應的彈性SQL引擎Aloudata AIR Engine(以下簡稱“AIR”)，以幫助企業(yè)快速啟用分析和洞察力，實現(xiàn)業(yè)務成功。

AIR基于NoETL理念做到無論數(shù)據(jù)是在數(shù)據(jù)湖、數(shù)據(jù)倉庫或者其他地方，每個人都可在Ad-hoc、多維分析、報表等多場景下自助進行全域數(shù)據(jù)探索并定義一致的數(shù)據(jù)視圖，幫助企業(yè)實現(xiàn)100倍性能提升、10倍以上數(shù)據(jù)化運營效率提升以及30%以上存儲成本節(jié)約。

No Pipeline：去管道，無需關(guān)心數(shù)據(jù)位置

AIR通過湖倉查詢引擎和數(shù)據(jù)虛擬化技術(shù)，實現(xiàn)多源異構(gòu)數(shù)據(jù)查詢和透明數(shù)據(jù)集成，大幅削減了數(shù)據(jù)搬運、控制了數(shù)據(jù)管道的無序增長。BI分析師減少了對ETL工程師的單向依賴，不需要再關(guān)心數(shù)據(jù)實際存放位置，也不必再搭建復雜的ETL數(shù)據(jù)管道，直接通過SQL定義彈性數(shù)據(jù)集就能夠自助對全域數(shù)據(jù)進行數(shù)據(jù)準備和分析。

No Task：免運維，無需操心任務運維

無需人工任務運維，AIR能夠通過對用數(shù)行為的收集和觀察，實現(xiàn)數(shù)據(jù)生產(chǎn)鏈路的智能編排、運維和治理，針對重復、相似計算進行自動合并，針對無效、低頻、低價值數(shù)據(jù)的生產(chǎn)任務進行降權(quán)或下線，以“銷”定產(chǎn)，大幅節(jié)省管理投入。

No Cube：自優(yōu)化，無需擔心查詢性能

AIR 基于用戶查詢行為實現(xiàn)了自適應的查詢性能優(yōu)化，無需Cube/索引構(gòu)建，BI分析師可自助完成數(shù)據(jù)準備，無需擔心查詢性能，專注業(yè)務分析與洞察。

通過對現(xiàn)有數(shù)據(jù)生產(chǎn)鏈路的優(yōu)化與升級，AIR讓企業(yè)每個人隨時可對全域數(shù)據(jù)開啟自助分析與洞察，快速突破ETL工程師人力瓶頸，充分釋放過去因為ETL資源受限而被堆積和抑制的運營分析需求。

NoETL落地某大型股份制銀行：10倍提升數(shù)據(jù)化運營效率

隨著業(yè)務數(shù)字化運營不斷深入，某大型股份制銀行于數(shù)年前開始引進和自研BI工具，并大規(guī)模推行全行分析師自助分析和報表制作，截止2021年，全行報表達數(shù)千張，月活看數(shù)人群達萬級，并仍在高速增長中。

數(shù)據(jù)分析和報表制作環(huán)節(jié)的自助，進一步催生了行內(nèi)數(shù)據(jù)分析需求的爆發(fā)，但前置的數(shù)據(jù)準備環(huán)節(jié)卻無法同步提高產(chǎn)能，數(shù)據(jù)運營效率仍然存在顯著瓶頸。究其根本，在于該銀行現(xiàn)有的基于ETL的數(shù)據(jù)生產(chǎn)鏈路存在以下弊病：

-數(shù)據(jù)分散在數(shù)據(jù)倉庫、數(shù)據(jù)湖和業(yè)務數(shù)據(jù)庫中，分析師開展數(shù)據(jù)分析和報表制作往往需要依賴ETL團隊對數(shù)據(jù)進行匯集和預加工，交付周期以周計;

-當前基于ETL的數(shù)據(jù)集成和加速方案需要對數(shù)據(jù)做大量搬運，顯著拖慢了報表的數(shù)據(jù)時效;

-業(yè)務數(shù)據(jù)分析需求快速變化，ETL工程師預先設計的數(shù)據(jù)查詢加速方案很難同時兼顧靈活性和性能，報表查詢性能難以保障。

可見，當前基于ETL的數(shù)據(jù)供給模式已經(jīng)無法支撐快速增長的數(shù)據(jù)分析需求。

為解決上述問題，該銀行基于Aloudata AIR Engine自研了敏捷數(shù)據(jù)準備平臺，為全行分析師提供了全域自助找數(shù)、面向業(yè)務語義準備數(shù)據(jù)、查詢自適應加速的敏捷數(shù)據(jù)分析體驗，讓全行分析師可以端到端全自助完成數(shù)據(jù)分析需求交付，將業(yè)務取數(shù)看數(shù)效率從周級縮短到了天級，并實現(xiàn)了高性能、低時延的報表看數(shù)體驗，10倍提升全行數(shù)據(jù)化運營效率。

NoETL，驅(qū)動企業(yè)增長的數(shù)據(jù)引擎

Data Fabric在國外大受追捧，而在國內(nèi)剛剛起步。正如10年前大數(shù)據(jù)概念在國外興起，不到3年就被中國廣泛應用，可以預見的是，Data Fabric在國內(nèi)也將被越來越多的企業(yè)用于解決數(shù)據(jù)資產(chǎn)多樣性、分散性、規(guī)?；蛷碗s性不斷增加以及數(shù)據(jù)使用人群和應用場景爆發(fā)式增長帶來的一系列問題。

作為國內(nèi)Data Fabric先行者，Aloudata致力于幫助企業(yè)快速構(gòu)建面向未來的下一代數(shù)據(jù)平臺，擺脫傳統(tǒng)低效的數(shù)據(jù)供給與管理方式，輕松應對未來日益復雜的數(shù)據(jù)環(huán)境和蓬勃旺盛的業(yè)務分析需求，幫助業(yè)務尋找新的機會點和創(chuàng)新點，建立可持續(xù)發(fā)展機制與核心競爭力。目前，Aloudata已與多家頂級金融機構(gòu)合作共創(chuàng)，基于真實復雜的業(yè)務場景，探索全民可用的NoETL新模式。

【關(guān)于Aloudata】

Aloudata(浙江大應科技)是一家NoETL湖倉平臺服務商，Data Fabric理念踐行者。公司創(chuàng)始人曾任螞蟻數(shù)據(jù)平臺部總經(jīng)理(P10)，是螞蟻數(shù)據(jù)技術(shù)主要開拓者和奠基人;創(chuàng)始團隊均為原螞蟻集團數(shù)據(jù)平臺核心成員。Aloudata是數(shù)據(jù)湖倉架構(gòu)的先行者，自主研發(fā)的AI增強湖倉引擎可實現(xiàn)數(shù)據(jù)分析性能自適應優(yōu)化以及數(shù)據(jù)治理“自動駕駛”，幫助企業(yè)實現(xiàn)10倍以上的數(shù)據(jù)化運營效率提升。目前，Aloudata已順利完成兩輪融資。

免責聲明：市場有風險，選擇需謹慎!此文僅供參考，不作買賣依據(jù)。

標簽：