為了解決多數(shù)據(jù)源導(dǎo)致的口徑不一致、數(shù)據(jù)無(wú)關(guān)聯(lián)、數(shù)據(jù)質(zhì)量差、缺少歷史數(shù)據(jù)、開(kāi)發(fā)效率低等問(wèn)題，企業(yè)需要構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，對(duì)數(shù)據(jù)進(jìn)行規(guī)整和高效利用。除此以外，由于直連業(yè)務(wù)系統(tǒng)支撐多方報(bào)表導(dǎo)致讀寫(xiě)交叉性能降低，影響正常業(yè)務(wù)系統(tǒng)使用的問(wèn)題也可解決。

構(gòu)建企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的步驟分為調(diào)研、數(shù)倉(cāng)設(shè)計(jì)、數(shù)倉(cāng)實(shí)施和測(cè)試上線四個(gè)主要環(huán)節(jié)。

(資料圖片僅供參考)

1 需求調(diào)研

調(diào)研前期，需要明確本次項(xiàng)目在此階段成功的要素，其次是劃分責(zé)任矩陣，收集相關(guān)資料并制定合適的調(diào)研策略。與用戶(hù)需求相關(guān)的信息應(yīng)該足夠的詳細(xì)。最終要交付給最終用戶(hù)項(xiàng)目計(jì)劃及需求說(shuō)明，需要的情況下需要制定災(zāi)備計(jì)劃，以便數(shù)據(jù)倉(cāng)庫(kù)可以從事故中恢復(fù)。

調(diào)研責(zé)任矩陣

調(diào)研執(zhí)行分為四步驟：

這一階段的交付物為系統(tǒng)藍(lán)圖框架與當(dāng)前數(shù)據(jù)基礎(chǔ)和質(zhì)量情況表等，具體的執(zhí)行過(guò)程見(jiàn)下圖：

指標(biāo)確認(rèn)框架

2 數(shù)倉(cāng)設(shè)計(jì)

數(shù)倉(cāng)構(gòu)建的核心工作是分層及建模，分層架構(gòu)設(shè)計(jì)是為應(yīng)用數(shù)據(jù)資源采集、存儲(chǔ)、處理和交換提供建設(shè)性依據(jù)，而數(shù)據(jù)模型將決定數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的增長(zhǎng)性和性能，數(shù)倉(cāng)一般分為 ODS（貼源層）層、DW 層（數(shù)據(jù)倉(cāng)儲(chǔ)層）、DM 層（數(shù)據(jù)集市層）三層架構(gòu)，依據(jù)企業(yè)實(shí)際情況會(huì)有所調(diào)整，而數(shù)倉(cāng)模型大多采用維度建模和范式建模。

數(shù)據(jù)分層：

每一個(gè)數(shù)據(jù)層都有它的作用域，在使用表的時(shí)候能更方便地定位和理解，因此需要針對(duì)數(shù)據(jù)進(jìn)行分層建設(shè)，且數(shù)據(jù)分層也利于數(shù)據(jù)血緣追蹤、屏蔽原始數(shù)據(jù)的異常，通過(guò)開(kāi)發(fā)一些中間層，還可以起到減少重復(fù)開(kāi)發(fā)的作用。

數(shù)倉(cāng)通用技術(shù)框架

數(shù)倉(cāng)建模的流程：

數(shù)倉(cāng)模型的設(shè)計(jì)，按照概念模型（主題域模型）——邏輯模型——物理模型的流程進(jìn)行，邏輯模型和物理模型通常采用維度建模的辦法，以星型和雪花型模型來(lái)組織數(shù)據(jù)，維度建模的兩個(gè)基本元素是事實(shí)表和維度表。而維度建模也分為確定業(yè)務(wù)主題、定義粒度、確定維度和確認(rèn)事實(shí)表四個(gè)步驟。該階段的交付物為針對(duì)數(shù)據(jù)源的概念模型、邏輯模型和物理模型。

數(shù)倉(cāng)建模一般流程

DWD層維度建模步驟

3 數(shù)倉(cāng)實(shí)施開(kāi)發(fā)——ETL

ETL過(guò)程常常需要最長(zhǎng)的項(xiàng)目時(shí)長(zhǎng)，可能會(huì)占用數(shù)倉(cāng)開(kāi)發(fā)的50%及以上，因?yàn)楂@取源數(shù)據(jù)、理解業(yè)務(wù)規(guī)則、邏輯和物理數(shù)據(jù)模型需要花費(fèi)大量時(shí)間。ETL 通過(guò)從源系統(tǒng)數(shù)據(jù)庫(kù)實(shí)時(shí)同步數(shù)據(jù)至數(shù)據(jù)倉(cāng)庫(kù)貼源層，基礎(chǔ)層、通用層、應(yīng)用層基于貼源層的增量數(shù)據(jù)以實(shí)時(shí)指標(biāo)加工的規(guī)則進(jìn)行定時(shí)（T+1 天）加工處理。

ETL過(guò)程

4 測(cè)試上線及規(guī)范建設(shè)

測(cè)試上線

測(cè)試上線的主要目的是為了測(cè)試當(dāng)前數(shù)倉(cāng)開(kāi)發(fā)完畢后數(shù)據(jù)是否準(zhǔn)確，數(shù)據(jù)相應(yīng)的速度是否及時(shí)，包括 ETL 任務(wù)的各環(huán)節(jié)是否出現(xiàn)異常等，測(cè)試完畢通過(guò)業(yè)務(wù)確認(rèn)后即可上線。

數(shù)據(jù)規(guī)范

數(shù)倉(cāng)建設(shè)的規(guī)范是為了后續(xù)開(kāi)發(fā)人員可以遵從規(guī)范，培養(yǎng)良好的習(xí)慣，也可以提升數(shù)倉(cāng)開(kāi)發(fā)的可維護(hù)性，便于用戶(hù)的溝通及交流。數(shù)據(jù)規(guī)范的內(nèi)容包括數(shù)倉(cāng)設(shè)計(jì)規(guī)范、命名規(guī)范、ETL 規(guī)范、報(bào)表規(guī)范等，數(shù)據(jù)規(guī)范建設(shè)為后續(xù)的數(shù)據(jù)治理及數(shù)據(jù)資產(chǎn)的管理建立了良好的基礎(chǔ)。

數(shù)倉(cāng)規(guī)范文檔

標(biāo)簽：