今天給各位分享阿里大數(shù)據(jù)之路:數(shù)據(jù)模型篇大總結(jié)的知識，其中也會對大數(shù)據(jù)之路阿里巴巴大數(shù)據(jù)實踐進行解釋，如果能碰巧解決你現(xiàn)在面臨的問題，別忘了關(guān)注本站，現(xiàn)在開始吧！

本文目錄一覽：

• 1、7.阿里大數(shù)據(jù)——大數(shù)據(jù)建模
• 2、大數(shù)據(jù)之路
• 3、6.阿里大數(shù)據(jù)——數(shù)據(jù)服務(wù)

7.阿里大數(shù)據(jù)——大數(shù)據(jù)建模

數(shù)據(jù)模型就是數(shù)據(jù)組織和存儲方法，它強調(diào)從業(yè)務(wù)、數(shù)據(jù)存取和使用角度合理存儲數(shù)據(jù)。

適合業(yè)務(wù)和基礎(chǔ)數(shù)據(jù)存儲環(huán)境的模型，大數(shù)據(jù)能獲得以下好處：

大數(shù)據(jù)系統(tǒng)需要數(shù)據(jù)模型方法來幫助更好的組織和存儲數(shù)據(jù)，以便在性能、成本、效率和質(zhì)量之間取得最佳平衡。

不管是Hadoop、Spark還是阿里巴巴集團的MaxCompute系統(tǒng)，仍然在大規(guī)模使用SQL進行數(shù)據(jù)的加工和處理，仍然在用Table存儲數(shù)據(jù)，仍然在使用關(guān)系理論描述數(shù)據(jù)之間的關(guān)系，只是在大數(shù)據(jù)領(lǐng)域，基于其數(shù)據(jù)存取的特點在關(guān)系數(shù)據(jù)模型的范式上有了不同的選擇而已。

從全企業(yè)的高度設(shè)計一個3NF模型，用實體關(guān)系（Entity Relationship，ER）模型描述企業(yè)業(yè)務(wù)，在范式理論上符合3NF。數(shù)據(jù)倉庫中的3NF與OLTP中不同過，有以下特點：

ER模型建設(shè)數(shù)據(jù)倉庫的出發(fā)點是整合數(shù)據(jù)，為數(shù)據(jù)分析決策服務(wù)。建模步驟分為三個階段：

維度建模從分析決策的需求出發(fā)構(gòu)建模型，為分析需求服務(wù)，因此它重點關(guān)注用戶如何更快速地完成需求分析，同時具有較好的大規(guī)模復(fù)雜查詢的響應(yīng)性能。其典型代表事星形模型，以及在一些特殊場景下使用的雪花模型。其設(shè)計步驟如下：

它是ER模型的衍生，其設(shè)計的出發(fā)點也是為了實現(xiàn)數(shù)據(jù)的整合，但不能直接用于數(shù)據(jù)分析決策。它強調(diào)建立一個可審計的基礎(chǔ)數(shù)據(jù)層，也就是強調(diào)數(shù)據(jù)的歷史性、可追溯性和原子性，而不要求對數(shù)據(jù)進行過度的一致性處理和整合。該模型由一下幾部分組成：

Anchor對Data Vault模型做了進一步規(guī)范化處理，設(shè)計的初衷是一個高度可擴展的模型，其核心思想是所有的擴展只是添加而不是修改，因此將模型規(guī)范到6NF，基本變成了k-v結(jié)構(gòu)化模型。組成如下：

經(jīng)歷了多個階段：

大數(shù)據(jù)之路

人類從“IT時代”進入“DT時代”。本書介紹了阿里巴巴的大數(shù)據(jù)系統(tǒng)架構(gòu)，為了滿足不斷變化的業(yè)務(wù)需求，同時實現(xiàn)系統(tǒng)的 高擴展性 、 靈活性 以及 數(shù)據(jù)展現(xiàn)的高性能 。

數(shù)據(jù)體系主要包括： 數(shù)據(jù)采集 、 數(shù)據(jù)計算 、 數(shù)據(jù)服務(wù) 和 數(shù)據(jù)應(yīng)用 四大層次。

事實表包括引用的 維度 和描述具體業(yè)務(wù)的 度量 。

事實表中一條記錄描述的業(yè)務(wù)的細節(jié)程度稱為 粒度 。粒度可以使用兩種方式來表示：（1）維度屬性組合（2）所表示的具體業(yè)務(wù)含義。

事實包括可加性、半可加性和不可加性三種類型：

半可加性：只可以針對特定維度做聚合，例如庫存（不能按照日期，可按照倉庫聚合）。

可加性：可以按照任意維度聚合。

不可加性：完全不具備可加性。（例如：比率，事實表可以拆分存儲分子分母）

維度屬性也可以存到事實表中，稱為 退化維度 。

事實表有三種類型：事務(wù)事實表、周期快照事實表、累計快照事實表。

事務(wù)事實表描述的是業(yè)務(wù)過程上的原子事務(wù)，也稱為 原子事實表 。

周期快照事實表是按照周期性規(guī)律的時間間隔記錄事實。

累計快照事實表：累計快照事實表用來表示過程開始和結(jié)束過程之間的關(guān)鍵步驟事件，覆蓋整個生命周期，通常用多個日期字段記錄關(guān)鍵時間點，記錄會隨著時間變化而修改。

事實表設(shè)計原則：

原則1： 盡可能包含所有與業(yè)務(wù)過程相關(guān)的事實。

即時存在冗余，也盡可能存儲。

原則2：只選擇與業(yè)務(wù)過程相關(guān)的事實。

原則3：分解不可加事實為可加的組件。

例如：不存成單率，轉(zhuǎn)而存儲成單數(shù)和提單數(shù)。

原則4：選擇維度和事實前，必須先聲明粒度。

建議粒度設(shè)置的越細越好，這樣可以最大限度的提高靈活性?？梢酝ㄟ^業(yè)務(wù)描述或者維度屬性組合的方式來定義粒度。

原則5：在同一個事實表中，不應(yīng)該有不同粒度的事實。

例如：一個事實表中不應(yīng)該包含某些精確到訂單粒度的度量，同時又包含只精確到城市的度量。

原則6：事實的單位一致。

原則7：盡量處理掉事實表中的null值。

SQL中大于，小于的條件不適用與null值，所以盡量用數(shù)值替代null，例如0.

原則8：使用退化維度增加事實表的易用性。

在Kimball的維度設(shè)計模型中，分拆出單獨的維度表，為了節(jié)省存儲。但是為了減少使用時的關(guān)聯(lián)次數(shù)，可以多使用退化維度提供事實表易用性。

事實表設(shè)計方法：

1.選擇業(yè)務(wù)過程及確定事實表類型。2. 聲明粒度。3.確定維度。4.確定事實。5.冗余維度（設(shè)計退化維度）。

事務(wù)事實表，即針對業(yè)務(wù)過程構(gòu)建的一類事實表，用來跟蹤定義業(yè)務(wù)過程的個體行為，提供豐富的分析能力，作為數(shù)據(jù)倉庫原子的明細數(shù)據(jù)。

單事務(wù)事實表，即針對每一個業(yè)務(wù)過程設(shè)計一個事實表，這樣可以方便地對每一個業(yè)務(wù)過程進行分析研究。

表示同一個事實表包含不同的業(yè)務(wù)過程。多事務(wù)事實表有兩種實現(xiàn)方法：（1）使用兩個不同的事實字段來保存各自業(yè)務(wù)過程。（2）使用同一個字段保存，但是增加一個業(yè)務(wù)過程標簽。

下面舉例說明，淘寶交易事務(wù)事實表同時包含下單、支付和成功完結(jié)三個過程，三個過程粒度一致，可以放在一個事實表。下面確定維度和事實，該表中的下單度量、支付度量和成功完結(jié)度量信息分別存在不同字段，如果不是當前業(yè)務(wù)處理，則用0來處理。

當不同業(yè)務(wù)過程的度量比較相似、差異不大時使用第二種事實表（使用一個字段保存），當不同業(yè)務(wù)過程的度量差異大時，使用第一種（多字段保存）。

對于單事務(wù)事實表和多事務(wù)事實表的選擇上，可以從以下一些方面來區(qū)分：

業(yè)務(wù)過程、粒度和維度（不同業(yè)務(wù)過程粒度相同，并且維度相似時，可以選用單事務(wù)事實表）、事實、下游業(yè)務(wù)使用、計算存儲成本。電商環(huán)境下，有父子訂單的概念，店鋪多商品各生成一個訂單，在一個店鋪合成一個父訂單。

1.事實完整性：事實表包含與其描述的過程有關(guān)的所有事實。

2.事實一致性：明確存儲每一個事實以確保度量一致性。例如，有下單商品數(shù)和商品價格2個事實，同時保存下單金額（價格*商品數(shù)）。這樣下游使用時，直接取下單金額，而不是再次計算，以保證指標的一致性。

3.事實可加性：為確保下游使用時，指標的可聚合性，盡量保存原始數(shù)，而不是計算后的比率指標。

對于事務(wù)度量，事務(wù)性事實表可以很好地表征。但是對于一些 狀態(tài)度量 ，例如買賣家累計交易金額、商品庫存、買賣家星級、溫度（事務(wù)事實表無法聚合得到）等，事務(wù)事實表的效率較低或者無法處理。為了解決狀態(tài)度量問題，引入周期性快照事實表（也稱為 快照事實表 ）。

1.用快照采樣狀態(tài)：快照事實表以預(yù)定的間隔采樣狀態(tài)度量。

2.快照粒度：快照事實表通?？偸潜欢嗑S聲明，即快照需要采樣的周期以及什么將被采樣。

3.密度和稠密性：稠密性是快照事實表的重要特征。事務(wù)事實表一般都是稀疏的，只要發(fā)生業(yè)務(wù)才會有相應(yīng)記錄。

4.半可加性：快照事實表的狀態(tài)度量都是半可加的，例如商品庫存，只針對商品維度可加，對日期維度不可加。

設(shè)計快照事實表，首先確定快照粒度，然后確定采樣的狀態(tài)度量。下面介紹幾個快照事實表實例。

單維度每天快照事實表、混合維度每天快照事實表，這兩種快照表都可以從事務(wù)事實表匯總得到。另外的一種產(chǎn)出模式是直接使用操作型系統(tǒng)作為數(shù)據(jù)源來加工，例如淘寶賣家的星級評分是在操作型系統(tǒng)中計算得出的，倉庫直接拿來這部分數(shù)據(jù)加入事實表。全量快照事實表，是特殊類型的周期快照表，例如設(shè)計無事實的事實表來記錄評論的狀態(tài)度量。

對于研究事件之間的時間間隔需求時，累計快照事實表能較好符合需求。

特點：

1.數(shù)據(jù)不斷更新：例如，在下單、支付和確認收貨三個業(yè)務(wù)過程中，事務(wù)事實表會生成3條記錄，而累計快照表會不斷更新一條記錄（不生成新記錄）。

2.多業(yè)務(wù)過程日期：

累計快照表適用于具有較明確起止時間的短生命周期的實體，對于每個實體都經(jīng)歷從誕生到消亡等步驟。

3.存儲歷史全量數(shù)據(jù)。

1.事件類的，例如瀏覽日志。

2.條件范圍資格類的，例如客戶和銷售人員的分配情況。

主要是提前聚合，為了增加數(shù)據(jù)訪問的效率（不用再聚合了），減少數(shù)據(jù)不一致的情況。這類聚集匯總數(shù)據(jù)，被稱為“公共匯總層”。

聚集的基本步驟：1.確定聚集維度。2.確定一致性上鉆。3.確定聚集事實。

元數(shù)據(jù)主要記錄數(shù)據(jù)倉庫中模型的定義、各層級間映射關(guān)系、監(jiān)控數(shù)據(jù)倉庫的數(shù)據(jù)狀態(tài)及ETL任務(wù)的運行狀態(tài)。元數(shù)據(jù)分為 技術(shù)元數(shù)據(jù) 和 業(yè)務(wù)元數(shù)據(jù) 。

阿里巴巴技術(shù)元數(shù)據(jù)包括：

數(shù)據(jù)表、列等信息；ETL作業(yè)的信息；數(shù)據(jù)同步、任務(wù)調(diào)度、計算任務(wù)等信息。數(shù)據(jù)質(zhì)量和運維相關(guān)元數(shù)據(jù)。

阿里巴巴業(yè)務(wù)元數(shù)據(jù)包括：

維度屬性、業(yè)務(wù)過程、指標等。數(shù)據(jù)應(yīng)用元數(shù)據(jù)，例如數(shù)據(jù)報表、數(shù)據(jù)產(chǎn)品等。

元數(shù)據(jù)價值：

元數(shù)據(jù)在數(shù)據(jù)管理方面為集團數(shù)據(jù)在計算、存儲、成本、質(zhì)量、安全、模型等治理領(lǐng)域上提供數(shù)據(jù)支持。

阿里MaxCompute提供了archive壓縮方法，采用了具有更高壓縮比壓縮算法，將數(shù)據(jù)以RAID file的形式存儲。這樣可以節(jié)省空間，但是恢復(fù)起來也更復(fù)雜，所以適用于冷備份的數(shù)據(jù)。

MaxCompute基于列存儲，通過修改表的數(shù)據(jù)重分布，避免列熱點，將會節(jié)省一定存儲空間。

存儲治理項以元數(shù)據(jù)為基礎(chǔ)，列出例如“62天內(nèi)未訪問的分區(qū)”、“數(shù)據(jù)無更新的任務(wù)列表”等等管理項推動ETL優(yōu)化。形成現(xiàn)狀分析、問題診斷、管理優(yōu)化、效果反饋的存儲治理項優(yōu)化的閉環(huán)。

生命周期管理的目的是用最少的存儲成本來滿足最大業(yè)務(wù)需求，實現(xiàn)數(shù)據(jù)價值最大化。

1.周期性刪除策略：

2.徹底刪除策略：主要針對無用表，ETL中間過程表。

3.永久保存策略：

4.極限存儲策略：

5.冷數(shù)據(jù)管理策略：針對重要且訪問頻率低的數(shù)據(jù)。

6.增量表merge全量表策略：

將一個數(shù)據(jù)表的成本分為存儲成本和計算成本，除此之外，上游表對該表的掃描成本也應(yīng)該計入。相應(yīng)的計費分別核算為：計算付費、存儲付費和掃描付費。數(shù)據(jù)資產(chǎn)的成本管理分為數(shù)據(jù)成本計量和數(shù)據(jù)使用計費。

6.阿里大數(shù)據(jù)——數(shù)據(jù)服務(wù)

數(shù)據(jù)部門產(chǎn)出的海量數(shù)據(jù)，如何能方便高效地開放出去，是我們一直要解決的難題。

（1）元數(shù)據(jù)模型

數(shù)據(jù)源——物理表——邏輯表——主題

（2）架構(gòu)圖

看不懂

看不懂

阿里大數(shù)據(jù)之路:數(shù)據(jù)模型篇大總結(jié)的介紹就聊到這里吧，感謝你花時間閱讀本站內(nèi)容，更多關(guān)于大數(shù)據(jù)之路阿里巴巴大數(shù)據(jù)實踐、阿里大數(shù)據(jù)之路:數(shù)據(jù)模型篇大總結(jié)的信息別忘了在本站進行查找喔。