編者按：本文是松子（李博源）的大數(shù)據(jù)平臺發(fā)展史系列文章的第一篇（共四篇），本系列以獨特的視角，比較了非互聯(lián)網(wǎng)和互聯(lián)網(wǎng)兩個時代以及傳統(tǒng)與非傳統(tǒng)兩個行業(yè)。是對數(shù)據(jù)平臺發(fā)展的一個回憶，對非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)，從數(shù)據(jù)平臺的用戶角度、數(shù)據(jù)架構(gòu)演進、模型等進行了闡述。

前言，這個數(shù)據(jù)平臺發(fā)展史僅是自己經(jīng)歷過由傳統(tǒng)數(shù)據(jù)平臺到互聯(lián)網(wǎng)數(shù)據(jù)平臺發(fā)展一些簡單回憶，文章引用了歷史項目&平臺規(guī)劃架構(gòu)，在這里不做更深入描述。

我是從2000年開始接觸數(shù)據(jù)倉庫，大約08年開始進入互聯(lián)網(wǎng)行業(yè)，那時在互聯(lián)網(wǎng)接觸到數(shù)據(jù)平臺與傳統(tǒng)第三代數(shù)據(jù)架構(gòu)還是有很大的類似之處，隨著互聯(lián)網(wǎng)的突飛猛進，每一次的技術(shù)變革都帶來一場從技術(shù)、架構(gòu)、業(yè)務(wù)的漸進式變革，到今天互聯(lián)網(wǎng)、非互聯(lián)網(wǎng)的數(shù)據(jù)平臺架構(gòu)已經(jīng)差異非常大。

相關(guān)廠商內(nèi)容

網(wǎng)易視頻云的數(shù)據(jù)傳輸架構(gòu)

大數(shù)據(jù)和人工智能在P2P金融的應用

知名互聯(lián)網(wǎng)公司管理方法之Facebook

相關(guān)贊助商

QCon北京2016大會，4月21-23日，北京·國際會議中心，精彩內(nèi)容邀您參與！

回顧早期的企業(yè)環(huán)境，企業(yè)的生產(chǎn)與服務(wù)是一個很長周期，導致業(yè)務(wù)數(shù)據(jù)呈現(xiàn)一種粗粒度模式。隨著互聯(lián)網(wǎng)的快速滲透從早期的PC終端到“襠下“的 移動終端，對用戶的需求與服務(wù)周期將逐漸的縮短，業(yè)務(wù)量級、數(shù)據(jù)類型多樣化與存儲的暴增，對應著技術(shù)、架構(gòu)、業(yè)務(wù)呈現(xiàn)出迅猛發(fā)展，相應的數(shù)據(jù)沉淀與積累也成指數(shù)暴漲。

從”數(shù)據(jù)倉庫“ 詞開始到現(xiàn)在的“大數(shù)據(jù)”，中間經(jīng)歷了太多的知識、架構(gòu)模式的演進與變革，比如說“數(shù)據(jù)倉庫、海量數(shù)據(jù)、大數(shù)據(jù)”等。（備注：數(shù)據(jù)倉庫一般指的是：在相當長的時間內(nèi)堆積數(shù)據(jù)，僅僅需要處理大量數(shù)據(jù)請求中的少部分的系統(tǒng)。數(shù)據(jù)倉庫不等同于“海量數(shù)據(jù)” 。恰恰相反，而是其子集。海量數(shù)據(jù)也包含：通過大量的連接提供每秒百萬次服務(wù)請求的系統(tǒng)。大數(shù)據(jù)是海量數(shù)據(jù)+復雜類型數(shù)據(jù)基礎(chǔ)上的大分析、高寬帶、大內(nèi)容）。

數(shù)據(jù)倉庫在國外的發(fā)展史多年，大約在98-99年左右進入中國，到現(xiàn)在歷了大約十多年發(fā)展。到了今天尤其是在非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)企業(yè)兩個領(lǐng)域數(shù)據(jù)平臺有顯著的區(qū)別。 本文將以非互聯(lián)網(wǎng)時代、互聯(lián)網(wǎng)時代數(shù)據(jù)平臺發(fā)展角度來講述。

很多從傳統(tǒng)企業(yè)數(shù)據(jù)平臺轉(zhuǎn)到互聯(lián)網(wǎng)同學是否有感覺，非互聯(lián)網(wǎng)企業(yè)、互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)平臺所面向用戶群體是不同的？這兩類的數(shù)據(jù)平臺的建設(shè)、使用用戶又有變化？數(shù)據(jù)模型設(shè)計又有什么不同呢？

我們先來看用戶群體的區(qū)別，下邊整理了2個圖來講述用戶群體相關(guān)區(qū)別。

一、用戶群體

非互聯(lián)網(wǎng)數(shù)據(jù)平臺用戶：

(點擊放大圖像)

• 企業(yè)的boss、運營的需求主要是依賴于報表、商業(yè)智能團隊的數(shù)據(jù)分析師去各種分析與挖掘探索；
• 支撐這些人是ETL開發(fā)工程師、數(shù)據(jù)模型建模、數(shù)據(jù)架構(gòu)師、報表設(shè)計人員 ，同時這些角色又是數(shù)據(jù)平臺數(shù)據(jù)建設(shè)與使用方。
• 數(shù)據(jù)平臺的技術(shù)框架與工具實現(xiàn)主要有技術(shù)架構(gòu)師、JAVA 開發(fā)等。
• 用戶面對是結(jié)構(gòu)化生產(chǎn)系統(tǒng)數(shù)據(jù)源。

互聯(lián)網(wǎng)數(shù)據(jù)平臺用戶：

(點擊放大圖像)

• 互聯(lián)網(wǎng)企業(yè)中員工年齡比非互聯(lián)網(wǎng)企業(yè)的要年輕、受教育程度、對計算機的焦慮程度明顯比傳統(tǒng)企業(yè)要低、還偶遇其它各方面的緣故，導致了數(shù)據(jù)平臺所面對用戶群體與非互聯(lián)網(wǎng)數(shù)據(jù)平臺有所差異化；
• 互聯(lián)網(wǎng)數(shù)據(jù)平臺的使用與建設(shè)方是來自各方面的人，數(shù)據(jù)平臺又是技術(shù)、數(shù)據(jù)產(chǎn)品推進建設(shè)的。
• 分析師參與數(shù)據(jù)平臺直接建設(shè)比重增加。
• 原有的數(shù)據(jù)倉庫開發(fā)與模型架構(gòu)師的職能也從建設(shè)平臺轉(zhuǎn)為服務(wù)與咨詢.
• 用戶面對是數(shù)據(jù)源多樣化，比如日志、生產(chǎn)數(shù)據(jù)庫的數(shù)據(jù)、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù) 。

從這用戶群體角度來說這非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)的數(shù)據(jù)平臺用戶差異性是非常明顯，互聯(lián)網(wǎng)數(shù)據(jù)平臺中很多理論與名詞都是從傳統(tǒng)數(shù)據(jù)平臺傳遞過來的，本文將會分別闡述非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)數(shù)據(jù)平臺區(qū)別。

(點擊放大圖像)

非互聯(lián)網(wǎng)時代

自從數(shù)據(jù)倉庫發(fā)展起來到現(xiàn)在，基本上可以分為五個時代、四種架構(gòu)（大家可以詳細翻一下數(shù)據(jù)倉庫的發(fā)展歷史，在這里僅作科普性介紹）

• 約在1991年前的全企業(yè)集成
• 1991年后的企業(yè)數(shù)據(jù)集成EDW時代
• 1994年-1996年的數(shù)據(jù)集市
• 1996-1997年左右的兩個架構(gòu)吵架
• 1998年-2001年左右的合并年代

五個時代劃分是以重要事件或代表人物為標志，比如說在企業(yè)數(shù)據(jù)集成EDW時代其重要代表人物是Bill Inmon 代表作數(shù)據(jù)倉庫一書，更重要是他提出了如何建設(shè)數(shù)據(jù)倉庫的指導性意見與原則。他遵循的是自上而下的建設(shè)原則，這個導致后來數(shù)據(jù)倉庫在千禧年傳到中國后的幾年內(nèi)，幾個大實施廠商都是遵守該原則的實施方法，后來的數(shù)據(jù)倉庫之路等各種專業(yè)論壇上針對數(shù)據(jù)倉庫ODS-EDW的結(jié)構(gòu)討論(備注：壇子里有個叫吳君，他發(fā)表了不少這方面的文章)。

在國內(nèi)項目實施中IBM、Terdata、埃森哲、菲奈特(被東南收購，東南后來某些原因而倒閉)等很多專業(yè)廠商在實施中對ODS層、EDW層都賦予了各種不同的功能與含義(備注：在后邊的架構(gòu)案例解)。

在數(shù)據(jù)集市年代其代表人物是Ralph kilmball，他的代表作是”The Data Warehouse Toolkit“，在數(shù)據(jù)倉庫的建設(shè)上Ralph kilmball 提出的是自下而上的建設(shè)方法，剛好與Bill Innmon的建設(shè)方法相反，這兩種架構(gòu)方式各有千秋，所以就進入了爭吵時代。

我整理了一個表格是這兩位大師優(yōu)缺點：

(點擊放大圖像)

隨著數(shù)據(jù)倉庫的不斷實踐與迭代發(fā)展，從爭吵期進入到了合并的時代，其實爭吵的結(jié)果要麼一方妥協(xié)，要麼新的結(jié)論出現(xiàn)，果然Bill inmon與 Ralph kilmball的爭吵沒有結(jié)論，干脆提出一種新的架構(gòu)包含對方，也就是后來Bill Inmon 提出的CIF（corporation information factory） 架構(gòu)模式、這也算是數(shù)據(jù)倉庫的第三代架構(gòu)，其架構(gòu)特點是把整個架構(gòu)劃分為不同層次，把每一層次的定義與功能都詳細的描述下來，從04年后國內(nèi)的很多數(shù)據(jù)倉庫架構(gòu)、甚至互聯(lián)網(wǎng)剛開始搞數(shù)據(jù)平臺數(shù)據(jù)倉庫架構(gòu)模式也是這一種。

(點擊放大圖像)

數(shù)據(jù)倉庫第一代架構(gòu)

（開發(fā)時間2001-2002年）

海爾集團的一個BI項目，架構(gòu)的ETL 使用的是 微軟的數(shù)據(jù)抽取加工工具 DTS，老人使用過微軟的DTS 知道有哪些弊端，后便給出了幾個DTS的截圖。

功能：進銷存分析、閉環(huán)控制分析、工貿(mào)分析等 

硬件環(huán)境：

• 業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫：DB2 for Windows,SQL SERVER2000,ORACLE8I
• 中央數(shù)據(jù)庫服務(wù)器：4*EXON,2G,4*80GSCSI
• OLAP 服務(wù)器：2*PIV1GHZ,2G,2*40GSCSI
• 開發(fā)環(huán)境：VISUAL BASIC,ASP,SQL SERVER 2000

(點擊放大圖像)

(點擊放大圖像)

(點擊放大圖像)

(點擊放大圖像)

數(shù)據(jù)倉庫第二代架構(gòu)

(點擊放大圖像)

這是上海通用汽車的一個數(shù)據(jù)平臺，別看復雜，嚴格意義上來講這是一套EDW的架構(gòu)、在EDS數(shù)據(jù)倉庫中采用的是準三范式的建模方式去構(gòu)建的、大約涉及到十幾種數(shù)據(jù)源，建模中按照某一條主線把數(shù)據(jù)都集成起來

這個數(shù)據(jù)倉庫平臺計劃三年的時間構(gòu)建完畢，第一階段計劃構(gòu)建統(tǒng)統(tǒng)一生性周期視圖、客戶統(tǒng)一視圖的數(shù)據(jù)，完成對數(shù)據(jù)質(zhì)量的摸底與部分實施為業(yè)務(wù)分析與信息共享提供基礎(chǔ)平臺。第二階段是完成主要業(yè)務(wù)數(shù)據(jù)集成與視圖統(tǒng)一，初步實現(xiàn)企業(yè)績效管理。第三階段全面完善企業(yè)級數(shù)據(jù)倉庫，實現(xiàn)核心業(yè)務(wù)的數(shù)據(jù)統(tǒng)一。

在第一階段數(shù)據(jù)倉庫中的數(shù)據(jù)再次通過階梯型高度聚合進入到數(shù)據(jù)集市DM（非挖掘集市）中，完成對業(yè)務(wù)的支撐。

數(shù)據(jù)的ETL 采用datastage 工具開發(fā)（備注 大約06年我寫了國內(nèi)最早的版本datastage 指南 大約190頁叫“datastage 學習版文檔”。后來沒再堅持下來）。

數(shù)據(jù)集市架構(gòu)

(點擊放大圖像)

(點擊放大圖像)

這個是國內(nèi)某銀行的一套數(shù)據(jù)集市，這是一個典型數(shù)據(jù)集市的架構(gòu)模式、面向客戶經(jīng)理部門的考慮分析。

數(shù)據(jù)倉庫混合性架構(gòu)(Cif)

(點擊放大圖像)

(點擊放大圖像)

這是太平洋保險的數(shù)據(jù)平臺，目前為止我認識的很多人都在該項目中呆過，當然是保險類的項目。

回過頭來看該平臺架構(gòu)顯然是一個混合型的數(shù)據(jù)倉庫架構(gòu)。它有混合數(shù)據(jù)倉庫的經(jīng)典結(jié)構(gòu)，每一個層次功能定義的非常明確。

ODS層 支撐單一的客戶視圖，是一個偏操作行的做唯一客戶識別的，同時提供高可用戶性客戶主信息查詢。

EDW層基于IIW（IBM的通用模型去整理與實施）最細粒度、原子、含歷史的數(shù)據(jù)，也支持查詢。

各業(yè)務(wù)數(shù)據(jù)集市(DM) 面向詳細業(yè)務(wù)，采用雪花/星型模型去做設(shè)計的支撐OLAP、Report、儀表盤等數(shù)據(jù)展現(xiàn)方式。

新一代架構(gòu)OPDM 操作型數(shù)據(jù)集市(倉庫)

OPDM大約是在2011年提出來的，嚴格上來說，OPDM 操作型數(shù)據(jù)集市（倉庫）是實時數(shù)據(jù)倉庫的一種，他更多的是面向操作型數(shù)據(jù)而非歷史數(shù)據(jù)查詢與分析。

在這里很多人會問到什么是操作型數(shù)據(jù)？首先來看操作型數(shù)據(jù)支持的企業(yè)日常運作的比如財務(wù)系統(tǒng)、Crm系統(tǒng)、營銷系統(tǒng)生產(chǎn)系統(tǒng)，通過某一種機制實時的把這些數(shù)據(jù)在各孤島數(shù)據(jù)按照業(yè)務(wù)的某個層次有機的自動化整合在一起，提供業(yè)務(wù)監(jiān)控與指導。在2016年的今天看來OPDM在互聯(lián)網(wǎng)很多企業(yè)已經(jīng)實現(xiàn)了，但是在當時的技術(shù)上還是稍微困難點的。

下篇，我們將講述非互聯(lián)網(wǎng)數(shù)據(jù)平臺的核心數(shù)據(jù)模型。敬請關(guān)注；

關(guān)于作者

松子（李博源） ，自由撰稿人，數(shù)據(jù)產(chǎn)品&數(shù)據(jù)分析總監(jiān)。2000年開始數(shù)據(jù)領(lǐng)域，從業(yè)傳統(tǒng)制造業(yè)、銀行、保險、第三方支付&互聯(lián)網(wǎng)金融、在線旅行、移動互聯(lián)網(wǎng)行業(yè) ； 個人沉淀在大數(shù)據(jù)產(chǎn)品、大數(shù)據(jù)分析、數(shù)據(jù)模型領(lǐng)域；歡迎關(guān)注個人微信訂閱號：songzi2016。

感謝杜小芳對本文的審校。

給InfoQ中文站投稿或者參與內(nèi)容翻譯工作，請郵件至editors@cn.infoq.com。也歡迎大家通過新浪微博（@InfoQ，@丁曉昀），微信（微信號：InfoQChina）關(guān)注我們。