iT邦幫忙

2021 iThome 鐵人賽

DAY 10
0
DevOps

中台化轉型系列 第 10

數據中台架構

包含基礎設施、架構設計、資料採集(ETL)、主資料管理(MDM)、即時計算、資資料儲存和作業排程等。

  • 資料採集(ETL)
    外部資料被採集到資料平台,將資料或文件格式資訊上傳,對資料進行即時處理的驗證、清潔、轉換和計算。
  • 資料處理
    即時處理資料來源在計算"總體統計資料"過程中,可以將主資料系統提交一個資料,將全部主資料導入大數據平台上使用。
    對於串流資料來說,在處理原始資料時需要即時獲取主資料,替代主資料系統提供服務。
    • 即時處理
      • 訊息佇列
        • 主資料管理(Master Data Management)
          • 主資料資料庫
        • 串流處理(Stream Processing)
          • NoSQL
    • 批次處理
      • 作業排程
        • 文件系統
  • 資料服務
    將處理後的資料提供給請求端,不同的資料型式適用於不同的資料應用。
    • 報表資料庫:傳統關聯式資料庫,提供BI報表工具(D3.js)或各種資料市集(Data Mart)供隨時查詢。
    • OLAP引擎:建立立方體(Cube)提供多維度資料模型(Multi-Dimensional Data Model)的即時查詢。
    • Web API:透過Web API直接提供前端應用資料
  • 資料視覺化
    一般應用場景一個是傳統的BI報表工具,另一類網頁(Web Page)或行動應用程式。
    • BI報表
      開發效率較高。
    • 網頁應用、行動應用程式
      適合即時性較高的應用。

上一篇
數據中台:實施階段
下一篇
基礎建設: 原始碼版本控制
系列文
中台化轉型30

尚未有邦友留言

立即登入留言