iT邦幫忙

2021 iThome 鐵人賽

DAY 8
0
DevOps

中台化轉型系列 第 8

數據中台(Data Middle Office)

過去我們可以透過建立資料倉儲系統來統一儲存和處理資料:

• 階段一:
關聯資料庫與資料倉儲,以及商業智慧(BI)和報表工具。
• 階段二:
隨著大數據技術的發展,資料平台有新的發展,特別是在即時資料處理和人工智慧方面的提升。
資料倉儲整合了以大數據技術為基礎的資料湖(Data Lake),更加傾向於"讀時模式(Schema on Read)",而不是關聯式資料庫的"寫時模式(Schema on Write)"進行資料處理。
• 階段三:
以大數據技術為主流,像是Hadoop和Spark生態圈衍生的各種工具和技術場景,並根據自身情況搭配Elasticsearch、MongoDB、Cassandra等資料儲存處理引擎。
具備人工智慧及機器學習的能力,它會收集資料相關知識,並供數據服務供業務應用使用。

數據中台

  • 水平擴張(Horizontal Scaling)能力
    在資料迅速膨脹的今天,具備計算水平擴張的能力是必要的,也是大數據平台的基礎能力。
  • 多租戶技術(Multi-Tenancy Technology)
    整合多通道整合的數據管理能力,並通過各種動態資源分配策略定義,協調各種作業之間的資源使用。
  • 即時資料處理
    通過即時處理將業務情況即時反饋給用戶,極大地提升業務用戶的用戶體驗,即時計算對於業務決策時效性的支援相當重要。
  • 業務決策時效
    過去需要夜間批次處理的業務需求(例如:用戶的風險分析),可以即時計算回饋給業務系統,提高業務處理時效性。
  • 人工智慧及機器學習的資料分析能力
    資料分析能力,一般是由大數據平台上整合相關組件實現的(例如:Spark MLib),並具備演算法資料庫自行擴充能力。
  • 資料倉儲
    資料倉儲是有效的資料管理方法,通過資料收集制度的治理,以提升企資料的質量。
  • 支援多種資料傳輸協定
    平台支援的資料協定方式越多,越能容易整合和對接各業務中心和資訊應用,降低企業成本。
  • 資料治理體系
    企業管理上應該成立相應的機構負責導入數據管理工具,根據預先定義的業務規則週期性的對驗證當前數據,並給出資料質量報告。
  • 資料安全控制
    對敏感數據進行特殊處理,對資料的用戶和讀寫權限有清晰的記錄和追踪,對權限的建立和權限申請有完整的監管機制。

上一篇
中台組織架構
下一篇
數據中台:實施階段
系列文
中台化轉型30

尚未有邦友留言

立即登入留言