包含基礎設施、架構設計、資料採集(ETL)、主資料管理(MDM)、即時計算、資資料儲存和作業排程等。
- 資料採集(ETL)
外部資料被採集到資料平台,將資料或文件格式資訊上傳,對資料進行即時處理的驗證、清潔、轉換和計算。
- 資料處理
即時處理資料來源在計算"總體統計資料"過程中,可以將主資料系統提交一個資料,將全部主資料導入大數據平台上使用。
對於串流資料來說,在處理原始資料時需要即時獲取主資料,替代主資料系統提供服務。
- 即時處理
- 訊息佇列
- 主資料管理(Master Data Management)
- 串流處理(Stream Processing)
- 批次處理
- 資料服務
將處理後的資料提供給請求端,不同的資料型式適用於不同的資料應用。
- 報表資料庫:傳統關聯式資料庫,提供BI報表工具(D3.js)或各種資料市集(Data Mart)供隨時查詢。
- OLAP引擎:建立立方體(Cube)提供多維度資料模型(Multi-Dimensional Data Model)的即時查詢。
- Web API:透過Web API直接提供前端應用資料
- 資料視覺化
一般應用場景一個是傳統的BI報表工具,另一類網頁(Web Page)或行動應用程式。
- BI報表
開發效率較高。
- 網頁應用、行動應用程式
適合即時性較高的應用。