iT邦幫忙

2023 iThome 鐵人賽

DAY 22
1

配合rETL和C-CDP的激活層模型設計

之前提到了資料激活層(Data Activation Layer)在現代資料棧(Modern Data Stack)裡面的概念定位,和rETL/C-CDP工具幾個常用的案例,而激活層的模型設計就是彌合集市層和rETL/C-CDP工具之間的概念和格式差距。

我們將以Census作為rETL/C-CDP工具的例子,並給出與其資料模型相關的SQL/dbt範例。 不同的工具和供應商之間可能存在一些細微的差異,但(至少以我的經驗來說)Census在rETL/C-CDP工具種類裡具有相當的代表性。

Census的實體模型(Entities Model)設計

Census系統上接受三大類特定資料模型

  • User:用戶模型,但其實是泛指任何個人的資料模型。
  • Company:公司或者是組織模型
  • Event:事件模型,概念上相當於事件驅動架構中的事件
    此外,還有一個通用的Generic實體,可用作未指定資料類型的萬能物件。

這幾個主要的資料模型構成了Census系統的基本物件(Object)。所有的實體都需要一個可以當作唯一鍵(Unique Key)的資料列,而事件還需要多加入事件名(Event Name)和時間戳(Timestamp)。

Census還有支持一些支援一些其他功能,主要是關係和分段欄位。這些功能有助於構建更複雜的模型,但一般來說不是特別必要的。

對 dbt 或 data 有興趣 :wave:?歡迎加入 dbt community 到 #local-taipei 找我們,也有實體 Meetup 請到 dbt Taipei Meetup 報名參加


上一篇
隨筆:為什麼VLOOKUP“已排序”參數預設是0? Part 2
下一篇
Reverse ETL & C-CDP:活化你的資料倉庫 Part 5
系列文
實用Modern Data Stack:資料架構案例分析與分享30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言