iT邦幫忙

2023 iThome 鐵人賽

DAY 17
1

dbt Cloud & dbt Core 怎麼選擇? 提到 dbt Core 須自行建置 architecture,那我要怎麼開始呢?

先回到 dbt Cloud 介紹的架構

https://ithelp.ithome.com.tw/upload/images/20231002/20162689dJbKQmHojD.png

source: dbt Cloud Architecture

我們可以先確定哪選幾個項目是非做不可

  1. git: 結合 git 或 bitbucket 做版本控管
  2. 執行環境 : 需要一個環境,不論是 VM 或是 docker ,只要能執行 dbt run 就可以
  3. CI 流程: 上圖看不出來但很重要的一個環節是 CI(Continuous Integration),當你每次更新 models 到正式環境前時都需要檢驗是否有錯誤
  4. CD 流程: 當 CI 通過後你的 dbt models 在 git 上,自動 deployment 流程讓團隊更專注於開發

我們來畫成圖

https://ithelp.ithome.com.tw/upload/images/20231002/20162689Q1CGiwKyoP.jpg

這樣就是有 CI/CD, 版本控管, scheduler(VM crontab) 以及可以跑 dbt 的架構囉!

上面的架構有沒有優化的空間? 可能有以下幾個面向

  • dbt 執行安裝: dbt 是需要安裝的程式,我們可以不用管安裝和更新流程嗎?
  • dbt 檔案: 正式環境檔案有沒有備份機制? 能否借助其他雲端儲存平台?

我們下篇介紹優化後的架構


上一篇
dbt snapshot 介紹 - 怎麼設定? 各種 snapshot 策略有什麼差異? 有什麼要注意的?
下一篇
dbt 要部署前做的 CI 項目有哪些?怎麼做?
系列文
如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言