iT邦幫忙

2023 iThome 鐵人賽

DAY 6
1

dbt 文檔和 model 關係圖

dbt docs

dbt docs 指令用於生成 dbt 專案的文檔網站。這個文檔網站包含有關 model、SQL 語法、test 和lineage 關係…等的詳細資訊,你寫的 table, column, test description 都會在這個靜態頁面。它是團隊協作和理解資料流程的有用工具

產生 dbt 文件

dbt docs generate

想在本機用瀏覽器看 dbt 文件,可執行以下指令

dbt docs serve

然後你的瀏覽器就會在 8080 port 開一個靜態網頁看到 dbt 文件和 lineage 圖
https://ithelp.ithome.com.tw/upload/images/20230921/20162689Xl8LyRld89.png

詳細參數可參考官方文件,例如變更 port 可加 flag dbt docs serve —port 8001

model lineage 圖

關係圖是 dbt 的一個特色,也是 Migo data team 導入 dbt 的原因之一。它可以視覺化 model 之間的數據流程,幫助我們理解資料流程的結構和依賴關係。你可以使用 model 關係圖來追蹤數據源頭和目的地,當你的 table 很多又很多複雜 join 關係, dbt lineage 圖可以幫你疏理 table,要做 refactor 是很有幫助的工具

使用流程:

1.點入 dbt docs 右下角的 view lineage,就會進入看關係圖的頁面

https://ithelp.ithome.com.tw/upload/images/20230921/201626894psusTaz3j.png

一開始會顯示所有 model,若你的 model 太多會顯的太繁雜

https://ithelp.ithome.com.tw/upload/images/20230921/20162689P6YQyqysNd.png

這時你可以善用下方的篩選功能,使用 tags 或用 —select 自己輸入篩選條件, —select 的使用說明在這篇介紹

https://ithelp.ithome.com.tw/upload/images/20230921/20162689HlRZcb5p0C.png

篩選完後再按 “update graph” 就會剩下篩選結果的 model

https://ithelp.ithome.com.tw/upload/images/20230921/20162689rGFCjmeGNK.png

有了 lineage 的關係圖你就可以好好檢視你的資料流程是否還有需要改善的地方囉!


上一篇
dbt 各種設定是什麼? 要寫在哪? 怎麼寫?
下一篇
常用的 dbt 指令參數介紹(上)
系列文
如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言