dbt docs
指令用於生成 dbt 專案的文檔網站。這個文檔網站包含有關 model、SQL 語法、test 和lineage 關係…等的詳細資訊,你寫的 table, column, test description 都會在這個靜態頁面。它是團隊協作和理解資料流程的有用工具
產生 dbt 文件
dbt docs generate
想在本機用瀏覽器看 dbt 文件,可執行以下指令
dbt docs serve
然後你的瀏覽器就會在 8080 port 開一個靜態網頁看到 dbt 文件和 lineage 圖
詳細參數可參考官方文件,例如變更 port 可加 flag dbt docs serve —port 8001
關係圖是 dbt 的一個特色,也是 Migo data team 導入 dbt 的原因之一。它可以視覺化 model 之間的數據流程,幫助我們理解資料流程的結構和依賴關係。你可以使用 model 關係圖來追蹤數據源頭和目的地,當你的 table 很多又很多複雜 join 關係, dbt lineage 圖可以幫你疏理 table,要做 refactor 是很有幫助的工具
使用流程:
1.點入 dbt docs 右下角的 view lineage,就會進入看關係圖的頁面
一開始會顯示所有 model,若你的 model 太多會顯的太繁雜
這時你可以善用下方的篩選功能,使用 tags 或用 —select 自己輸入篩選條件, —select 的使用說明在這篇介紹
篩選完後再按 “update graph” 就會剩下篩選結果的 model
有了 lineage 的關係圖你就可以好好檢視你的資料流程是否還有需要改善的地方囉!