以資料工程師的角度,透過 dbt core 及周邊 package 優化複雜的資料倉儲心路歷程
以及在 data pipeline 的水肥路上碰到的大小事分享
我是 migo data team 的 Data Engineer Bruce ,我們團隊從開始研究 dbt 到實際轉換正式上線已將近一年,之後幾篇將分享 db...
現在我們要開始用 dbt 了,看官方文件介紹後可以發現 dbt 產品有分 dbt Cloud 和 dbt Core,dbt Cloud 洋洋灑灑介紹9行,還有一...
根據官方文件、Quickstart 安裝好 dbt 之後,我們要怎麼使用呢? 首先要介紹 dbt 核心功能指令 dbt run dbt run dbt 就是最...
dbt_project.yml 是什麼? dbt_project.yml 是 dbt 執行時最重要的設定檔,他讓 dbt 知道這個資料夾下是 dbt proje...
哪裡可以設定 dbt model 結果形式(materialized) dbt 是個很彈性的工具,像是光一個 model 要設定形式是 table or vie...
dbt 文檔和 model 關係圖 dbt docs dbt docs 指令用於生成 dbt 專案的文檔網站。這個文檔網站包含有關 model、SQL 語法、t...
dbt 指令 flag dbt 指令 flag 是你跑 dbt run 一定會寫到的東西,因為他可以幫你達成很多事 —select —exclude --s...
這篇稍微進階,但對你在寫 dbt 對應 data warehouse 命名管理很有幫助 首先我們定義好專有名詞,以dbt 使用 bigquery 為例 定...
dbt alias 是什麼? dbt alias 是指自定義 table 名稱的方法,dbt 會預設 database 的 table 名稱為你的 mode...
本篇為延續 “ 常用的 dbt 指令參數(上)” 的下集 --target --target 參數允許您指定要運行的目標,例如 prod(生產環境)或 de...