鐵人檔案
從原本不知道 dbt 是什麼，因工作上需要用 dbt，開始翻 dbt 文件和討論論壇，意外發現很多好用的功能。這一系列文章將會介紹 dbt 進階應用（macro, materialization 等），以及如何開發 dbt CI/CD
我是 Migo 的資料工程師 Joshua，我們團隊在我加入前已導入 dbt 並使用一段時間，前期導入和基本使用可以參考我的大神同事 Bruce 去年在鐵人賽發...
dbt macro 介紹 macro 是 dbt 中非常重要的功能。本文以及後續幾篇文章將深入探討 dbt 中的 macro，包括其基本概念、使用場景、內建 m...
在上一篇文章中，我們介紹了 macro 的概念以及何時需要使用它。本篇將深入探討如何在各種情境中撰寫 macro。 重複語法 當 SQL 中出現大量重複語法時，...
上一篇介紹了建立 macro 的情境及如何撰寫，本篇將探討 dbt 內建的 macros。 dbt 提供了眾多內建 macros，大幅提升了代碼的可重用性和維護...
上一篇介紹了 ref, source, config 三個內建 macro，本篇繼續介紹內建 macro 以及我們團隊如何根據使用情境來改寫 macro。 ge...
BQ UDF 介紹 BigQuery 有個功能是 UDF(User Define Function) ，是用創建自定義函數，並且在 Query 時能夠呼叫。 U...
上一篇介紹了 BigQuery UDF 以及為何我們團隊想要在 dbt 上實作，這篇就來介紹是如何透過 macro 來實際實作。 創建 ddl_generat...
上篇文章提到我們團隊是如何使用 macro 來在 dbt 上開發 BQ UDF，雖然有達到目的，但使用 macro 開發也有以下幾個缺點： 無法管理 UDF...
如何建立 materialization materialization 的寫法跟 macro 很類似，都是使用 jinja 語法，僅在開頭結尾有差異（macr...
在前幾篇文章有介紹 BigQuery UDF 用 macro 實作的方法，但這方法同樣也衍生了很多缺點，而這些缺點如果改用 model 來開發 UDF 就能解決...
