iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

dbt 修煉之路 系列

從原本不知道 dbt 是什麼,因工作上需要用 dbt,開始翻 dbt 文件和討論論壇,意外發現很多好用的功能。這一系列文章將會介紹 dbt 進階應用(macro, materialization 等),以及如何開發 dbt CI/CD

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文 團隊資料工程師甘苦談
DAY 1

鐵人賽系列文章介紹

我是 Migo 的資料工程師 Joshua,我們團隊在我加入前已導入 dbt 並使用一段時間,前期導入和基本使用可以參考我的大神同事 Bruce 去年在鐵人賽發...

2024-09-15 ‧ 由 joshua_lin 分享
DAY 2

dbt Macro

dbt macro 介紹 macro 是 dbt 中非常重要的功能。本文以及後續幾篇文章將深入探討 dbt 中的 macro,包括其基本概念、使用場景、內建 m...

2024-09-16 ‧ 由 joshua_lin 分享
DAY 3

Macro 基礎用法

在上一篇文章中,我們介紹了 macro 的概念以及何時需要使用它。本篇將深入探討如何在各種情境中撰寫 macro。 重複語法 當 SQL 中出現大量重複語法時,...

2024-09-17 ‧ 由 joshua_lin 分享
DAY 4

dbt 內建 macros (上)

上一篇介紹了建立 macro 的情境及如何撰寫,本篇將探討 dbt 內建的 macros。 dbt 提供了眾多內建 macros,大幅提升了代碼的可重用性和維護...

2024-09-18 ‧ 由 joshua_lin 分享
DAY 5

dbt 內建 macro(下)

上一篇介紹了 ref, source, config 三個內建 macro,本篇繼續介紹內建 macro 以及我們團隊如何根據使用情境來改寫 macro。 ge...

2024-09-19 ‧ 由 joshua_lin 分享
DAY 6

在 dbt 管理 BigQuery UDF (上)

BQ UDF 介紹 BigQuery 有個功能是 UDF(User Define Function) ,是用創建自定義函數,並且在 Query 時能夠呼叫。 U...

2024-09-20 ‧ 由 joshua_lin 分享
DAY 7

在 dbt 管理 BigQuery UDF (下)

上一篇介紹了 BigQuery UDF 以及為何我們團隊想要在 dbt 上實作,這篇就來介紹是如何透過 macro 來實際實作。 創建 ddl_generat...

2024-09-21 ‧ 由 joshua_lin 分享
DAY 8

用 macro 管理 BQ UDF 的缺點

上篇文章提到我們團隊是如何使用 macro 來在 dbt 上開發 BQ UDF,雖然有達到目的,但使用 macro 開發也有以下幾個缺點: 無法管理 UDF...

2024-09-22 ‧ 由 joshua_lin 分享
DAY 9

實作 dbt materialization

如何建立 materialization materialization 的寫法跟 macro 很類似,都是使用 jinja 語法,僅在開頭結尾有差異(macr...

2024-09-23 ‧ 由 joshua_lin 分享
DAY 10

透過 materialization 來實作 BQ UDF

在前幾篇文章有介紹 BigQuery UDF 用 macro 實作的方法,但這方法同樣也衍生了很多缺點,而這些缺點如果改用 model 來開發 UDF 就能解決...

2024-09-24 ‧ 由 joshua_lin 分享