iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

dbt 修煉之路 系列

從原本不知道 dbt 是什麼,因工作上需要用 dbt,開始翻 dbt 文件和討論論壇,意外發現很多好用的功能。這一系列文章將會介紹 dbt 進階應用(macro, materialization 等),以及如何開發 dbt CI/CD

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文 團隊資料工程師甘苦談
DAY 21

dbt 自動化檢查 - 架構

今天先從整個自動化檢查架構講起,我把這個自動化檢查流程叫做 pr-check,寫成一個套件提供不同 repo 的 PR 檢查函式,目前專注於 dbt 的部分,未...

2024-10-05 ‧ 由 joshua_lin 分享
DAY 22

dbt 自動化檢查 - Generator

在介紹架構的文章中有提到 Generator 是負責動態產生 PR 報告檔案,本篇的內文將會詳細介紹如何使用Jinja模板和Python來動態生成 PR 檢查報...

2024-10-06 ‧ 由 joshua_lin 分享
DAY 23

dbt 自動化檢查 - dbt Operator

繼上一篇介紹如何透過 Jinja 模板產生報告的 Generator 模組,本篇要來介紹負責產生檢查報告資料的 Operators 模組 Operator...

2024-10-07 ‧ 由 joshua_lin 分享
DAY 24

dbt 自動化檢查 - Git Diff Operator

為什麼需要 Git Diff Operator? 在前一篇文章中,我們介紹了 dbt_operator 及其檢索異動 models 的功能。有讀者可能會問:「g...

2024-10-08 ‧ 由 joshua_lin 分享
DAY 25

dbt 自動化檢查 - BigQuery Operators(上)

在 dbt 自動化檢查系列文章中,我們已經介紹了 dbt_operator 和 git_diff_operator,這兩個模組主要用於識別異動的 models。...

2024-10-09 ‧ 由 joshua_lin 分享
DAY 26

dbt 自動化檢查 - BigQuery Operators(下)

在上一篇文章中,我們介紹了 BigQuery Operator 的基本概念和資料筆數檢查機制。本篇將介紹另一個重要的檢查項目:孤兒物件。這個項目對於維護數據倉庫...

2024-10-10 ‧ 由 joshua_lin 分享
DAY 27

dbt CI/CD pipeline

在前面幾篇裡介紹了我們在 dbt Ci/CD pipeline 中使用的工具、指令和套件: dbt target:區分 dbt 的執行環境 dbt state...

2024-10-11 ‧ 由 joshua_lin 分享
DAY 28

dbt 新功能: Unit Test

dbt Unit Test 介紹 在 dbt 推出 1.8 版本(目前最新版本)時,也同時推出了新功能 - Unit Test,在介紹 dbt Unit Tes...

2024-10-12 ‧ 由 joshua_lin 分享
DAY 29

如何使用 dbt Unit Test

上一篇介紹了 dbt Unit Test 概念以及使用的時機,這篇將介紹如何寫 dbt Unit Test,以及如何執行 Unit Testing Model...

2024-10-13 ‧ 由 joshua_lin 分享
DAY 30

總結及感想

終於來到最後一天!,在過去的 29 天裡,介紹了 dbt的進階應用,涵蓋了多個重要面向: dbt macro 如何使用 macro 使用 macro 管理...

2024-10-14 ‧ 由 joshua_lin 分享