從原本不知道 dbt 是什麼,因工作上需要用 dbt,開始翻 dbt 文件和討論論壇,意外發現很多好用的功能。這一系列文章將會介紹 dbt 進階應用(macro, materialization 等),以及如何開發 dbt CI/CD
今天先從整個自動化檢查架構講起,我把這個自動化檢查流程叫做 pr-check,寫成一個套件提供不同 repo 的 PR 檢查函式,目前專注於 dbt 的部分,未...
在介紹架構的文章中有提到 Generator 是負責動態產生 PR 報告檔案,本篇的內文將會詳細介紹如何使用Jinja模板和Python來動態生成 PR 檢查報...
繼上一篇介紹如何透過 Jinja 模板產生報告的 Generator 模組,本篇要來介紹負責產生檢查報告資料的 Operators 模組 Operator...
為什麼需要 Git Diff Operator? 在前一篇文章中,我們介紹了 dbt_operator 及其檢索異動 models 的功能。有讀者可能會問:「g...
在 dbt 自動化檢查系列文章中,我們已經介紹了 dbt_operator 和 git_diff_operator,這兩個模組主要用於識別異動的 models。...
在上一篇文章中,我們介紹了 BigQuery Operator 的基本概念和資料筆數檢查機制。本篇將介紹另一個重要的檢查項目:孤兒物件。這個項目對於維護數據倉庫...
在前面幾篇裡介紹了我們在 dbt Ci/CD pipeline 中使用的工具、指令和套件: dbt target:區分 dbt 的執行環境 dbt state...
dbt Unit Test 介紹 在 dbt 推出 1.8 版本(目前最新版本)時,也同時推出了新功能 - Unit Test,在介紹 dbt Unit Tes...
上一篇介紹了 dbt Unit Test 概念以及使用的時機,這篇將介紹如何寫 dbt Unit Test,以及如何執行 Unit Testing Model...
終於來到最後一天!,在過去的 29 天裡,介紹了 dbt的進階應用,涵蓋了多個重要面向: dbt macro 如何使用 macro 使用 macro 管理...