iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
AI & Data

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享 系列

以資料工程師的角度,透過 dbt core 及周邊 package 優化複雜的資料倉儲心路歷程
以及在 data pipeline 的水肥路上碰到的大小事分享

鐵人鍊成 | 共 30 篇文章 | 5 人訂閱 訂閱系列文 RSS系列文 團隊dbt 和 dbt 以外有趣的事
DAY 11

data quality 系列 - dbt test 原理、使用方式

dbt test 基本介紹 前面的 dbt 核心功能指令有哪些? 要怎麼使用? 提到 dbt test 的基本功能,用於確保 data transforma...

2023-09-26 ‧ 由 brucehau 分享
DAY 12

data quality 系列 - dbt test 常用的 package: dbt.utils 介紹

dbt package 是什麼? dbt package 如同寫 python 可以匯入開源套件,幫助你節省自己寫 dbt 語法的時間,package 除了上...

2023-09-27 ‧ 由 brucehau 分享
DAY 13

data quality 系列 - 怎麼儲存和查詢 dbt test 結果?

dbt artifacts 是什麼? dbt artifacts 是執行 dbt 指令後,像是 dbt run, dbt test 會產生的各種 json 檔,...

2023-09-28 ‧ 由 brucehau 分享
DAY 14

data quality 系列 - 如何透過 elementary 通知 dbt test 結果?

elementary 是什麼? 上一篇 “data quality 系列 - 怎麼儲存和查詢 dbt test 結果?” 介紹 dbt test —store_...

2023-09-29 ‧ 由 brucehau 分享
DAY 15

如何使用 dbt incremental 增量更新你的資料?

如何使用 dbt incremental 增量更新你的資料? dbt incremental 定義 dbt 用增量的方式更新你的資料。平常若你沒特別設定,dbt...

2023-09-30 ‧ 由 brucehau 分享
DAY 16

dbt snapshot 介紹 - 怎麼設定? 各種 snapshot 策略有什麼差異? 有什麼要注意的?

dbt snapshot 介紹 - 怎麼設定? 各種 snapshot 策略有什麼差異? 有什麼要注意的? dbt snapshots 是什麼? dbt sna...

2023-10-01 ‧ 由 brucehau 分享
DAY 17

dbt Core 基礎部署架構

dbt Cloud & dbt Core 怎麼選擇? 提到 dbt Core 須自行建置 architecture,那我要怎麼開始呢? 先回到 dbt...

2023-10-02 ‧ 由 brucehau 分享
DAY 18

dbt 要部署前做的 CI 項目有哪些?怎麼做?

根據前面提到的 dbt Core 架構, CI/CD 是必須的流程,也是 dbt Cloud 在 deploy 前可以設定的流程,那用 dbt Core 要做什...

2023-10-03 ‧ 由 brucehau 分享
DAY 19

dbt CD 項目及完整 CICD 流程

上一篇提到 dbt 的 CI 檢查項目,接下來 CI 過了要自動 deploy,dbt deploy 要做什麼以及有什麼注意事項嗎? deploy 到正式環...

2023-10-04 ‧ 由 brucehau 分享
DAY 20

dbt 學習資源

看完一系列的文章,還想要持續學習 dbt 知識要去哪裡呢? 官方文件初次學習以及碰到問題會優先查找官方文件,除了他會不時更新資訊,也可以選擇不同 dbt 版...

2023-10-05 ‧ 由 brucehau 分享