iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

這跟文件說的不一樣!從 0 到 1 導入 dbt 的實戰甘苦談 系列

dbt 近年來是許多數據團隊的熱門選擇,在資料轉換與資料治理的領域中提供很強大的框架去做更好的管理。

從導入 dbt 到現在歷經了一年多的時間,在開發的過程中,我們一路遵循著 dbt 的 best practice guide,但仍然遇到不少取捨或挑戰,因此希望透過這個系列的文章,梳理在整趟旅程中的各種甘苦談。

在這邊我會盡可能略過在文件中已經有仔細說明的環節(附上連結讓有興趣的人可以去研究),不再重複討論,而是專注在討論按照文件進行部署時,我們團隊在實戰時面臨的挑戰。

參賽天數 13 天 | 共 13 篇文章 | 4 人訂閱 訂閱系列文 RSS系列文 團隊資料工程師甘苦談
DAY 11

DAY 11 Evaluator 跟文件說的不一樣!談如何評估專案完成度

什麼是開發完成?在小組織營運中,身上總是同時有三五個專案在跑,雖然 dbt 重構是蠻大的一道題目,也不可能讓他永無止盡地做下去,必須有個清楚的 ending 才...

2024-09-25 ‧ 由 阿晟 分享
DAY 12

DAY 12 Incremental 跟文件說的不一樣!談何時該用增量模型

incremental models!(文件) 簡單來說就是從原本的 create or replace table 變成 insert into table,...

2024-09-26 ‧ 由 阿晟 分享
DAY 13

DAY 13 Incremental 跟文件說的不一樣!談增量模型怎麼省不了錢?真不是 BUG?

接著來說說實現 incremental model 省錢的路途上,遇到的問題吧。 首先是 is_incremental 內的寫法,dbt 推薦了一個做法,可以用...

2024-09-27 ‧ 由 阿晟 分享