iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
AI & Data

dbt: 告別過時的SQL開發流程 系列

這幾年我一直從事以SQL為主的data工作,想改良現有的資料流程,卻不知如何下手。直到認識了dbt,才看到一線曙光。如果你也和過去的我一樣,在data之路感到迷惘,希望本系列文章能對你有幫助。

鐵人鍊成 | 共 30 篇文章 | 22 人訂閱 訂閱系列文 RSS系列文 團隊dbt 和 dbt 以外有趣的事
DAY 11

DAY 11 - dbt Cloud 入門 (9) - dbt Seeds

dbt Seeds 是一個可以把手動維護的 mapping table 加入 dbt 專案/流程的好東西。 case when 或者 mapping tabl...

2023-09-26 ‧ 由 Stacy Lo 分享
DAY 12

DAY 12 - dbt Cloud 入門 (10) - dbt Commands 小整理

今天,我想將到目前為止提到過的指令,做個小整理,並且重新介紹。 run seed test build docs 另外還有兩個我個人會使用,但和 packa...

2023-09-27 ‧ 由 Stacy Lo 分享
DAY 13

DAY 13 - dbt Cloud 入門 (11) - dbt Cloud IDE 介面及功能介紹

雖然我們已經在 dbt Cloud 玩了好幾天,但今天才要正式介紹 Cloud IDE 的介面。 快捷鍵 一般 Ctrl + P: 開啟 Command...

2023-09-28 ‧ 由 Stacy Lo 分享
DAY 14

DAY 14 - dbt 中階 (1) - dbt Jinja

dbt 的語法不只是 SQL,在 dbt 我們除了單純的 SQL 之外也混用了 Jinja 語法。之前幾天用過的 {{ ref('model_name') }}...

2023-09-29 ‧ 由 Stacy Lo 分享
DAY 15

DAY 15 - dbt 中階 (2) - dbt Macros

在 SQL 資料庫,我們有時會利用 Stored Procedures 及 User-defined Functions,將邏輯寫成可以重複利用的元件。在 db...

2023-09-30 ‧ 由 Stacy Lo 分享
DAY 16

DAY 16 - dbt 中階 (3) - dbt Packages

昨天 DAY 15 談的是如何開發 macro。今天要聊的是在 dbt 如何安裝及使用 packages,使用別人寫好的 macro。 dbt Packages...

2023-10-01 ‧ 由 Stacy Lo 分享
DAY 17

DAY 17 - dbt 中階 (4) - dbt Graph

如果在 SQL 想要列出所有的 tables, views 或 columns,我們可以使用 information_schema。 若是在作業系統中想要 pr...

2023-10-02 ‧ 由 Stacy Lo 分享
DAY 18

DAY 18 - dbt 中階 (5) - Singular Tests & 儲存 Test 失敗的資料

在 DAY 08 我們示範了最基本的 Generic tests。DAY 16 也提到了除了內建的 Generic Tests 外,也可以額外安裝 Packag...

2023-10-03 ‧ 由 Stacy Lo 分享
DAY 19

DAY 19 - dbt 中階 (6) - Incremental Materializations

先前我們在 DAY 06 說明了兩種基本的 materializations: view 和 table。今天要來介紹另一個 materialization:...

2023-10-04 ‧ 由 Stacy Lo 分享
DAY 20

DAY 20 - dbt 中階 (7) - Exposures 及 Custom Outputs

今天要往更下游走,Exposures 可以理解為 dbt 的 output,也就是說經過 dbt 轉換的資料都被用在哪些地方,例如我們在 Teamson 是以...

2023-10-05 ‧ 由 Stacy Lo 分享