iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
AI & Data

dbt: 告別過時的SQL開發流程 系列

這幾年我一直從事以SQL為主的data工作,想改良現有的資料流程,卻不知如何下手。直到認識了dbt,才看到一線曙光。如果你也和過去的我一樣,在data之路感到迷惘,希望本系列文章能對你有幫助。

鐵人鍊成 | 共 30 篇文章 | 22 人訂閱 訂閱系列文 RSS系列文 團隊dbt 和 dbt 以外有趣的事
DAY 1

DAY 01 - 前言

大家好,我是Stacy,目前任職於 Teamson 的 IT 部門。工作職掌除了軟體開發、ERP support 之外,也包含 data 相關專案。 去年10月...

2023-09-16 ‧ 由 Stacy Lo 分享
DAY 2

DAY 02 - dbt Cloud 準備工作:BigQuery、GitHub

本系列文選用 BigQuery 以及 GitHub。因此在正式開始之前,今天我們要先把帳號及準備好。 BigQuery 建立 Google 帳號 申請 Goo...

2023-09-17 ‧ 由 Stacy Lo 分享
DAY 3

DAY 03 - dbt Cloud 入門 (1) - 申請帳號、建立專案

今天要來建立一個免費的 dbt Cloud 帳號,並連結昨天所建立的 BigQuery 以及 GitHub repo。這些步驟大部分都是可以重複操作的,建壞了可...

2023-09-18 ‧ 由 Stacy Lo 分享
DAY 4

DAY 04 - dbt Cloud 入門 (2) - 初始化專案、建立 Model

昨天,我們申請了 dbt Cloud 的帳號,並建立了專案。 dbt Cloud 的功能主要分為 Develop(開發) 和 Deploy(佈署)兩塊。這幾天我...

2023-09-19 ‧ 由 Stacy Lo 分享
DAY 5

DAY 05 - dbt Cloud 入門 (3) - Modularize Our dbt Models

昨天我們在 dbt Cloud 把我們的專案建立起來了,目前只有一個 model: customers。今天的主題 Modularize Our dbt Mod...

2023-09-20 ‧ 由 Stacy Lo 分享
DAY 6

DAY 06 - dbt Cloud 入門 (4) - dbt run、materializations

前兩天建立的 model: customers 以顧客主檔為主,關聯 orders,將每位顧客的第一次消費日期、最近消費日期、總訂單數量,合為一個查詢。 那麼,...

2023-09-21 ‧ 由 Stacy Lo 分享
DAY 7

DAY 07 - dbt Cloud 入門 (5) - dbt Cloud Deployment

前幾天我們聊的是 Develop,今天我們要暫時進入 Deploy 的部份。 在開始之前,務必把前幾天的異動提交並 merge to the main bra...

2023-09-22 ‧ 由 Stacy Lo 分享
DAY 8

DAY 08 - dbt Cloud 入門 (6) - 加入 tests, dbt test & dbt build

今天的主題是 tests。dbt 有很多種 test 的方法,今天只講最基本內建的 generic tests (舊名 schema tests),只要在 ya...

2023-09-23 ‧ 由 Stacy Lo 分享
DAY 9

DAY 09 - dbt Cloud 入門 (7) - 產出及查看 dbt 文件 (dbt docs generate )

今日及明日的主題是 dbt documentation。 常聽到許多 data 部門,由於多人分工,團隊之間資訊難以流通。這時候,就會想要找工具、製作文件。一個...

2023-09-24 ‧ 由 Stacy Lo 分享
DAY 10

DAY 10 - dbt Cloud 入門 (8) - 如何閱讀及編輯 dbt 文件

昨天我們示範了如何產生及檢視文件。今天除了介紹文件裡面的內容,也會說明如何加入 model 以及欄位的說明。 開發區和正式區的 Documentation,版面...

2023-09-25 ‧ 由 Stacy Lo 分享