iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

4 Like 7 留言 1312 瀏覽

鐵人賽 AI & Data DAY 1

dbt: 告別過時的SQL開發流程系列第 1 篇

技術 DAY 01 - 前言

大家好，我是Stacy，目前任職於 Teamson 的 IT 部門。工作職掌除了軟體開發、ERP support 之外，也包含 data 相關專案。去年10月...

Stacy Lo ‧ 2023-09-16 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 1076 瀏覽

鐵人賽 AI & Data DAY 2

dbt: 告別過時的SQL開發流程系列第 2 篇

技術 DAY 02 - dbt Cloud 準備工作：BigQuery、GitHub

本系列文選用 BigQuery 以及 GitHub。因此在正式開始之前，今天我們要先把帳號及準備好。 BigQuery 建立 Google 帳號申請 Goo...

Stacy Lo ‧ 2023-09-17 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 980 瀏覽

鐵人賽 AI & Data DAY 5

dbt: 告別過時的SQL開發流程系列第 5 篇

技術 DAY 05 - dbt Cloud 入門 (3) - Modularize Our dbt Models

昨天我們在 dbt Cloud 把我們的專案建立起來了，目前只有一個 model: customers。今天的主題 Modularize Our dbt Mod...

Stacy Lo ‧ 2023-09-20 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 749 瀏覽

鐵人賽 AI & Data DAY 4

dbt: 告別過時的SQL開發流程系列第 4 篇

技術 DAY 04 - dbt Cloud 入門 (2) - 初始化專案、建立 Model

昨天，我們申請了 dbt Cloud 的帳號，並建立了專案。 dbt Cloud 的功能主要分為 Develop（開發）和 Deploy（佈署）兩塊。這幾天我...

Stacy Lo ‧ 2023-09-19 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 703 瀏覽

鐵人賽 AI & Data DAY 6

dbt: 告別過時的SQL開發流程系列第 6 篇

技術 DAY 06 - dbt Cloud 入門 (4) - dbt run、materializations

前兩天建立的 model: customers 以顧客主檔為主，關聯 orders，將每位顧客的第一次消費日期、最近消費日期、總訂單數量，合為一個查詢。那麼，...

Stacy Lo ‧ 2023-09-21 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 702 瀏覽

鐵人賽 AI & Data DAY 3

dbt: 告別過時的SQL開發流程系列第 3 篇

技術 DAY 03 - dbt Cloud 入門 (1) - 申請帳號、建立專案

今天要來建立一個免費的 dbt Cloud 帳號，並連結昨天所建立的 BigQuery 以及 GitHub repo。這些步驟大部分都是可以重複操作的，建壞了可...

Stacy Lo ‧ 2023-09-18 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 684 瀏覽

鐵人賽 AI & Data DAY 14

dbt: 告別過時的SQL開發流程系列第 14 篇

技術 DAY 14 - dbt 中階 (1) - dbt Jinja

dbt 的語法不只是 SQL，在 dbt 我們除了單純的 SQL 之外也混用了 Jinja 語法。之前幾天用過的 {{ ref('model_name') }}...

Stacy Lo ‧ 2023-09-29 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 621 瀏覽

鐵人賽 AI & Data DAY 2

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享系列第 2 篇

技術 dbt Cloud & dbt Core 怎麼選擇?

現在我們要開始用 dbt 了，看官方文件介紹後可以發現 dbt 產品有分 dbt Cloud 和 dbt Core，dbt Cloud 洋洋灑灑介紹9行，還有一...

brucehau ‧ 2023-09-17 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 3 留言 606 瀏覽

鐵人賽 AI & Data DAY 9

dbt: 告別過時的SQL開發流程系列第 9 篇

技術 DAY 09 - dbt Cloud 入門 (7) - 產出及查看 dbt 文件 (dbt docs generate )

今日及明日的主題是 dbt documentation。常聽到許多 data 部門，由於多人分工，團隊之間資訊難以流通。這時候，就會想要找工具、製作文件。一個...

Stacy Lo ‧ 2023-09-24 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 606 瀏覽

鐵人賽 AI & Data DAY 12

dbt: 告別過時的SQL開發流程系列第 12 篇

技術 DAY 12 - dbt Cloud 入門 (10) - dbt Commands 小整理

今天，我想將到目前為止提到過的指令，做個小整理，並且重新介紹。 run seed test build docs 另外還有兩個我個人會使用，但和 packa...

Stacy Lo ‧ 2023-09-27 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 600 瀏覽

鐵人賽 AI & Data DAY 8

dbt: 告別過時的SQL開發流程系列第 8 篇

技術 DAY 08 - dbt Cloud 入門 (6) - 加入 tests, dbt test & dbt build

今天的主題是 tests。dbt 有很多種 test 的方法，今天只講最基本內建的 generic tests (舊名 schema tests)，只要在 ya...

Stacy Lo ‧ 2023-09-23 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 585 瀏覽

鐵人賽 AI & Data DAY 17

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享系列第 17 篇

技術 dbt Core 基礎部署架構

dbt Cloud & dbt Core 怎麼選擇? 提到 dbt Core 須自行建置 architecture，那我要怎麼開始呢? 先回到 dbt...

brucehau ‧ 2023-10-02 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 2 留言 527 瀏覽

鐵人賽 AI & Data DAY 19

dbt: 告別過時的SQL開發流程系列第 19 篇

技術 DAY 19 - dbt 中階 (6) - Incremental Materializations

先前我們在 DAY 06 說明了兩種基本的 materializations: view 和 table。今天要來介紹另一個 materialization:...

Stacy Lo ‧ 2023-10-04 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 1 留言 481 瀏覽

鐵人賽 AI & Data DAY 11

dbt: 告別過時的SQL開發流程系列第 11 篇

技術 DAY 11 - dbt Cloud 入門 (9) - dbt Seeds

dbt Seeds 是一個可以把手動維護的 mapping table 加入 dbt 專案/流程的好東西。 case when 或者 mapping tabl...

Stacy Lo ‧ 2023-09-26 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 475 瀏覽

鐵人賽 AI & Data DAY 20

dbt: 告別過時的SQL開發流程系列第 20 篇

技術 DAY 20 - dbt 中階 (7) - Exposures 及 Custom Outputs

今天要往更下游走，Exposures 可以理解為 dbt 的 output，也就是說經過 dbt 轉換的資料都被用在哪些地方，例如我們在 Teamson 是以...

Stacy Lo ‧ 2023-10-05 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 1 留言 474 瀏覽

鐵人賽 AI & Data DAY 15

dbt: 告別過時的SQL開發流程系列第 15 篇

技術 DAY 15 - dbt 中階 (2) - dbt Macros

在 SQL 資料庫，我們有時會利用 Stored Procedures 及 User-defined Functions，將邏輯寫成可以重複利用的元件。在 db...

Stacy Lo ‧ 2023-09-30 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 469 瀏覽

鐵人賽 AI & Data DAY 26

dbt: 告別過時的SQL開發流程系列第 26 篇

技術 DAY 26 - dbt Core 入門 (4) - 用 GitHub Actions 建立排程

在 DAY 07 我們曾討論過在 dbt Cloud 要如何建立定時排程。那麼如果我們用的是 dbt Core，該怎麼做呢？許多團隊會使用 Airflow,...

Stacy Lo ‧ 2023-10-11 ‧團隊dbt 和 dbt 以外有趣的事

3 Like 2 留言 466 瀏覽

鐵人賽 AI & Data DAY 17

dbt: 告別過時的SQL開發流程系列第 17 篇

技術 DAY 17 - dbt 中階 (4) - dbt Graph

如果在 SQL 想要列出所有的 tables, views 或 columns，我們可以使用 information_schema。若是在作業系統中想要 pr...

Stacy Lo ‧ 2023-10-02 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 464 瀏覽

鐵人賽 AI & Data DAY 7

dbt: 告別過時的SQL開發流程系列第 7 篇

技術 DAY 07 - dbt Cloud 入門 (5) - dbt Cloud Deployment

前幾天我們聊的是 Develop，今天我們要暫時進入 Deploy 的部份。在開始之前，務必把前幾天的異動提交並 merge to the main bra...

Stacy Lo ‧ 2023-09-22 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 2 留言 451 瀏覽

鐵人賽 AI & Data DAY 16

dbt: 告別過時的SQL開發流程系列第 16 篇

技術 DAY 16 - dbt 中階 (3) - dbt Packages

昨天 DAY 15 談的是如何開發 macro。今天要聊的是在 dbt 如何安裝及使用 packages，使用別人寫好的 macro。 dbt Packages...

Stacy Lo ‧ 2023-10-01 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 450 瀏覽

鐵人賽 AI & Data DAY 22

dbt: 告別過時的SQL開發流程系列第 22 篇

技術 DAY 22 - dbt 中階 (9) - 排程規劃 & Tags

昨日 DAY 21 所討論的專案架構，可能也和我們日常更新的排程規劃有關。依資料來源系統更新在 DAY 12 時有提過，我們在執行 dbt run 或是...

Stacy Lo ‧ 2023-10-07 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 430 瀏覽

鐵人賽 AI & Data DAY 27

實用Modern Data Stack：資料架構案例分析與分享系列第 27 篇

技術開源項目商業化：3 dbt 商業化案例分析（2）

dbt 商業模式轉向近年來，dbt Labs內部應該是了解到了這個問題，而看似是有意識的轉移dbt Cloud的商業定位。最明顯的應該是他們的商業模式改變，從...

Mike Han ‧ 2023-10-12 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 418 瀏覽

鐵人賽 AI & Data DAY 13

dbt: 告別過時的SQL開發流程系列第 13 篇

技術 DAY 13 - dbt Cloud 入門 (11) - dbt Cloud IDE 介面及功能介紹

雖然我們已經在 dbt Cloud 玩了好幾天，但今天才要正式介紹 Cloud IDE 的介面。快捷鍵一般 Ctrl + P: 開啟 Command...

Stacy Lo ‧ 2023-09-28 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 0 留言 398 瀏覽

鐵人賽 AI & Data DAY 10

dbt: 告別過時的SQL開發流程系列第 10 篇

技術 DAY 10 - dbt Cloud 入門 (8) - 如何閱讀及編輯 dbt 文件

昨天我們示範了如何產生及檢視文件。今天除了介紹文件裡面的內容，也會說明如何加入 model 以及欄位的說明。開發區和正式區的 Documentation，版面...

Stacy Lo ‧ 2023-09-25 ‧團隊dbt 和 dbt 以外有趣的事

1 Like 0 留言 397 瀏覽

鐵人賽 AI & Data DAY 25

實用Modern Data Stack：資料架構案例分析與分享系列第 25 篇

技術開源項目商業化：1 開源商業模式簡介

開源軟體商業化模式對許多人來說，“開源軟體”（Open Source Software）可能讓人聯想到網路初期那些充滿熱情的駭客和程式設計師，與這些人對網路烏...

Mike Han ‧ 2023-10-10 ‧團隊dbt 和 dbt 以外有趣的事

2 Like 2 留言 368 瀏覽

鐵人賽 AI & Data DAY 18

dbt: 告別過時的SQL開發流程系列第 18 篇

技術 DAY 18 - dbt 中階 (5) - Singular Tests & 儲存 Test 失敗的資料

在 DAY 08 我們示範了最基本的 Generic tests。DAY 16 也提到了除了內建的 Generic Tests 外，也可以額外安裝 Packag...

Stacy Lo ‧ 2023-10-03 ‧團隊dbt 和 dbt 以外有趣的事

0 Like 0 留言 265 瀏覽

鐵人賽 DevOps DAY 9

我獨自升級：從水管工走向 DataOps 系列第 9 篇

技術【Day 9】數據轉換最悪の世代：DBT 簡介

DBT 的由來 dbt（data build tool）最初由數據諮詢公司 Fishtown Analytics 創建，目的是解決數據轉換和分析工程中的挑戰。...

Shawn ‧ 2024-09-23

1 Like 0 留言 133 瀏覽

鐵人賽 AI/ ML & Data DAY 14

這跟文件說的不一樣！從 0 到 1 導入 dbt 的實戰甘苦談系列第 14 篇

技術 DAY 14 dbt core 跟文件說的不一樣！談為何要自己做 dbt core

我們改用 dbt core 了！理由一：要錢了先不講一些高大上的價值跟理由，一開始急著要研究這個轉移，最關鍵的還是看到這個方案：免費的 develope...

阿晟 ‧ 2024-09-28 ‧團隊資料工程師甘苦談

1 Like 0 留言 89 瀏覽

鐵人賽 AI/ ML & Data DAY 16

這跟文件說的不一樣！從 0 到 1 導入 dbt 的實戰甘苦談系列第 16 篇

技術 DAY 16 排程跟文件說的不一樣！談 dbt 與 Airflow 的協作方法

dbt 的模型，如何用 airflow 來做任務排程工作？ dbt 官方有提供文件說明： Airflow + dbt Cloud Install the db...

阿晟 ‧ 2024-09-30 ‧團隊資料工程師甘苦談