iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
AI & Data

如何借助 dbt 優化當代資料倉儲及資料工程師的水肥之路分享 系列

以資料工程師的角度,透過 dbt core 及周邊 package 優化複雜的資料倉儲心路歷程
以及在 data pipeline 的水肥路上碰到的大小事分享

鐵人鍊成 | 共 30 篇文章 | 4 人訂閱 訂閱系列文 RSS系列文 團隊dbt 和 dbt 以外有趣的事
DAY 1

為何我們選擇使用 dbt ?

我是 migo data team 的 Data Engineer Bruce ,我們團隊從開始研究 dbt 到實際轉換正式上線已將近一年,之後幾篇將分享 db...

2023-09-16 ‧ 由 brucehau 分享
DAY 2

dbt Cloud & dbt Core 怎麼選擇?

現在我們要開始用 dbt 了,看官方文件介紹後可以發現 dbt 產品有分 dbt Cloud 和 dbt Core,dbt Cloud 洋洋灑灑介紹9行,還有一...

2023-09-17 ‧ 由 brucehau 分享
DAY 3

dbt 核心功能指令有哪些? 要怎麼使用?

根據官方文件、Quickstart 安裝好 dbt 之後,我們要怎麼使用呢? 首先要介紹 dbt 核心功能指令 dbt run dbt run dbt 就是最...

2023-09-18 ‧ 由 brucehau 分享
DAY 4

dbt_project.yml 介紹及寫法

dbt_project.yml 是什麼? dbt_project.yml 是 dbt 執行時最重要的設定檔,他讓 dbt 知道這個資料夾下是 dbt proje...

2023-09-19 ‧ 由 brucehau 分享
DAY 5

dbt 各種設定是什麼? 要寫在哪? 怎麼寫?

哪裡可以設定 dbt model 結果形式(materialized) dbt 是個很彈性的工具,像是光一個 model 要設定形式是 table or vie...

2023-09-20 ‧ 由 brucehau 分享
DAY 6

dbt docs 及 lineage 關係圖介紹

dbt 文檔和 model 關係圖 dbt docs dbt docs 指令用於生成 dbt 專案的文檔網站。這個文檔網站包含有關 model、SQL 語法、t...

2023-09-21 ‧ 由 brucehau 分享
DAY 7

常用的 dbt 指令參數介紹(上)

dbt 指令 flag dbt 指令 flag 是你跑 dbt run 一定會寫到的東西,因為他可以幫你達成很多事 —select —exclude --s...

2023-09-22 ‧ 由 brucehau 分享
DAY 8

如何用 dbt 客製化命名 bigquery dataset? dbt custom schema 原理及使用方式

這篇稍微進階,但對你在寫 dbt 對應 data warehouse 命名管理很有幫助 首先我們定義好專有名詞,以dbt 使用 bigquery 為例 定...

2023-09-23 ‧ 由 brucehau 分享
DAY 9

dbt 如何客製化 bigquery table 命名? dbt custom alias 原理,使用方式及我們的做法

dbt alias 是什麼? dbt alias 是指自定義 table 名稱的方法,dbt 會預設 database 的 table 名稱為你的 mode...

2023-09-24 ‧ 由 brucehau 分享
DAY 10

dbt 指令的參數介紹(下)-如何透過 dbt 變數區分測試環境

本篇為延續 “ 常用的 dbt 指令參數(上)” 的下集 --target --target 參數允許您指定要運行的目標,例如 prod(生產環境)或 de...

2023-09-25 ‧ 由 brucehau 分享