大家好,我是Stacy,目前任職於 Teamson 的 IT 部門。工作職掌除了軟體開發、ERP support 之外,也包含 data 相關專案。 去年10月...
dbt_project.yml 是什麼? dbt_project.yml 是 dbt 執行時最重要的設定檔,他讓 dbt 知道這個資料夾下是 dbt proje...
哪裡可以設定 dbt model 結果形式(materialized) dbt 是個很彈性的工具,像是光一個 model 要設定形式是 table or vie...
根據官方文件、Quickstart 安裝好 dbt 之後,我們要怎麼使用呢? 首先要介紹 dbt 核心功能指令 dbt run dbt run dbt 就是最...
相對於 dbt Cloud 為 dbt Labs 提供的 SaaS solution,dbt Core 為 free open source solution,...
看完一系列的文章,還想要持續學習 dbt 知識要去哪裡呢? 官方文件初次學習以及碰到問題會優先查找官方文件,除了他會不時更新資訊,也可以選擇不同 dbt 版...
這篇稍微進階,但對你在寫 dbt 對應 data warehouse 命名管理很有幫助 首先我們定義好專有名詞,以dbt 使用 bigquery 為例 定...
昨天聊了 dbt Core 在本機開發的基本操作,但和 dbt Cloud 相比起來,還是麻煩很多。 今天要來介紹一個常用的 VS Code extension...
本篇為延續 “ 常用的 dbt 指令參數(上)” 的下集 --target --target 參數允許您指定要運行的目標,例如 prod(生產環境)或 de...
dbt test 基本介紹 前面的 dbt 核心功能指令有哪些? 要怎麼使用? 提到 dbt test 的基本功能,用於確保 data transforma...
今天要在聊 dbt Core 如何執行基本的 dbt 操作。在本機的 VS Code 或其他 IDE 開發,與 dbt Cloud 不同,沒有瀏覽器的 GUI...
dbt snapshot 介紹 - 怎麼設定? 各種 snapshot 策略有什麼差異? 有什麼要注意的? dbt snapshots 是什麼? dbt sna...
dbt alias 是什麼? dbt alias 是指自定義 table 名稱的方法,dbt 會預設 database 的 table 名稱為你的 mode...
上一篇提到 dbt 的 CI 檢查項目,接下來 CI 過了要自動 deploy,dbt deploy 要做什麼以及有什麼注意事項嗎? deploy 到正式環...
現在我們要開始用 dbt 了,看官方文件介紹後可以發現 dbt 產品有分 dbt Cloud 和 dbt Core,dbt Cloud 洋洋灑灑介紹9行,還有一...
dbt Cloud & dbt Core 怎麼選擇? 提到 dbt Core 須自行建置 architecture,那我要怎麼開始呢? 先回到 dbt...
dbt 文檔和 model 關係圖 dbt docs dbt docs 指令用於生成 dbt 專案的文檔網站。這個文檔網站包含有關 model、SQL 語法、t...
dbt 的語法不只是 SQL,在 dbt 我們除了單純的 SQL 之外也混用了 Jinja 語法。之前幾天用過的 {{ ref('model_name') }}...
dbt 指令 flag dbt 指令 flag 是你跑 dbt run 一定會寫到的東西,因為他可以幫你達成很多事 —select —exclude --s...
如何使用 dbt incremental 增量更新你的資料? dbt incremental 定義 dbt 用增量的方式更新你的資料。平常若你沒特別設定,dbt...
先前我們在 DAY 06 說明了兩種基本的 materializations: view 和 table。今天要來介紹另一個 materialization:...
dbt package 是什麼? dbt package 如同寫 python 可以匯入開源套件,幫助你節省自己寫 dbt 語法的時間,package 除了上...
elementary 是什麼? 上一篇 “data quality 系列 - 怎麼儲存和查詢 dbt test 結果?” 介紹 dbt test —store_...
根據前面提到的 dbt Core 架構, CI/CD 是必須的流程,也是 dbt Cloud 在 deploy 前可以設定的流程,那用 dbt Core 要做什...
當使用 dbt 遇到 error 怎麼辦呢?以下提供本人常用的途徑 可自己解決去哪 debug? model SQL 寫錯→去 target/compiled/...
在 SQL 資料庫,我們有時會利用 Stored Procedures 及 User-defined Functions,將邏輯寫成可以重複利用的元件。在 db...
在 DAY 07 我們曾討論過在 dbt Cloud 要如何建立定時排程。那麼如果我們用的是 dbt Core,該怎麼做呢? 許多團隊會使用 Airflow,...
dbt artifacts 是什麼? dbt artifacts 是執行 dbt 指令後,像是 dbt run, dbt test 會產生的各種 json 檔,...
如果在 SQL 想要列出所有的 tables, views 或 columns,我們可以使用 information_schema。 若是在作業系統中想要 pr...
今天要往更下游走,Exposures 可以理解為 dbt 的 output,也就是說經過 dbt 轉換的資料都被用在哪些地方,例如我們在 Teamson 是以...