技術 DAY 24 - dbt Core 入門 (2) - 在本機開發的基本操作

今天要在聊 dbt Core 如何執行基本的 dbt 操作。在本機的 VS Code 或其他 IDE 開發，與 dbt Cloud 不同，沒有瀏覽器的 GUI...

技術 尋找適合你的資料工具 - Day 3

⛹️‍♀️ 從你的問題開始 當你開始學習數據時，最常出現的第一個問題是如何選擇合適的工具。 我應該學 SQL 還是 Python？ 剛開始時，我是沒有這個問...

技術 用問題來描繪你的學習路徑 - Day 2

保持好奇心進入數據世界是個好的開始，可以回顧 Day 1 提到的從好奇心出發。接著你會發現有好多專業技能、工具跟知識，該怎麼選擇呢？ 從試算表開始 試算表是最...

技術 DAY 23 - dbt Core 入門 (1) - 設定本機環境

相對於 dbt Cloud 為 dbt Labs 提供的 SaaS solution，dbt Core 為 free open source solution，...

技術 DAY 13 - dbt Cloud 入門 (11) - dbt Cloud IDE 介面及功能介紹

雖然我們已經在 dbt Cloud 玩了好幾天，但今天才要正式介紹 Cloud IDE 的介面。 快捷鍵 一般 Ctrl + P: 開啟 Command...

技術 DAY 12 - dbt Cloud 入門 (10) - dbt Commands 小整理

今天，我想將到目前為止提到過的指令，做個小整理，並且重新介紹。 run seed test build docs 另外還有兩個我個人會使用，但和 packa...

技術 DAY 11 - dbt Cloud 入門 (9) - dbt Seeds

dbt Seeds 是一個可以把手動維護的 mapping table 加入 dbt 專案/流程的好東西。 case when 或者 mapping tabl...

技術 DAY 10 - dbt Cloud 入門 (8) - 如何閱讀及編輯 dbt 文件

昨天我們示範了如何產生及檢視文件。今天除了介紹文件裡面的內容，也會說明如何加入 model 以及欄位的說明。 開發區和正式區的 Documentation，版面...

技術 DAY 09 - dbt Cloud 入門 (7) - 產出及查看 dbt 文件 (dbt docs generate )

今日及明日的主題是 dbt documentation。 常聽到許多 data 部門，由於多人分工，團隊之間資訊難以流通。這時候，就會想要找工具、製作文件。一個...

技術 DAY 08 - dbt Cloud 入門 (6) - 加入 tests, dbt test & dbt build

今天的主題是 tests。dbt 有很多種 test 的方法，今天只講最基本內建的 generic tests (舊名 schema tests)，只要在 ya...

技術 DAY 07 - dbt Cloud 入門 (5) - dbt Cloud Deployment

前幾天我們聊的是 Develop，今天我們要暫時進入 Deploy 的部份。 在開始之前，務必把前幾天的異動提交並 merge to the main bra...

技術 DAY 06 - dbt Cloud 入門 (4) - dbt run、materializations

前兩天建立的 model: customers 以顧客主檔為主，關聯 orders，將每位顧客的第一次消費日期、最近消費日期、總訂單數量，合為一個查詢。 那麼，...

技術 DAY 05 - dbt Cloud 入門 (3) - Modularize Our dbt Models

昨天我們在 dbt Cloud 把我們的專案建立起來了，目前只有一個 model: customers。今天的主題 Modularize Our dbt Mod...

技術 DAY 04 - dbt Cloud 入門 (2) - 初始化專案、建立 Model

昨天，我們申請了 dbt Cloud 的帳號，並建立了專案。 dbt Cloud 的功能主要分為 Develop（開發） 和 Deploy（佈署）兩塊。這幾天我...

技術 DAY 03 - dbt Cloud 入門 (1) - 申請帳號、建立專案

今天要來建立一個免費的 dbt Cloud 帳號，並連結昨天所建立的 BigQuery 以及 GitHub repo。這些步驟大部分都是可以重複操作的，建壞了可...

技術 DAY 02 - dbt Cloud 準備工作：BigQuery、GitHub

本系列文選用 BigQuery 以及 GitHub。因此在正式開始之前，今天我們要先把帳號及準備好。 BigQuery 建立 Google 帳號 申請 Goo...

技術 為何我們選擇使用 dbt ?

我是 migo data team 的 Data Engineer Bruce ，我們團隊從開始研究 dbt 到實際轉換正式上線已將近一年，之後幾篇將分享 db...

技術 從好奇心開始第一步 - Day 1

從 2019 年開始因為身為 PM 很想看產品資料而開始學數據，這個過程相當有趣，打開了另外一個世界！😻 這一系列的文章，我想分享寫 30 個這三個視角的體驗，...

技術 DAY 01 - 前言

大家好，我是Stacy，目前任職於 Teamson 的 IT 部門。工作職掌除了軟體開發、ERP support 之外，也包含 data 相關專案。 去年10月...