這幾年我一直從事以SQL為主的data工作,想改良現有的資料流程,卻不知如何下手。直到認識了dbt,才看到一線曙光。如果你也和過去的我一樣,在data之路感到迷惘,希望本系列文章能對你有幫助。
大家好,我是Stacy,目前任職於 Teamson 的 IT 部門。工作職掌除了軟體開發、ERP support 之外,也包含 data 相關專案。 去年10月...
本系列文選用 BigQuery 以及 GitHub。因此在正式開始之前,今天我們要先把帳號及準備好。 BigQuery 建立 Google 帳號 申請 Goo...
今天要來建立一個免費的 dbt Cloud 帳號,並連結昨天所建立的 BigQuery 以及 GitHub repo。這些步驟大部分都是可以重複操作的,建壞了可...
昨天,我們申請了 dbt Cloud 的帳號,並建立了專案。 dbt Cloud 的功能主要分為 Develop(開發) 和 Deploy(佈署)兩塊。這幾天我...
昨天我們在 dbt Cloud 把我們的專案建立起來了,目前只有一個 model: customers。今天的主題 Modularize Our dbt Mod...
前兩天建立的 model: customers 以顧客主檔為主,關聯 orders,將每位顧客的第一次消費日期、最近消費日期、總訂單數量,合為一個查詢。 那麼,...
前幾天我們聊的是 Develop,今天我們要暫時進入 Deploy 的部份。 在開始之前,務必把前幾天的異動提交並 merge to the main bra...
今天的主題是 tests。dbt 有很多種 test 的方法,今天只講最基本內建的 generic tests (舊名 schema tests),只要在 ya...
今日及明日的主題是 dbt documentation。 常聽到許多 data 部門,由於多人分工,團隊之間資訊難以流通。這時候,就會想要找工具、製作文件。一個...
昨天我們示範了如何產生及檢視文件。今天除了介紹文件裡面的內容,也會說明如何加入 model 以及欄位的說明。 開發區和正式區的 Documentation,版面...