網路上說轉職當資料分析師可以 blah, blah, blah,但他們沒告訴你的是,多數人最後也只是成為撈資料的猴子,工作沒什麼成就感。
是我太 cynical 嗎?不是,因為國外真的有 SQL Monkey, SQL ATM 等詞彙描述資料團隊的窘境。
但俗話說得好,當猴子也要當個專業的。
這系列文章不會教你如何發揮影響力 (這部分還是乖乖祈禱自己跟對主管比較快)。但會從何謂大數據、KPI 以及指標到資料模型的設計,並透過 dbt, PowerBI 設計出 讓提出需求的人自己撈資料的工具。如果做不到,至少也有機會自己把資料撈得又快又好,多出來的時間就可以去打混摸魚。
Star Schema 與 Snowflake Schema 都是資料市集中常見的資料模型,也都屬於 Dimensional Modeling 。在 Dimen...
Slowly Change Dimensions (SCD) Slowly Change Dimension Type 1 (SCD Type 1) 在上一篇...
在介紹 Star Schema 與 Snowflake Schema 時,有提到表格與表格間的關聯應該盡量採取一對多的設計,避免多對多的設計,因此當 dim_c...
事實表通常被維度表環繞,欄位通常只有鍵值 ( id , key 等等)跟數字,每一列代表一個業務流程 (Business Process),透過與維度表的結合...
多數企業採用的現行架構: 在台灣多數採用 Power BI 的公司,多數都將資料分析師放在業務部門內,資料團隊只負責將資料放進資料倉儲 / 資料庫中,其他都交由...
安裝 VSCode Vscode 是 Microsoft 旗下的 IDE (使用整合開發環境),如果你是數據分析師,那可以把 VSCode 想像成 jupyte...
Terminal 上的資訊 在開始啟動 dbt 專案前,我想先接介紹一下 terminal 上的資訊,畢竟 dbt 本身就是一個 CLI tool (透過Ter...
上一篇講到利用 dbt init 開始 dbt 專案。這篇則是要開始 dbt 專案的開發: 利用 dbt power user 開始專案開發。 利用 dbt i...
在 dbt 幫我們先建立好的兩個模型中,可以看出來在 dbt 裡面的 SQL Script 以 select 敘述句為主,就跟我們平常使用 LookerStud...
在第九天資料倉儲中常見的資料模型設計中有提到,snapshot 是對資料源異動常見的處理方式,而 dbt 中也提供了這個功能,那就是 dbt snapshot。...