iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

華人市場資料打撈師求生指南 系列

網路上說轉職當資料分析師可以 blah, blah, blah,但他們沒告訴你的是,多數人最後也只是成為撈資料的猴子,工作沒什麼成就感。

是我太 cynical 嗎?不是,因為國外真的有 SQL Monkey, SQL ATM 等詞彙描述資料團隊的窘境。

但俗話說得好,當猴子也要當個專業的。

這系列文章不會教你如何發揮影響力 (這部分還是乖乖祈禱自己跟對主管比較快)。但會從何謂大數據、KPI 以及指標到資料模型的設計,並透過 dbt, PowerBI 設計出 讓提出需求的人自己撈資料的工具。如果做不到,至少也有機會自己把資料撈得又快又好,多出來的時間就可以去打混摸魚。

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文 團隊資料工程師甘苦談
DAY 11

Day 11 - Star Schema 與 Snowflake Schema

Star Schema 與 Snowflake Schema 都是資料市集中常見的資料模型,也都屬於 Dimensional Modeling 。在 Dimen...

2024-09-25 ‧ 由 hh_chien 分享
DAY 12

Day 12 - 常見的維度表

Slowly Change Dimensions (SCD) Slowly Change Dimension Type 1 (SCD Type 1) 在上一篇...

2024-09-26 ‧ 由 hh_chien 分享
DAY 13

Day 13 - 資料市集裡的 SCD type 2

在介紹 Star Schema 與 Snowflake Schema 時,有提到表格與表格間的關聯應該盡量採取一對多的設計,避免多對多的設計,因此當 dim_c...

2024-09-27 ‧ 由 hh_chien 分享
DAY 14

Day 14 - 常見的事實表

事實表通常被維度表環繞,欄位通常只有鍵值 ( id , key 等等)跟數字,每一列代表一個業務流程 (Business Process),透過與維度表的結合...

2024-09-28 ‧ 由 hh_chien 分享
DAY 15

Day 15 - 利用 dbt 以及 PowerBI 打造自助式BI工具 (1) 架構總覽

多數企業採用的現行架構: 在台灣多數採用 Power BI 的公司,多數都將資料分析師放在業務部門內,資料團隊只負責將資料放進資料倉儲 / 資料庫中,其他都交由...

2024-09-29 ‧ 由 hh_chien 分享
DAY 16

Day 16 - 安裝 python, git, dbt 以及 VSCode

安裝 VSCode Vscode 是 Microsoft 旗下的 IDE (使用整合開發環境),如果你是數據分析師,那可以把 VSCode 想像成 jupyte...

2024-09-30 ‧ 由 hh_chien 分享
DAY 17

Day17 - 開始 dbt 專案

Terminal 上的資訊 在開始啟動 dbt 專案前,我想先接介紹一下 terminal 上的資訊,畢竟 dbt 本身就是一個 CLI tool (透過Ter...

2024-10-01 ‧ 由 hh_chien 分享
DAY 18

Day 18 - dbt run

上一篇講到利用 dbt init 開始 dbt 專案。這篇則是要開始 dbt 專案的開發: 利用 dbt power user 開始專案開發。 利用 dbt i...

2024-10-02 ‧ 由 hh_chien 分享
DAY 19

Day 19 - 建立自己的第一個 dbt model

在 dbt 幫我們先建立好的兩個模型中,可以看出來在 dbt 裡面的 SQL Script 以 select 敘述句為主,就跟我們平常使用 LookerStud...

2024-10-03 ‧ 由 hh_chien 分享
DAY 20

Day 20 - dbt snapshot

在第九天資料倉儲中常見的資料模型設計中有提到,snapshot 是對資料源異動常見的處理方式,而 dbt 中也提供了這個功能,那就是 dbt snapshot。...

2024-10-04 ‧ 由 hh_chien 分享