iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
AI/ ML & Data

華人市場資料打撈師求生指南 系列

網路上說轉職當資料分析師可以 blah, blah, blah,但他們沒告訴你的是,多數人最後也只是成為撈資料的猴子,工作沒什麼成就感。

是我太 cynical 嗎?不是,因為國外真的有 SQL Monkey, SQL ATM 等詞彙描述資料團隊的窘境。

但俗話說得好,當猴子也要當個專業的。

這系列文章不會教你如何發揮影響力 (這部分還是乖乖祈禱自己跟對主管比較快)。但會從何謂大數據、KPI 以及指標到資料模型的設計,並透過 dbt, PowerBI 設計出 讓提出需求的人自己撈資料的工具。如果做不到,至少也有機會自己把資料撈得又快又好,多出來的時間就可以去打混摸魚。

鐵人鍊成 | 共 30 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文 團隊資料工程師甘苦談
DAY 21

day 21 - dbt Power User 其他好用的功能。

前面已經介紹完該如何使用 dbt 做資料轉換以及 snapshot。接下來會介紹再介紹一些使用 dbt Power User 時實用的功能。其實有很多都是 db...

2024-10-05 ‧ 由 hh_chien 分享
DAY 22

Day 22 - 除了資料轉換, dbt 還可以...?

前面介紹了 dbt 主要的功能 (ELT 中的 T),以及 dbt power user 更方便的應用,接下來會介紹一些 dbt 的其他功能,也許跟 ELT 不...

2024-10-06 ‧ 由 hh_chien 分享
DAY 23

Day 23 - 小結:用 dbt 做資料管線開發

前面幾篇介紹了 dimensional modeling, dbt 的功能以及 dbt Power User 方便的地方。這邊就總結一下,用 dbt 作為資料轉...

2024-10-07 ‧ 由 hh_chien 分享
DAY 24

Day 24 - 進入 Power BI 語意模型前的資料處理與資料轉換。

就像在第十天提到的,雖然 Power BI 有內建資料轉換的功能,但現在我傾向用 dbt 完成所有的資料處理,讓 Power BI 的語意模型只管理 Dimen...

2024-10-08 ‧ 由 hh_chien 分享
DAY 25

Day 25 - Power BI 關聯性的功用以及類型

下面的圖是目前的資料模型,跟上一篇最後的資料模型相比,只改變了表格名稱 (e.g. dbt dim_company → company)。 Power BI...

2024-10-09 ‧ 由 hh_chien 分享
DAY 26

Day 26 - DAX 時間智慧函數 (Time Intelligence Function)

作為一名資深資料打撈師,每當遇到要計算 YoY 成長百分比這類的需求,就會開啟地獄級的 SQL 編碼過程。如果有人問我為什麼這麼喜歡 Power BI,我會說是...

2024-10-10 ‧ 由 hh_chien 分享
DAY 27

Day 27 - DAX 的兩種「語境」 (context) - 篩選語境 (Filter Context)

Context (語境)在 Power BI 的繁體中文官方文件中,被譯為上下文。但我自己認為語境相對有畫面感,而且我自己認為語境給人的感覺更加接近 使用者操作...

2024-10-11 ‧ 由 hh_chien 分享
DAY 28

Day 28 - DAX 的兩種「語境」 (context) - 列語境 (Row Context)

篩選語境篩從表格篩選出需要的列以後,被篩選出來的列該如何做運算呢,也許就會涉及到列語境的問題。 列語境 列語境簡單來說就是針對單一列做的運算,可以想像成對篩選語...

2024-10-12 ‧ 由 hh_chien 分享
DAY 29

Day 29 - 持續更新語意模型

前一版語意模型發布一個月後,商業使用者開出了新的需求,需要一份包含業績目標的報表。這間公司會以月來設定不同產品種類的業績目標。 目前的語意模型長這樣: 資料轉...

2024-10-13 ‧ 由 hh_chien 分享
DAY 30

Day 30 - 完賽心得

第一次參加鐵人賽,大概寫到第三天就發現這次的寫作策略不太對,不應該從這麼抽象以及概念性的東西寫起,因為太抽象了,要每天都寫得讓讀者理解,實在很痛苦,也花了太多時...

2024-10-14 ‧ 由 hh_chien 分享