鐵人檔案
這30天的內容包含 Livia(作者) 的轉職歷程，主軸將圍繞資料分析、資料工程、資料科學等工作中實際遇到的情況、使用工具時踩過的坑以及認為資料領域可以探索的工具與方向。
讓對於資料領域感興趣者能一窺資料工作者平日的工作內容，也許能讓更多人進入相關領域或是理解資料分析師、資料工程師、資料科學家平時在做什麼。
A/B 測試 ~接下來想談談這塊，雖然過去有做過 A/B testing 的檢定，但仍有知識不足的地方，所以這篇算是邊整理自己的想法邊搜集資料來學習。 在之前的...
在進入下一階段(資料工程)之前，想來分享一下過去面試資料分析師時，有被問過哪些種類的問題 ~ SQL 考題 也可以用 Python 來回答 : 分析題 e.g...
當初在做資料分析時，看到其他資料人員建自己的 database 跟一些服務，這樣在嘗試新工具時可以不用等其他人幫忙建置相關的環境，讓我覺得技能拓展也是很重要的，...
我覺得 docker 在起自己需要的服務時，是蠻方便、快速的。docker 我碰得不是很深，所以這裡分享 2 個我在摸索過程中很疑惑但之後在學習與實作時解開的點...
不論是要管理 ETL 程式碼、airflow 程式碼或是一些 jupyter notebook 的相關文件，如果沒有做版本控管，當不小心誤刪或是漏存寫好的程式碼...
原本這篇要來說說 airflow 的架站，但我今天快趕不及截稿日啦 ~先把後面要寫的提早拿來說 ~ 之前有機會遇到 IT 大神，請他看了一下我目前的開發流程 :...
好，今天我們來架 airflow 吧 ~airflow 對於資料 ETL 排程的管理來說，設計得好可以讓管理變得簡單。 首先，production 環境要的資源...
今天來試寫一個 DAG 吧，我們來講講 DAG 的架構，這是我從官方文件一路摸索上來的，如果有更好的用法，歡迎交流 ~ DAG 可以分成3大塊 : dag d...
在做比較複雜的專案時，當時思考維護上的難易度，想要一個 DAG 負責一個主要的功能就好。 舉例你是一個服飾品牌的資料工程師，現在你的 ETL 流程想整合各店市庫...
如果你在 airflow 上有很多排程，且不同排程跑得週期不同(每日、每週或每月)，也同時有不同的人來維護自己寫的排程時。那麼在查看哪些排程正常、哪些有狀況就會...
