本系列主要聚焦於資料工程（Data Engineering），透過建立一條完整的資料處理 Pipeline，學習如何擷取、儲存、轉換與管理資料的相關概念。Python 是本專案主要使用的程式語言，負責資料擷取、處理與流程串接。

當我們開始學習資料工程的時候，大部分人第一步，可能是刷 Python、Pandas、SQL? 我自己也是!
今天學 Pandas，明天學 SQL，後天又跑去研究 Airflow、Docker。每一項技術都學了一點，還是覺得很混亂，也不知道一個真正的資料專案，究竟是如何從零開始到完成。後來我才發現，真正缺少的是完整的專案流程（Project Workflow）。
因此，我決定把自己的學習過程完整記錄下來，希望透過一個實際的專案，一步一步理解資料工程的工作流程，也讓未來的自己能夠回頭複習。如果剛好也能幫助正在學習的人，那就更好了。

這個系列會寫什麼？

這不是一套完整的 Python、SQL 或 Git 教學。如果你希望系統性學習 Python 語法、SQL 指令或深入了解 Git、Docker、Airflow 等工具的所有功能，網路上已經有許多優秀且完整的教學資源，本系列就不會重複介紹。不過，專案中實際會用到的內容，我還是會適時補充說明。

例如：

• 建立 Python 虛擬環境（venv）
• Git 基本操作（git add、git commit、git push）
• 安裝專案所需套件
• 建立 GitHub Repository

我會著重於它們在這個專案中的用途與基本使用方式，而不是深入介紹每個工具的所有細節。

整個系列會圍繞著一個資料工程專案展開，從資料取得開始，依序完成資料探索、資料清理、資料庫建置、資料建模，到最後建立一條可自動化執行的 Data Pipeline。下面是專案預計會使用的清單，之後每個章節都會介紹這些工具在專案中的角色，以及它們實際解決了哪些問題。我們也會一步一步了解，為什麼需要它們，以及它們如何串聯成一條完整的資料處理流程。每一項技術會出現在 Pipeline 裡，背後都應該是為了解決某個實際存在的問題。

專案會使用哪些技術？

在這個系列中，我們會接觸到：

• Python：資料擷取、清理與轉換
• PostgreSQL：儲存原始資料與查詢分析
• dbt：資料建模、測試與文件化
• Airflow：建立自動化資料 Pipeline
• Docker：建立可重現的開發環境
• Git / GitHub：版本控制與專案管理

專案規劃

整個專案會分成七個 Stage(共30 days)：

Stage 0｜專案初始化（Project Initialization）
Stage 1｜資料探索與品質檢查（Data Profiling）
Stage 2｜資料擷取與載入（Extract & Load）
Stage 3｜資料建模（Data Modeling with dbt）
Stage 4｜工作流程自動化（Workflow Orchestration with Airflow）
Stage 5｜Docker 與部署（Containerization & Deployment）
Stage 6｜專案驗證與作品集整理（QA & Portfolio）

每一個 Stage 都會完成一個明確的目標，最後串成一條完整的 Data Pipeline。這樣的規劃也與目前專案的開發流程一致。

專案資料

本系列將使用政府開放資料：
臺北捷運每日分時各站 OD 流量統計資料

最後

歡迎一起跟著這個系列完成你的第一個 Data Pipeline。
下一篇：Day 1｜Stage 0（1/3）：Data Engineering 到底在做什麼？