資料工程不只是 ETL 與搬運資料。一段 SQL 從送出到產生結果,背後還包含資料讀取、查詢規劃、最佳化與運算。
本系列將使用 Rust 與 Apache DataFusion,透過 30 天實作拆解 SQL 查詢的執行流程。內容涵蓋 CSV、JSON、Parquet、Apache Arrow、Logical Plan、Physical Plan、欄位裁剪與條件下推,並實作多表查詢、自訂函數、簡易 ETL、錯誤處理及測試。
最終將完成一套本機資料分析工具,讓使用者載入不同格式的資料、執行 SQL、查看查詢計畫並輸出結果,從實作中理解現代查詢引擎如何運作。