Apache DataFusion 是使用 Rust 開發的高效能可擴展查詢引擎,在 2024 年成為 ClickBench 基準測試中最快的單節點查詢引擎。
30 天學習路徑將從基礎環境建置、第一個查詢開始,循序漸進深入架構解析、StringView 優化原理,最後探索自定義擴展、生產部署等進階主題。透過深入原始碼分析,將完整解構從 LogicalPlan 到 ExecutionPlan 的轉換流程,理解現代查詢引擎的設計精髓。
前言 去年底因為想學習資料庫原理和 Rust 這門語言而接觸 Apache DataFusion ,到現在陸陸續續也有了些小小的貢獻,不過始終對該專案還是懵懂無...
前言 DataFusion 之所以在查詢效能上有很大的優勢,很大一部分歸功於 Arrow 這個高效的記憶體格式。今天我們就一起來認識 Arrow,瞭解它在存取資...
前言 經過前兩天的介紹,相信大家對 Apache DataFusion 已經有了基本認識。今天我們要進入快樂的實作階段,嘗試建立一個 rust 小專案並透過 D...
前言 打給厚,昨天我們成功執行了第一個 CSV 查詢後,不過在實際工作場景下面臨的資料量和資料來源可沒那麼單純,所以今天我們就來建立一個完整且標準化的 Data...
前言 打給厚,在前兩天的文章中相信各位已經瞭解 DataFusion 的基礎概念、環境建置和核心工作流程,今天我們要進入更實用的場景:如何在同一個查詢中整合多...
前言 打給厚,今天我們將深入學習如何運用 DataFusion 支援的進階 SQL 語法查詢資料,包括窗口函數、CTE(Common Table Express...
前言 大家好,不知不覺一個禮拜又快過完了,前六天我們已經學習了 DataFusion 的基本使用,從環境建置、數據讀取到複雜查詢的撰寫。但在實際應用中,難免會遇...
前言 時間過得好快,不知不覺已經來到第二週了,從這週開始會和大家一起閱讀 DataFusion 的原始碼, 從專案的模組架構逐步理解 DataFusion 在程...
前言 上一篇的文章中我們大致瞭解了 DataFusion 專案結構,接下來就要開始就要和大家一起閱讀 DataFusion 的原始碼,深入瞭解查詢引擎內部的邏輯...
前言 嗨嗨,相信大家在昨天的文章中對 AST 和 logical plan 已經有了基礎的認識,今天就要來看看 DataFusion 是如何處理 SQL 語法的...