iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
Software Development

1+1+1>3 ~ Spark 與 DataFusion、Comet 效能煉金術 ~ 系列

關於 Spark 與 DataFusion 、Comet 的 30 天探索之旅,深究為什麼這樣設計。本系列將潛入一條 SQL 查詢的最深處,展開五層架構的縱剖面探險:從最底層的硬體指令(SIMD)與記憶體佈局出發,一路向上拆解儲存格式(Parquet)、DataFusion 查詢引擎、Iceberg 表格式,最後回到 Spark 與 Rust 的跨界整合,徹底看懂現代大數據引擎如何榨乾硬體效能。

參賽天數 21 天 | 共 21 篇文章 | 3 人訂閱 訂閱系列文 RSS系列文 團隊源來適愛開緣
DAY 21

Day 21 Apache Comet 表達式:native、codegen dispatcher 與 fallback

相信很多人在了解 Comet 後,可能會思考一個問題,Comet 夾在 Spark 與 datafusion 中間,如果遇到datafusion不支援的運算怎麼...

2026-09-06 ‧ 由 rosa_lai 分享