iT邦幫忙

jeffery5bai
iT邦新手 5 級 ‧ 點數 134
Machine Learning Engineer 國立台灣大學資訊管理研究所
767
累計瀏覽數
站內簡訊 追蹤

jeffery5bai 的發文列表 30

1 Like 0 留言 1236 瀏覽

技術 Ep30｜小檔案很多，怎麼讓 Spark 少跑幾趟？聊聊 Spark 的讀檔分工

pyspark data engineering
2026-10-25 由 jeffery5bai 分享
0 Like 0 留言 1247 瀏覽

技術 Ep29｜小表要多小，才值得送到每個 Executor？聊聊 Spark broadcast

pyspark data engineering
2026-10-24 由 jeffery5bai 分享
1 Like 0 留言 1199 瀏覽

技術 Ep28｜只剩一個 task 還在跑，要不要多派一個幫手？聊聊 Spark speculation

pyspark data engineering
2026-10-23 由 jeffery5bai 分享
1 Like 0 留言 1285 瀏覽

技術 Ep27｜shuffle 的工作切太多、切太少怎麼辦？讓 AQE 幫忙收尾

pyspark data engineering
2026-10-22 由 jeffery5bai 分享
1 Like 0 留言 1294 瀏覽

技術 Ep26｜Executor 記憶體吃緊時，Spark 怎麼把資料 spill 到磁碟？從 Stage metrics 看 memory、disk 與 GC

pyspark data engineering
2026-10-21 由 jeffery5bai 分享
1 Like 0 留言 1229 瀏覽

技術 Ep25｜小檔案為什麼讓 Spark 忙著啟 task？從 scan partitions 看 file layout 的成本

pyspark data engineering
2026-10-20 由 jeffery5bai 分享
1 Like 0 留言 1269 瀏覽

技術 Ep24｜join 為什麼常是效能分水嶺？從 BroadcastHashJoin 到 SortMergeJoin 看資料怎麼移動

pyspark data engineering
2026-10-19 由 jeffery5bai 分享
0 Like 0 留言 1294 瀏覽

技術 Ep23｜為什麼只有一個 task 特別慢？從 data skew 看懂 Stage 為何卡住

pyspark data engineering
2026-10-18 由 jeffery5bai 分享
0 Like 0 留言 1430 瀏覽

技術 Ep22｜Spark job 變慢時，第一眼該看哪裡？從 Spark UI 建立診斷順序

pyspark data engineering
2026-10-17 由 jeffery5bai 分享
0 Like 0 留言 1565 瀏覽

技術 Ep21｜Spark application 跑在 Kubernetes 時，Driver Pod、Executor Pod 與 scheduler 怎麼合作？

pyspark data engineering
2026-10-16 由 jeffery5bai 分享
jeffery5bai的鐵人檔案
jeffery5bai的收藏
jeffery5bai的追蹤
jeffery5bai的Like
jeffery5bai的紀錄
jeffery5bai的訂閱列表