[ Day 21 ] - Pyspark | 寫在18天之後 - 底層概念篇 - Shuffle - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2023 iThome 鐵人賽

DAY 21

0

AI & Data

30天胡搞瞎搞學會pyspark系列第 21 篇

[ Day 21 ] - Pyspark | 寫在18天之後 - 底層概念篇 - Shuffle

15th鐵人賽

2023-10-06 21:51:43

184 瀏覽

分享至

今天來説說Shuffle吧

Shuffle 是什麼呢？

待補

Shuffle的本義是洗牌、混洗，把一組有一定規則的數據盡量轉換成一組無規則的數據，越隨機越好。

spark在dag調度階段會將一個job劃分為多個stage，上游stage做map工作，下游stage做reduce工作，其本質上還是mapreduce計算框架。shuffle是連接map和reduce的橋樑

如果有任何不理解、錯誤或其他方法想分享的話，歡迎留言給我！喜歡的話，也歡迎按讚訂閱！

我是 Vivi，一位在雲端掙扎的資料工程師！我們下一篇文章見！Bye Bye~
【本篇文章將同步更新於個人的 Medium，期待與您的相遇！】

[ Day 20 ] - Pyspark | 寫在18天之後 - 底層概念篇 - DAG

[ Day 22 ] - Pyspark | 寫在18天之後 - 底層概念篇 - RDD

系列文

30天胡搞瞎搞學會pyspark 共 30 篇

目錄

RSS系列文訂閱系列文

3 人訂閱

完整目錄

直播研討會

{{ item.subject }}

{{ item.channelVendor }} {{ item.webinarstarted }} |

{{ formatDate(item.duration) }}

直播中

尚未有邦友留言

立即登入留言

參賽組數

1048 組

團體組數

40 組

累計文章數

13873 篇

最後報名日

9/15

15th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 16th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react 資訊安全

IT邦幫忙