iT邦幫忙

2023 iThome 鐵人賽

DAY 21
0
AI & Data

30天胡搞瞎搞學會pyspark系列 第 21

[ Day 21 ] - Pyspark | 寫在18天之後 - 底層概念篇 - Shuffle

  • 分享至 

  • xImage
  •  

今天來説說Shuffle吧

Shuffle 是什麼呢?

待補

Shuffle的本義是洗牌、混洗,把一組有一定規則的數據盡量轉換成一組無規則的數據,越隨機越好。

spark在dag調度階段會將一個job劃分為多個stage,上游stage做map工作,下游stage做reduce工作,其本質上還是mapreduce計算框架。shuffle是連接map和reduce的橋樑

如果有任何不理解、錯誤或其他方法想分享的話,歡迎留言給我!喜歡的話,也歡迎按讚訂閱!

我是 Vivi,一位在雲端掙扎的資料工程師!我們下一篇文章見!Bye Bye~
【本篇文章將同步更新於個人的 Medium,期待與您的相遇!】


上一篇
[ Day 20 ] - Pyspark | 寫在18天之後 - 底層概念篇 - DAG
下一篇
[ Day 22 ] - Pyspark | 寫在18天之後 - 底層概念篇 - RDD
系列文
30天胡搞瞎搞學會pyspark30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言