今天來説說Shuffle吧
待補
Shuffle的本義是洗牌、混洗，把一組有一定規則的數據盡量轉換成一組無規則的數據，越隨機越好。
spark在dag調度階段會將一個job劃分為多個stage，上游stage做map工作，下游stage做reduce工作，其本質上還是mapreduce計算框架。shuffle是連接map和reduce的橋樑
如果有任何不理解、錯誤或其他方法想分享的話，歡迎留言給我！喜歡的話，也歡迎按讚訂閱！
我是 Vivi，一位在雲端掙扎的資料工程師！我們下一篇文章見！Bye Bye~
【本篇文章將同步更新於個人的 Medium，期待與您的相遇！】
iThome鐵人賽
看影片追技術