今天來説說Shuffle吧
待補
Shuffle的本義是洗牌、混洗,把一組有一定規則的數據盡量轉換成一組無規則的數據,越隨機越好。
spark在dag調度階段會將一個job劃分為多個stage,上游stage做map工作,下游stage做reduce工作,其本質上還是mapreduce計算框架。shuffle是連接map和reduce的橋樑
如果有任何不理解、錯誤或其他方法想分享的話,歡迎留言給我!喜歡的話,也歡迎按讚訂閱!
我是 Vivi,一位在雲端掙扎的資料工程師!我們下一篇文章見!Bye Bye~
【本篇文章將同步更新於個人的 Medium,期待與您的相遇!】