iT邦幫忙

DAY 27
4

動物園之路系列 第 24

動物園之路 -27- 大象運算架構二代(MR v2) - YARN

  • 分享至 

  • xImage
  •  

MapReduce雖然可以協助使用者處理大量的資料,
但是這個架構仍然存在一些問題,像是Job Tracker如果出錯的話,整個Job都會失敗。當發送的Job過多的時候,其實對於Jobtracker是一個相當重的負擔,總總因素的組成,於是下一代的Mapreduce架構就開始發展出來,稱為Yet Another Resource Negotiator(YARN)。
詳細可看Hortonworks對於YARN的介紹
http://hortonworks.com/blog/apache-hadoop-yarn-background-and-an-overview/
回顧MapReduce
首先來回顧一下Mapreduce 也就是MRv1的架構圖,
在這邊借用http://hortonworks.com/blog/apache-hadoop-yarn-background-and-an-overview/
的Mapreduce圖片進行回顧:

可以看到JobTracker只有一個,同時要進行資源管理以及Job的生命週期管理,TaskTacker要進行Jobtracker所指派的任務,和提供任務狀態給Jobtracker。

YARN的架構
同樣借用hortonwork的Yarn說明的架構圖,
來源為http://hortonworks.com/blog/apache-hadoop-yarn-background-and-an-overview/

原本的Jobtracker與Tasktracker已經不在了,現在變成ResourceManager(RM)與NodeManager,RM一般來說還是在NameNode上,NNodeManger則是在Datanode上。
jobtracker原本的兩個重要任務,資源管理的部分讓RM做,job的排程和監控則是由ApplicationMaster(AM)來進行,很像是之前的jobtracker有一部分的工作丟給Datanode做的感覺。

參考來源網址:
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/
http://hortonworks.com/hadoop/yarn/
http://archive.cloudera.com/cdh4/cdh/4/hadoop/hadoop-yarn/hadoop-yarn-site/YARN.html


上一篇
動物園之路 -26- 跟著大象一起奔跑的羚羊-Impala (續)
下一篇
動物園之路 -28- 大象運算架構二代(MR v2) - YARN (續)
系列文
動物園之路27
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

0
ianianwu
iT邦研究生 5 級 ‧ 2013-10-12 21:07:54

沙發

哈哈

我要留言

立即登入留言