iT邦幫忙

DAY 28
3

動物園之路系列 第 25

動物園之路 -28- 大象運算架構二代(MR v2) - YARN (續)

YARN的架構已經在昨日介紹過,基本上原本的Mapreduce的Job可以不用更改,就可以使用。
CM也有提供查看YARN節點狀態的畫面:

佈署與設定
佈署與設定檔的方式,可以參考Cloudera的Deploying MapReduce v2的網頁:
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.3.0/CDH4-Installation-Guide/cdh4ig_topic_11_4.html
CM中也可以進行設定。

在YARN中啟動MRv1的Job
如同前面說的,基本上MR的程式不用多做調整就可以執行,
執行的方式一樣也可以用jar檔的方式,
語法如下

yarn jar ./Card.jar CardDriver cardinput.txt output

但是特別要注意的是,設定檔要進行設定,不然一樣會執行MRv1。


上一篇
動物園之路 -27- 大象運算架構二代(MR v2) - YARN
下一篇
動物園之路 -29- 大象的未來 Spark
系列文
動物園之路27
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 則留言

0

我要留言

立即登入留言