iT邦幫忙

0

CentOS 架設Hadoop

我目前要用Centos 6.3架設Hadoop

請問,有何前置作業要做以及安裝的方法可否提供的呢??

目前網路上的資料感覺滿零亂,找不太到我想要的東西(可能是我不太會找)

可否麻煩各位提供一些資訊給我一下,感謝

2 個回答

14
wiseguy
iT邦超人 1 級 ‧ 2012-11-23 12:48:10
最佳解答

Apache Bigtop 有做 Hodoop 的 RPM,不過只支援 64 位元。如果你想在幾分鐘內就裝好 Hodoop 開始試玩,可以直接用 Bigtop 的 RPM 安裝,10 步驟之內完成,含測試。步驟如下:

  1. 安裝 Bigtop 的 Repository
    wget -O /etc/yum.repos.d/bigtop.repo http://bigtop01.cloudera.org:8080/view/Bigtop-trunk/job/Bigtop-trunk-repository/label=centos6/lastSuccessfulBuild/artifact/repo/bigtop.repo
  2. 安裝 Hadoop 相關套件
    yum install hadoop\* flume\* mahout\* oozie\* whirr\* hbase\* --nogpgcheck -y
  3. 下載 jdk
    wget http://download.oracle.com/otn-pub/java/jdk/6u29-b11/jdk-6u29-linux-x64-rpm.bin
  4. 安裝 jdk
    chmod 755 jdk-6u29-linux-x64-rpm.bin; ./jdk-6u29-linux-x64-rpm.bin
  5. 設定環境參數
    export JAVA_HOME=/usr/java/jdk1.6.0_29
  6. 用 hdfs 身份初始化 hdfs
    sudo -u hdfs hadoop namenode -format
  7. 啟動相關服務
    for i in hadoop-namenode hadoop-datanode hadoop-jobtracker hadoop-tasktracker ; do sudo service $i start ; done
  8. 用 hdfs 身份測試建立兩個目錄
    sudo -u hdfs hadoop fs -mkdir /user/$USER
    sudo -u hdfs hadoop fs -chown $USER /user/$USER
  9. 測試 hadoop 列出檔案系統
    hadoop fs -lsr /
  10. 測試 hadoop 做 map reduce
    hadoop jar /usr/lib/hadoop/hadoop-examples.jar pi 10 1000

我要發表回答

立即登入回答