iT邦幫忙

2018 iT 邦幫忙鐵人賽
DAY 3
1
Data Technology

Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用系列 第 3

Day 3 - Hadoop Ecosystem 之 Hadoop 安裝 - 事前準備篇

前面的簡介中有提到,Hadoop是個分散式儲存及運算的架構,所以安裝基本上需要多台電腦以達到分散的目標(使用VM或是Container技術,如VirtualBox、Docker、K8s等,在大型叢集上會產生另外的問題,故暫時不列入討論)。但Hadoop為了讓使用者可以快速地開始使用,提供單一主機的安裝模式共有兩種模式:獨立模式(Standalone)偽分佈模式(Pseudo-Distributed)。多機安裝模式則稱為Fully-Distributed

在安裝之前需要先做好下列的事前準備:

  1. 一台安裝好Linux作業系統(作者使用的是CentOS 6.6)的PC。
  • Hadoop支援Linux及Windows作業系統(Hadoop 2.2版本之後開始支援Windows),Hadoop官網所下載的檔案只支援Linux,這篇教學也以Linux為主。若需要安裝在Windows則需要下載Hadoop原始碼並自行打包,若想嘗試可參考Build and Install Hadoop 2.x or newer on Windows
  1. 並且安裝好Java並設定好環境變數。
  • Hadoop 2.6與更之前的版本支援Java 6,2.7版之後只支援Java 7,Hadoop 3.0版本開始只支援Java 8。此次安裝教學是使用Hadoop 2.8.2,安裝Java 7最新版本即可。下載點可至oracle官網選擇適合的OS下載。
  1. 安裝下列軟體sshrsync
    CentOS:
sudo yum install ssh
sudo yum install rsync

Ubuntu:

sudo apt-get install ssh
sudo apt-get install rsync
  1. 從官網下載已經Build好的Hadoop檔案儲存至/opt,並且解壓縮至/opt/hadoop目錄。
sudo wget http://apache.stu.edu.tw/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz -P /opt
cd /opt
sudo tar -zxvf hadoop-2.8.2.tar.gz
sudo mv /opt/hadoop-2.8.2 /opt/hadoop
  1. 設定HADOOP_HOME環境變數:
    編輯~/.bashrc
sudo vi ~/.bashrc

並加入下列參數

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

下一篇要進入安裝Hadoop囉!


上一篇
Day 2 - Hadoop Ecosystem 之 Hadoop 介紹
下一篇
Day 4 - Hadoop Ecosystem 之 Hadoop 安裝篇
系列文
Hadoop ecosystem 工具簡介, 安裝教學與各種情境使用30

尚未有邦友留言

立即登入留言