Spark Install(單機部署)

:::warning
注意：Spark 單機使用 YARN 排程，須先安裝 Hadoop
:::

環境配置與安裝檔下載

下載 Spark 壓縮檔（須確認該版本 Spark 有支援）

cd /opt
sudo wget http://archive.apache.org/dist/spark/spark-2.0.0/spark-2.0.0-bin-hadoop2.7.tgz
sudo tar -xvf spark-2.0.0-bin-hadoop2.7.tgz
sudo mv spark-2.0.0-bin-hadoop2.7 spark
sudo chmod -R 777 /opt/
sudo chown ${USER_NAME}:${USER_NAME} -R /opt/spark

配置 Spark 環境

進入Spark 配置目錄下配置 spark-env.sh

sudo mv spark-env.sh.template spark-env.sh
sudo vim spark-env.sh

## 新增以下幾行
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

建立環境變數

sudo vim ~/.bashrc
## 新增以下幾行
export SPARK_HOME="/opt/spark"
export PATH=$SPARK_HOME/bin:$PATH

最後讀取環境變數

source ~/.bashrc