iT邦幫忙

2023 iThome 鐵人賽

DAY 11
0

前置作業

  • Java 7 以上,建議安裝 Java 8
  • Hadoop 3.x.y

Hive 安裝

首先要到 Hive Releases 下載 binary 壓縮檔,我這裡選擇的是 Hive 3.1.3,可以直接使用下方指令安裝:

$ mkdir ~/hive
$ cd ~/hive
$ wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
$ tar zxvf apache-hive-3.1.3-bin.tar.gz
$ rm apache-hive-3.1.3-bin.tar.gz

Hive 環境設置

  • 使用 vim 編輯 ~/.bashrc
    $ vim ~/.bashrc
    
  • 將下方變數新增至 ~/.bashrc
    export HIVE_HOME=~/hive/apache-hive-3.1.3-bin
    export PATH=$PATH:$HIVE_HOME/bin
    
  • 重新加載 ~/.bashrc
    $ source ~/.bashrc
    
  • 設置hive-env.sh
    $ echo "export HADOOP_HOME=~/hadoop/hadoop-3.3.6" > $HIVE_HOME/conf/hive-env.sh
    

Metastore 設置

Hive Metastore 內建的 Apache Derby 資料庫,它是一個輕量級的 Java 資料庫,適用於開發和測試環境,如果是在生產環境則建議安裝一個第三方資料庫,如 MySQL、PostgreSQL,這邊我們就用 Derby 就好,執行下面指令來初始化 Derby Schema。

$ $HIVE_HOME/bin/schematool -initSchema -dbType derby

測試

  • 這樣就全部設定好了,我們來測試一下:

    $ hive
    

    下面這樣表示成功進入 Hive Shell 了。

    https://ithelp.ithome.com.tw/upload/images/20230926/20138939UCcdW6dGXH.png

  • 我們下個指令確認 hive 可以正常運作:

    show databases;
    

    顯示這樣就表示 Hive 有在正常運作囉 ~

    https://ithelp.ithome.com.tw/upload/images/20230926/20138939JWVsFgssVe.png

    如果是顯示FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient這樣的錯誤訊息,可以參考 這篇文章

  • 退出 hive 要記得用指令,不要用 Crtl + C,否則可能出現連線未正確關閉的問題。

    exit;
    

預告

明天將介紹 Hive 的基本操作~

參考資料

Hive安裝 - gitbook.net
Apache Hive Installation With Derby Database And Beeline


上一篇
Day10 - Hive 介紹
下一篇
Day12 - Hive 基本操作
系列文
30天認識主流大數據框架:Hadoop + Spark + Flink30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言