iT邦幫忙

第 12 屆 iT 邦幫忙鐵人賽

DAY 28
0
Software Development

基於付費公有雲與開源機房自建私有雲之雲端應用服務測試兼叢集與機房託管服務實戰之勇者崎嶇波折且劍還掉在路上的試煉之路系列 第 28

Day 28 Spark on kubernetes

Spark on kubernetes

Environment

Ubuntu

  • HP Z230
  • 數量: 3
  • Ubuntu: 16.04 / 18.04
  • CPU: E3-1230_V3 ^ 1
  • RAM: 16GB
  • Disk: 250 GB (HDD)
  • Network: 1Gbps

Architecture

https://ithelp.ithome.com.tw/upload/images/20201013/20121070tuJXEX8uyo.png

Download Spark package

wget http://apache.stu.edu.tw/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz
tar -xvf spark-2.4.7-bin-hadoop2.7.tgz
mv spark-2.4.7-bin-hadoop2.7 spark

http://spark.apache.org/downloads.html

Build Docker Images

$ cd spark-2.4.7-bin-hadoop2.7/
$ ./bin/docker-image-tool.sh -r <repo> -t my-tag build
$ ./bin/docker-image-tool.sh -r <repo> -t my-tag push

https://ithelp.ithome.com.tw/upload/images/20201013/20121070cl7pR0pqZj.png

https://ithelp.ithome.com.tw/upload/images/20201013/20121070WCAmQeCDkL.png

Submitting Applications to Kubernetes

$ bin/spark-submit \ 
      --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \  
      --deploy-mode cluster \ 
      --name spark-pi \ 
      --class org.apache.spark.examples.SparkPi \ 
      --conf spark.executor.instances=5 \ 
      --conf spark.kubernetes.container.image=<spark-image> \ 
      local:///path/to/examples.jar

kubectl logs pods-name

Accessing Driver UI


上一篇
Day 27 Spark local mode
下一篇
Day 29 Cloudera Manager
系列文
基於付費公有雲與開源機房自建私有雲之雲端應用服務測試兼叢集與機房託管服務實戰之勇者崎嶇波折且劍還掉在路上的試煉之路30

尚未有邦友留言

立即登入留言