iT邦幫忙

DAY 16
0

Azure 30天系列 第 16

Day 16. Azure HDInsight Emulator

  • 分享至 

  • xImage
  •  
  1. 先到以下網址下載模擬器與Tutorial實作
    http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT
    http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/

  1. 會從Web Platform 安裝, 會需要約1.5G的空間

  1. 安裝後進到windows'服務'程式, 就會發現多了很多Apache Hadoop的服務, 要執行模擬器這些服務都要被啟動

  1. 在c:\hdp資料夾下有一個start_local_hdp_services的檔案, 執行後就可全部啟動

  1. 桌面上也會多三個icon, 分別是command line, Node status, YARN status

  1. 執行Hadoop command line, 進到文字模式, 所有指令前面都先加hadoop, 例如看資料夾就是hadoop fs -ls / (fs表示要執行檔案系統)

  1. 新增user資料夾 (hadoop fs -mkdir /user)

  1. 在本機先往下切換到share\doc\hadoop\common資料夾, 再將裡面一個CHANGES.txt複製進去到模擬器 (hadoop fs -copyFromLocal CHANGES.txt /user), 可用-ls再確認有複製到

  1. 再切換到share\hadoop\mapreduce資料夾, 使用jar參數執行WordCount的程式, 會看到被指派一個Job ID尾數0007
    (hadoop jar hadoop-mapreduce-examples-2.4.0.2.1.3.0-1981.jar wordcount /user/CHANGES.txt /user/WordCount_Output)

  1. 執行後一樣會生成一個輸出檔案, 在模擬器內是part-r-00000, 使用cat加more看結果
    (hadoop fs -cat /user/WordCount_Output/part-r-00000 |more)

  1. 可看到程式將CHANGES.txt內所有單字數量都計算一次

  1. 再點擊桌面上的TARN Status圖示, 可看到剛剛的job ID 0007執行成功

  1. 點另一個Node Status圖示, 選取右上方的'Browse the file ststem'瀏覽檔案

  1. 在Browse Directory的文字框輸入'user/WordCount_Output'按Go, 也可以下載Job的執行結果

開發工作使用模擬器就先可避免Azure上的費用了


上一篇
Day 15. HDInsight瀏覽器介面
下一篇
Day 17. Hive on Emulator
系列文
Azure 30天30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言