技術問答
技術文章
iT 徵才
聊天室
2026 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
16
0
Azure 30天
系列 第
16
篇
Day 16. Azure HDInsight Emulator
鐵人賽
wtc
2014-10-16 17:57:59
1806 瀏覽
分享至
先到以下網址下載模擬器與Tutorial實作
http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/
會從Web Platform 安裝, 會需要約1.5G的空間
安裝後進到windows'服務'程式, 就會發現多了很多Apache Hadoop的服務, 要執行模擬器這些服務都要被啟動
在c:\hdp資料夾下有一個start_local_hdp_services的檔案, 執行後就可全部啟動
桌面上也會多三個icon, 分別是command line, Node status, YARN status
執行Hadoop command line, 進到文字模式, 所有指令前面都先加hadoop, 例如看資料夾就是hadoop fs -ls / (fs表示要執行檔案系統)
新增user資料夾 (hadoop fs -mkdir /user)
在本機先往下切換到share\doc\hadoop\common資料夾, 再將裡面一個CHANGES.txt複製進去到模擬器 (hadoop fs -copyFromLocal CHANGES.txt /user), 可用-ls再確認有複製到
再切換到share\hadoop\mapreduce資料夾, 使用jar參數執行WordCount的程式, 會看到被指派一個Job ID尾數0007
(hadoop jar hadoop-mapreduce-examples-2.4.0.2.1.3.0-1981.jar wordcount /user/CHANGES.txt /user/WordCount_Output)
執行後一樣會生成一個輸出檔案, 在模擬器內是part-r-00000, 使用cat加more看結果
(hadoop fs -cat /user/WordCount_Output/part-r-00000 |more)
可看到程式將CHANGES.txt內所有單字數量都計算一次
再點擊桌面上的TARN Status圖示, 可看到剛剛的job ID 0007執行成功
點另一個Node Status圖示, 選取右上方的'Browse the file ststem'瀏覽檔案
在Browse Directory的文字框輸入'user/WordCount_Output'按Go, 也可以下載Job的執行結果
開發工作使用模擬器就先可避免Azure上的費用了
留言
追蹤
檢舉
上一篇
Day 15. HDInsight瀏覽器介面
下一篇
Day 17. Hive on Emulator
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19830
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
請推薦 虛擬主機 VPS,及Apache SSL 設定
趣味SQL 260301 來走迷宮
Macbook OpenVPN Connect在外面無法連線
VMware vSphere 的 ESXi 主機憑證(Host CA/SSL Certificate)更新
Workflow ERP 料/工/費 問題:多階產品成本結構分析表
openclaw+ollama啟動失敗
到這個階段要怎麼更上一層樓?
熱門回答
openclaw+ollama啟動失敗
Workflow ERP 料/工/費 問題:多階產品成本結構分析表
請推薦 虛擬主機 VPS,及Apache SSL 設定
熱門文章
中華電信近期發生問題,MSA可以收信不能發信
[SRE×AI #08] Claude Skills 實戰:把你的 SRE 經驗變成一句指令
這幾天好像用 Teams 傳圖,圖會看不見?
趣味SQL,在資料庫查詢功能樹狀圖用畫線方式來表示
為什麼你的 AI Agent 總是丟失記憶?我們是怎麼解決的
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}