技術文章
技術問答
My Project
iT 徵才
聊天室
2026 鐵人賽
登入/註冊
文章
問答
Tag
邦友
鐵人賽
搜尋
DAY
16
0
Azure 30天
系列 第
16
篇
Day 16. Azure HDInsight Emulator
鐵人賽
wtc
2014-10-16 17:57:59
1897 瀏覽
分享至
先到以下網址下載模擬器與Tutorial實作
http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/
會從Web Platform 安裝, 會需要約1.5G的空間
安裝後進到windows'服務'程式, 就會發現多了很多Apache Hadoop的服務, 要執行模擬器這些服務都要被啟動
在c:\hdp資料夾下有一個start_local_hdp_services的檔案, 執行後就可全部啟動
桌面上也會多三個icon, 分別是command line, Node status, YARN status
執行Hadoop command line, 進到文字模式, 所有指令前面都先加hadoop, 例如看資料夾就是hadoop fs -ls / (fs表示要執行檔案系統)
新增user資料夾 (hadoop fs -mkdir /user)
在本機先往下切換到share\doc\hadoop\common資料夾, 再將裡面一個CHANGES.txt複製進去到模擬器 (hadoop fs -copyFromLocal CHANGES.txt /user), 可用-ls再確認有複製到
再切換到share\hadoop\mapreduce資料夾, 使用jar參數執行WordCount的程式, 會看到被指派一個Job ID尾數0007
(hadoop jar hadoop-mapreduce-examples-2.4.0.2.1.3.0-1981.jar wordcount /user/CHANGES.txt /user/WordCount_Output)
執行後一樣會生成一個輸出檔案, 在模擬器內是part-r-00000, 使用cat加more看結果
(hadoop fs -cat /user/WordCount_Output/part-r-00000 |more)
可看到程式將CHANGES.txt內所有單字數量都計算一次
再點擊桌面上的TARN Status圖示, 可看到剛剛的job ID 0007執行成功
點另一個Node Status圖示, 選取右上方的'Browse the file ststem'瀏覽檔案
在Browse Directory的文字框輸入'user/WordCount_Output'按Go, 也可以下載Job的執行結果
開發工作使用模擬器就先可避免Azure上的費用了
留言
追蹤
檢舉
上一篇
Day 15. HDInsight瀏覽器介面
下一篇
Day 17. Hive on Emulator
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
929
組
團體組數
32
組
累計文章數
12136
篇
完賽人數
152
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
18th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
熱門問題
六個語言的 README,要一比一翻完整,還是只寫到「裝得起來」就好?
「相容 MySQL 協議」的引擎,你們是怎麼做能力偵測的?我們試了 42 種,結論有點慘
熱門回答
六個語言的 README,要一比一翻完整,還是只寫到「裝得起來」就好?
熱門文章
紅隊攻一條線,藍隊守一整面:「大哥沒有輸」
Swift - 協議導向程式語言(Protocol-Oriented Programming, POP)
CDN / WAF 源站真实 IP 泄漏与防护
iThome 鐵人賽的連續 30 天發文挑戰 區塊鏈與資安實戰
[Machine Learning A-Z [2026] ] 學習筆記 Day17 Clustering K-means
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}