技術問答
技術文章
iT 徵才
聊天室
2025 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
16
0
Azure 30天
系列 第
16
篇
Day 16. Azure HDInsight Emulator
鐵人賽
wtc
2014-10-16 17:57:59
1774 瀏覽
分享至
先到以下網址下載模擬器與Tutorial實作
http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/
會從Web Platform 安裝, 會需要約1.5G的空間
安裝後進到windows'服務'程式, 就會發現多了很多Apache Hadoop的服務, 要執行模擬器這些服務都要被啟動
在c:\hdp資料夾下有一個start_local_hdp_services的檔案, 執行後就可全部啟動
桌面上也會多三個icon, 分別是command line, Node status, YARN status
執行Hadoop command line, 進到文字模式, 所有指令前面都先加hadoop, 例如看資料夾就是hadoop fs -ls / (fs表示要執行檔案系統)
新增user資料夾 (hadoop fs -mkdir /user)
在本機先往下切換到share\doc\hadoop\common資料夾, 再將裡面一個CHANGES.txt複製進去到模擬器 (hadoop fs -copyFromLocal CHANGES.txt /user), 可用-ls再確認有複製到
再切換到share\hadoop\mapreduce資料夾, 使用jar參數執行WordCount的程式, 會看到被指派一個Job ID尾數0007
(hadoop jar hadoop-mapreduce-examples-2.4.0.2.1.3.0-1981.jar wordcount /user/CHANGES.txt /user/WordCount_Output)
執行後一樣會生成一個輸出檔案, 在模擬器內是part-r-00000, 使用cat加more看結果
(hadoop fs -cat /user/WordCount_Output/part-r-00000 |more)
可看到程式將CHANGES.txt內所有單字數量都計算一次
再點擊桌面上的TARN Status圖示, 可看到剛剛的job ID 0007執行成功
點另一個Node Status圖示, 選取右上方的'Browse the file ststem'瀏覽檔案
在Browse Directory的文字框輸入'user/WordCount_Output'按Go, 也可以下載Job的執行結果
開發工作使用模擬器就先可避免Azure上的費用了
留言
追蹤
檢舉
上一篇
Day 15. HDInsight瀏覽器介面
下一篇
Day 17. Hive on Emulator
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19843
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
iOS 裝置無法透過 IPsec VPN 連入 FortiGate,請問正確設定方式?
EPSON LQ-690C 印表機中一刀跑版
[Javascript] 非同步執行,如何延緩後面程式的處理 ??
印表機設定 - Epson 690c
AARQ 通訊協議是?
Dell or Asus 伺服器,哪牌比較好?
Dell or Asus Storage 或NAS,哪牌比較好?
將硬碟上的 EFI 分割區複製到固態硬碟後,ARM 架構的 Ubuntu Server 無法啟動
sdray vigor2927 sslvpn ip設定問題
熱門回答
iOS 裝置無法透過 IPsec VPN 連入 FortiGate,請問正確設定方式?
EPSON LQ-690C 印表機中一刀跑版
[Javascript] 非同步執行,如何延緩後面程式的處理 ??
印表機設定 - Epson 690c
Dell or Asus 伺服器,哪牌比較好?
熱門文章
Vue 的this跟 js 的this有什麼不同?為什麼能直接存取屬性? componentInstance(元件實例)
DNS 可見度差距:防火牆在網路安全中忽略的錯誤設定
告別「N 個 resize 監聽器」改用 React Context API 改善網頁效能
[資料治理實戰回憶錄]0-從失敗中開始
台灣職場必學的Excel函數技巧
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}