IT EXPLAINED 數位轉型攻略 VII
免費 CyberLAB實機操作課程
Cloud Future Built Today
技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
16
0
Azure 30天
系列 第
16
篇
Day 16. Azure HDInsight Emulator
鐵人賽
wtc
2014-10-16 17:57:59
1543 瀏覽
分享至
先到以下網址下載模擬器與Tutorial實作
http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/
會從Web Platform 安裝, 會需要約1.5G的空間
安裝後進到windows'服務'程式, 就會發現多了很多Apache Hadoop的服務, 要執行模擬器這些服務都要被啟動
在c:\hdp資料夾下有一個start_local_hdp_services的檔案, 執行後就可全部啟動
桌面上也會多三個icon, 分別是command line, Node status, YARN status
執行Hadoop command line, 進到文字模式, 所有指令前面都先加hadoop, 例如看資料夾就是hadoop fs -ls / (fs表示要執行檔案系統)
新增user資料夾 (hadoop fs -mkdir /user)
在本機先往下切換到share\doc\hadoop\common資料夾, 再將裡面一個CHANGES.txt複製進去到模擬器 (hadoop fs -copyFromLocal CHANGES.txt /user), 可用-ls再確認有複製到
再切換到share\hadoop\mapreduce資料夾, 使用jar參數執行WordCount的程式, 會看到被指派一個Job ID尾數0007
(hadoop jar hadoop-mapreduce-examples-2.4.0.2.1.3.0-1981.jar wordcount /user/CHANGES.txt /user/WordCount_Output)
執行後一樣會生成一個輸出檔案, 在模擬器內是part-r-00000, 使用cat加more看結果
(hadoop fs -cat /user/WordCount_Output/part-r-00000 |more)
可看到程式將CHANGES.txt內所有單字數量都計算一次
再點擊桌面上的TARN Status圖示, 可看到剛剛的job ID 0007執行成功
點另一個Node Status圖示, 選取右上方的'Browse the file ststem'瀏覽檔案
在Browse Directory的文字框輸入'user/WordCount_Output'按Go, 也可以下載Job的執行結果
開發工作使用模擬器就先可避免Azure上的費用了
留言
追蹤
檢舉
上一篇
Day 15. HDInsight瀏覽器介面
下一篇
Day 17. Hive on Emulator
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
直播研討會
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22202
篇
完賽人數
600
人
看影片追技術
看更多
規模化敏捷的實戰:從六人 Scrum 到五十人跨部門 LeSS
Hello World Dev Conference
|
40 分
「智慧跨域 共創永續」一卡通與政府、企業永續創新思維合作
數位永續高峰會
|
25 分
如何安全部署及維運容器平台 & 軟體供應鏈之威脅與防護
IT EXPLAINED
|
38 分
簡化 JVM 上雲─透過 Azure Spring Cloud 提升開發、發佈及服務監控效率
IT EXPLAINED
|
45 分
資安長必看戰情表!全方位提升您企業網路威脅的抵抗力
CYBERSEC NOW
|
26 分
用人工智慧助軟體開發
MWC
|
69 分
建構企業雲端架構安全、彈性與擴充性,延展企業全球無邊際安全存取
Cloud Summit 臺灣雲端大會
|
25 分
Zero Trust 讀書會必讀 NIST 800-207標準解析 Part 2
零信任資安講堂
|
34 分
你跟上 Platform Engineering 了嗎?超大型組織下一步
DevOpsDays
|
38 分
人類滲透測試:零信任或可信賴的存在體?Human Penetration Test : Zero Trust or Trustworthy Being ?
臺灣資安大會
|
34 分
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
『玩玩』Google AI - Gemini
如何以A電腦開啟/關閉B電腦的windows排程
關於Server記憶體插滿會被降頻運作的疑問?
Gmail擋信
(已解決)企業gmail設定dmarc問題
在Windows更新顯示由您組織管理關閉顯示
沒有固定IP,該怎麼自動設定DNS的A紀錄
用Python操控task manager 結束工作失敗(已解決)
[已解決]SQL Server還原資料庫,選擇檔案空白無資料
aruba IAP問題
錯過線上報名現場將收費!CYBERSEC 2025免費線上報名倒數!
GenAI 加速企業創新落地,更需要全新 IT 戰略
Windows 10支援倒數,聯繫微軟夥伴諮詢
DevOpsDays Taipei 2025早鳥票全力開賣,限時優惠只到3/31!
全新登場!CYBERSEC ARENA:War Game遊戲中體驗資安威脅應對,提升戰略思維與決策力!
立即標記行事曆,7/2 探索 AI 與雲端的無限未來!
熱門回答
沒有固定IP,該怎麼自動設定DNS的A紀錄
VMware續用
(已解決)企業gmail設定dmarc問題
[已解決]SQL Server還原資料庫,選擇檔案空白無資料
百度雲盤免註冊登入下載
熱門文章
中華電信光世代網路,家用型,商用型,進階型的差異 FTTB FTTH
Python 入門筆記 - 8 - Python 資料型態
GO 與 MCP Server 的簡單介紹
VMware 入門筆記 - 3 - 安裝與設定 Linux 虛擬機
Django RESTful API 入門筆記 - 6 - 串接 MongoDB
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}