技術文章
技術問答
My Project
iT 徵才
聊天室
2026 鐵人賽
登入/註冊
文章
問答
Tag
邦友
鐵人賽
搜尋
DAY
17
0
Azure 30天
系列 第
17
篇
Day 17. Hive on Emulator
鐵人賽
wtc
2014-10-17 22:15:18
2159 瀏覽
分享至
先依照上次的說明啟動本機hadoop services. (start_local_hdp_services)
由於Hive沒有類似insert into帶values的指令, 因此需要用匯入的方式, 用簡單的範例, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin再執行hive, 接著輸入 create table test(name string);
在相同的bin資料夾下建立一個簡單的demo.txt, 只有兩行資料
再開另外一個hadoop command line, 到相同bin資料夾下輸入hadoop fs -copyFromLocal demo.txt /hive/warehouse/test匯入文字檔
5. 回到原先Hive視窗, select * from test就可看到那兩行文字
接著照著Tutorial實作
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/#scenarios
執行hadoop command line, 切換目錄到c:\hdp\GettingStarted, 執行以下指令產生範例文檔並匯入至模擬器
powershell -File importdata.ps1 w3c -ExecutionPolicy unrestricted
可用以下指令檢視並確認資料有匯入
hadoop fs -ls -R /w3c
或是從流覽器檢視/w3c/input資料夾
這個檔案基本上就是access request log
為了等一下方便執行, 先複製C:\hdp\GettingStarted\Hive\w3c下的 w3ccreate.hql & w3ctotalhitsbypage.hql
貼到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin下, 這樣等等就不用打一長串的路徑
將著在hadoop command line視窗, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin, 再輸入以下指令建立Hive Table跟匯入資料
hive.cmd -f w3ccreate.hql -hiveconf "input=/w3c/input/small/data_w3c_small.txt"
再執行以下指令即可看到結果, 也會看到一個Job ID. 最後列出模擬資料庫的點擊率
hive.cmd -f w3ctotalhitsbypage.hql
使用YARN status也可看到Job ID 0001執行成功
留言
追蹤
檢舉
上一篇
Day 16. Azure HDInsight Emulator
下一篇
Day 18. MS SQL & Hive的連結
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
929
組
團體組數
32
組
累計文章數
12149
篇
完賽人數
152
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
18th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
熱門問題
六個語言的 README,要一比一翻完整,還是只寫到「裝得起來」就好?
「相容 MySQL 協議」的引擎,你們是怎麼做能力偵測的?我們試了 42 種,結論有點慘
熱門回答
六個語言的 README,要一比一翻完整,還是只寫到「裝得起來」就好?
熱門文章
紅隊攻一條線,藍隊守一整面:「大哥沒有輸」
Swift - 協議導向程式語言(Protocol-Oriented Programming, POP)
CDN / WAF 源站真实 IP 泄漏与防护
iThome 鐵人賽的連續 30 天發文挑戰 區塊鏈與資安實戰
[Machine Learning A-Z [2026] ] 學習筆記 Day17 Clustering K-means
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}