技術問答
技術文章
iT 徵才
聊天室
2025 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
17
0
Azure 30天
系列 第
17
篇
Day 17. Hive on Emulator
鐵人賽
wtc
2014-10-17 22:15:18
2047 瀏覽
分享至
先依照上次的說明啟動本機hadoop services. (start_local_hdp_services)
由於Hive沒有類似insert into帶values的指令, 因此需要用匯入的方式, 用簡單的範例, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin再執行hive, 接著輸入 create table test(name string);
在相同的bin資料夾下建立一個簡單的demo.txt, 只有兩行資料
再開另外一個hadoop command line, 到相同bin資料夾下輸入hadoop fs -copyFromLocal demo.txt /hive/warehouse/test匯入文字檔
5. 回到原先Hive視窗, select * from test就可看到那兩行文字
接著照著Tutorial實作
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/#scenarios
執行hadoop command line, 切換目錄到c:\hdp\GettingStarted, 執行以下指令產生範例文檔並匯入至模擬器
powershell -File importdata.ps1 w3c -ExecutionPolicy unrestricted
可用以下指令檢視並確認資料有匯入
hadoop fs -ls -R /w3c
或是從流覽器檢視/w3c/input資料夾
這個檔案基本上就是access request log
為了等一下方便執行, 先複製C:\hdp\GettingStarted\Hive\w3c下的 w3ccreate.hql & w3ctotalhitsbypage.hql
貼到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin下, 這樣等等就不用打一長串的路徑
將著在hadoop command line視窗, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin, 再輸入以下指令建立Hive Table跟匯入資料
hive.cmd -f w3ccreate.hql -hiveconf "input=/w3c/input/small/data_w3c_small.txt"
再執行以下指令即可看到結果, 也會看到一個Job ID. 最後列出模擬資料庫的點擊率
hive.cmd -f w3ctotalhitsbypage.hql
使用YARN status也可看到Job ID 0001執行成功
留言
追蹤
檢舉
上一篇
Day 16. Azure HDInsight Emulator
下一篇
Day 18. MS SQL & Hive的連結
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19843
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
iOS 裝置無法透過 IPsec VPN 連入 FortiGate,請問正確設定方式?
EPSON LQ-690C 印表機中一刀跑版
[Javascript] 非同步執行,如何延緩後面程式的處理 ??
印表機設定 - Epson 690c
AARQ 通訊協議是?
Dell or Asus 伺服器,哪牌比較好?
Dell or Asus Storage 或NAS,哪牌比較好?
將硬碟上的 EFI 分割區複製到固態硬碟後,ARM 架構的 Ubuntu Server 無法啟動
sdray vigor2927 sslvpn ip設定問題
熱門回答
iOS 裝置無法透過 IPsec VPN 連入 FortiGate,請問正確設定方式?
EPSON LQ-690C 印表機中一刀跑版
[Javascript] 非同步執行,如何延緩後面程式的處理 ??
印表機設定 - Epson 690c
Dell or Asus 伺服器,哪牌比較好?
熱門文章
Vue 的this跟 js 的this有什麼不同?為什麼能直接存取屬性? componentInstance(元件實例)
DNS 可見度差距:防火牆在網路安全中忽略的錯誤設定
告別「N 個 resize 監聽器」改用 React Context API 改善網頁效能
[資料治理實戰回憶錄]0-從失敗中開始
台灣職場必學的Excel函數技巧
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}