技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
19
0
Azure 30天
系列 第
19
篇
Day 19. HDInsight與Blob的資料傳遞
鐵人賽
wtc
2014-10-19 20:53:15
1276 瀏覽
分享至
在模擬器我們可以模擬HADOOP的行為,那若是要從模擬器連到Azure上的正式環境, 就必須在C:\hdp\hadoop-2.4.0.2.1.3.0-1981\etc\hadoop\core-site.xml新增以下Property
<property>
<name>fs.azure.account.key.
<StorageAccountName>
.blob.core.windows.net</name>
<value>
<StorageAccountKey>
</value>
</property>
**<StorageAccountName>, <StorageAccountKey>**這些資訊可從Portal上的'管理存取金鑰'取得
設定後不需重啟HADOOP, 使用以下語法來連結wasb://<ContainerName>@<StorageAccountName>.blob.core.windows.net/. 以下列為例,
ContainerName: clstr0002
StorageAccountName: stor0002
指令就是 hadoop fs -ls wasb://
clstr0002@stor0002.blob.core.windows.net
/, 列出目錄下所有檔案
確定可連結之後, 回到稍早介紹的Azure Storage explorer, 先連上Storage後新增項目
在Blob Name輸入user/demo.txt, 接著在content文字框任意輸入資料並儲存, 表示要在user資料夾下建立一個文字檔案
回到HADOOP command line, 輸入hadoop fs -cat wasb://
clstr0002@stor0002.blob.core.windows.net
/user/demo.txt就可看到剛剛用Explorer上傳的文字檔
另外再使用command line的方式上傳檔案測試,用copyFromLocal的方式上傳 (這邊使用hdfs)
hdfs dfs -copyFromLocal datanode.xml wasb://
clstr0002@stor0002.blob.core.windows.net
/user/datanode.txt
同樣再用cat方式確認一下
hadoop fs -cat wasb://
clstr0002@stor0002.blob.core.windows.net
/user/datanode.txt
最後再從瀏覽器介面驗證一次, 加上前面介紹的powershell, 檔案的傳遞也就先告一段落
留言
追蹤
檢舉
上一篇
Day 18. MS SQL & Hive的連結
下一篇
Day 20. Azure上的LOG (上)
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22200
篇
完賽人數
602
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
熟識南投軟體工程師推薦
如何練國考資訊題?
Active Directory 環境中時間無法同步問題
筆電無法使用usb開機重裝系統
CCNA相關問題詢問
電商在販售商品時,可以自行縮短保固期限嗎?
求救 有人會修改cookie權限嗎
python scrapy pipeline實作問題請教
HP印表機WSD PORT連結問題
函數問題
熱門回答
防火牆互通問題
筆電無法使用usb開機重裝系統
if函數中的>&<&=是否可以使用儲存格代替
熟識南投軟體工程師推薦
Active Directory 環境中時間無法同步問題
熱門文章
大總結 - Win11 是對企業和私人的大改版
每日一篇學習筆記 直到我做完專題 :( [Day1]
每日一篇學習筆記 直到我做完專題 :( [Day2]
[翻譯]使用AI工具寫程式碼時如何避免「AI幻覺」?
每日一篇學習筆記 直到我做完專題 :( [Day3]
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}