技術問答
技術文章
iT 徵才
Tag
聊天室
2024 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
19
0
Azure 30天
系列 第
19
篇
Day 19. HDInsight與Blob的資料傳遞
鐵人賽
wtc
2014-10-19 20:53:15
1274 瀏覽
分享至
在模擬器我們可以模擬HADOOP的行為,那若是要從模擬器連到Azure上的正式環境, 就必須在C:\hdp\hadoop-2.4.0.2.1.3.0-1981\etc\hadoop\core-site.xml新增以下Property
<property>
<name>fs.azure.account.key.
<StorageAccountName>
.blob.core.windows.net</name>
<value>
<StorageAccountKey>
</value>
</property>
**<StorageAccountName>, <StorageAccountKey>**這些資訊可從Portal上的'管理存取金鑰'取得
設定後不需重啟HADOOP, 使用以下語法來連結wasb://<ContainerName>@<StorageAccountName>.blob.core.windows.net/. 以下列為例,
ContainerName: clstr0002
StorageAccountName: stor0002
指令就是 hadoop fs -ls wasb://
clstr0002@stor0002.blob.core.windows.net
/, 列出目錄下所有檔案
確定可連結之後, 回到稍早介紹的Azure Storage explorer, 先連上Storage後新增項目
在Blob Name輸入user/demo.txt, 接著在content文字框任意輸入資料並儲存, 表示要在user資料夾下建立一個文字檔案
回到HADOOP command line, 輸入hadoop fs -cat wasb://
clstr0002@stor0002.blob.core.windows.net
/user/demo.txt就可看到剛剛用Explorer上傳的文字檔
另外再使用command line的方式上傳檔案測試,用copyFromLocal的方式上傳 (這邊使用hdfs)
hdfs dfs -copyFromLocal datanode.xml wasb://
clstr0002@stor0002.blob.core.windows.net
/user/datanode.txt
同樣再用cat方式確認一下
hadoop fs -cat wasb://
clstr0002@stor0002.blob.core.windows.net
/user/datanode.txt
最後再從瀏覽器介面驗證一次, 加上前面介紹的powershell, 檔案的傳遞也就先告一段落
留言
追蹤
檢舉
上一篇
Day 18. MS SQL & Hive的連結
下一篇
Day 20. Azure上的LOG (上)
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
直播研討會
{{ item.subject }}
{{ item.channelVendor }}
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
1064
組
團體組數
40
組
累計文章數
22137
篇
完賽人數
596
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
看更多
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
windows server
linux
css
react
vue.js
熱門問題
請問各位大神,有辦法更改家中的網路對外IP嗎 Orz
請問華碩分享器的系統紀錄這是在說明什麼
PDF簽章疑問
請問有 PDF 能一張一張翻譯加AI分析的方便工具嗎?
自家網站DNS連線逾時會載入很慢
MSSQL 滿3個月的算法
请教两个问题(文字和手机
網路查詢指令應用
Juniper SRX1500 斷電再開就無法正常運作
電子書閱讀器購買和實體書的優缺勢分析
熱門回答
請問各位大神,有辦法更改家中的網路對外IP嗎 Orz
請教舊電腦架網站的防護措施
JS 是否可以匯入「.xls」
MSSQL 滿3個月的算法
Exchange 刪除使用者 救回信件
熱門文章
當了兩個月的轉職工程師是怎樣的感覺?
iPhone升級iOS18之後 Vigor Router Firewall 路由器 防火牆 SmartVPN Client 問題
入門 ASP.NET Web Forms:建立您的第一個 Web 應用程式
Python 檔案處理:開啟、讀取、寫入與關閉
觀察 TCP UDP port 目的埠和應用程式的關係,CurrPorts 和 Microsoft Network Monitor
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}