- 在模擬器我們可以模擬HADOOP的行為,那若是要從模擬器連到Azure上的正式環境, 就必須在C:\hdp\hadoop-2.4.0.2.1.3.0-1981\etc\hadoop\core-site.xml新增以下Property
<property>
<name>fs.azure.account.key.<StorageAccountName>.blob.core.windows.net</name>
<value><StorageAccountKey></value>
</property>
- **<StorageAccountName>, <StorageAccountKey>**這些資訊可從Portal上的'管理存取金鑰'取得
- 設定後不需重啟HADOOP, 使用以下語法來連結wasb://<ContainerName>@<StorageAccountName>.blob.core.windows.net/. 以下列為例,
ContainerName: clstr0002
StorageAccountName: stor0002
指令就是 hadoop fs -ls wasb://clstr0002@stor0002.blob.core.windows.net/, 列出目錄下所有檔案
- 確定可連結之後, 回到稍早介紹的Azure Storage explorer, 先連上Storage後新增項目
- 在Blob Name輸入user/demo.txt, 接著在content文字框任意輸入資料並儲存, 表示要在user資料夾下建立一個文字檔案
- 回到HADOOP command line, 輸入hadoop fs -cat wasb://clstr0002@stor0002.blob.core.windows.net/user/demo.txt就可看到剛剛用Explorer上傳的文字檔
- 另外再使用command line的方式上傳檔案測試,用copyFromLocal的方式上傳 (這邊使用hdfs)
hdfs dfs -copyFromLocal datanode.xml wasb://clstr0002@stor0002.blob.core.windows.net/user/datanode.txt
- 同樣再用cat方式確認一下
hadoop fs -cat wasb://clstr0002@stor0002.blob.core.windows.net/user/datanode.txt
- 最後再從瀏覽器介面驗證一次, 加上前面介紹的powershell, 檔案的傳遞也就先告一段落
-
Loading
找不到結果。
-
![]()
iThome鐵人賽
看影片追技術
看更多
