iT邦幫忙

DAY 19
0

Azure 30天系列 第 19

Day 19. HDInsight與Blob的資料傳遞

  • 分享至 

  • xImage
  •  
  1. 在模擬器我們可以模擬HADOOP的行為,那若是要從模擬器連到Azure上的正式環境, 就必須在C:\hdp\hadoop-2.4.0.2.1.3.0-1981\etc\hadoop\core-site.xml新增以下Property
    <property>
    <name>fs.azure.account.key.<StorageAccountName>.blob.core.windows.net</name>
    <value><StorageAccountKey></value>
    </property>

  1. **<StorageAccountName>, <StorageAccountKey>**這些資訊可從Portal上的'管理存取金鑰'取得

  1. 設定後不需重啟HADOOP, 使用以下語法來連結wasb://<ContainerName>@<StorageAccountName>.blob.core.windows.net/. 以下列為例,
    ContainerName: clstr0002
    StorageAccountName: stor0002
    指令就是 hadoop fs -ls wasb://clstr0002@stor0002.blob.core.windows.net/, 列出目錄下所有檔案

  1. 確定可連結之後, 回到稍早介紹的Azure Storage explorer, 先連上Storage後新增項目

  1. 在Blob Name輸入user/demo.txt, 接著在content文字框任意輸入資料並儲存, 表示要在user資料夾下建立一個文字檔案

  1. 回到HADOOP command line, 輸入hadoop fs -cat wasb://clstr0002@stor0002.blob.core.windows.net/user/demo.txt就可看到剛剛用Explorer上傳的文字檔

  1. 另外再使用command line的方式上傳檔案測試,用copyFromLocal的方式上傳 (這邊使用hdfs)
    hdfs dfs -copyFromLocal datanode.xml wasb://clstr0002@stor0002.blob.core.windows.net/user/datanode.txt

  1. 同樣再用cat方式確認一下
    hadoop fs -cat wasb://clstr0002@stor0002.blob.core.windows.net/user/datanode.txt

  1. 最後再從瀏覽器介面驗證一次, 加上前面介紹的powershell, 檔案的傳遞也就先告一段落


上一篇
Day 18. MS SQL & Hive的連結
下一篇
Day 20. Azure上的LOG (上)
系列文
Azure 30天30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言