DAY05 在 Azure Machine Learning 上建立運算資源

前幾天我們已經建立好了自己的 dataset 了，今天就要開始在 Azure Machine Learing（下稱AML）建立運算的資源啦！

先來看看 compute 的頁面

點擊左頁的 compute 頁面，如下圖所示，我們看到這個頁面上方有四個頁簽，分別是

1. Compute instances
2. Compute clusters
3. Inference clusters AKS
4. Attached compute

我們來一一說明各項 compute 主要的差別是在哪裡：

• Compute instances

這個顧名思義就是開一台 VM 起來，我們用這一台 VM 來做 Machine Learning。可以開 GPU 或是 CPU 的機器，如果你做的是 deep learning 的話，那麼可能就要開 GPU 的機器會比較好，如果是一般的資料科學專案，可以開 CPU 的 VM 即可。開不同等級的 VM 就會有不同等級的費用，當然開愈好的 VM
會被收愈高的費用。值得注意一提的是，你開的資源數量會有上限的，一般是只能開特定數量的核心數，這是為了避免不小心開太多被超收太多費用。你可以在 Azure 裡向微軟請求開更多的核心數。

• Compute clusters

這個顧名思義就是開一群 VM 起來，你可以在建立時決定你最大要多少個 VM，最小要多少個 VM。一般用在大規模訓練，還有批次的 inference 處理時使用的。如果是要開發與測試你的 AI 模型，一般還是建議先開 compute instance 會比較省錢。

• Inference clusters

這個是要把你的 AI 模型部署成 restful API 時使用的，它的底層是 Azure Kubernetes Service。

• Attached computes

這個是要連結到其他的運算資料，例如說 Databricks、Data Lake 等其他服務時使用的。一般在做 big data 分析時會比較有機會用到。

接著我們來練習開一個 Compute instance 吧！

1. 如下圖所示，點擊 New

2. 接著右手邊會跳出一個視窗，依下圖所示之欄位一一說明：

• Compute name：你的運算資料取個名字吧！最好是和專案有關、能辨識出來的名稱。
• Location：這個是看你的 VM 要開在哪裡的 Azure 機房，一般你的 workspace 開在哪裡，就選哪裡。
• Virtual machine type：這個是看你要用 CPU 還是 GPU 的設備。我們是用鐵達尼號的專案，而不是 deep learning，使用 CPU 即可。不過為了 Demo 需要，我在這裡會開 GPU 的設備。
• Virtual machine size：這裡是選擇你的 VM 的大小，看你要多少核心或多少 RAM 等等的 size。看你要用 AML 建議的 VM，或是選
  Select from all options 來看你要哪一種 VM。一般來說效能愈好的 VM，價格就愈高。

3. Advance 設定這裡我們可以啟用 SSH key 就好了，選 Generate new key pair，輸入一個名稱。

4. 接著按下 Create 之後，會跳出下列畫面叫你下載你的 pem 檔，就下載下來後就會開始創建你的 VM 了。

5. 創建好後，你的畫面中間就會出現 Running，這時候我們就可以點進去看這個 VM 的資料。

6. 我們點上面那個 Connect，右邊視窗會跳出 ssh 連線的資訊，我們把連線字串複制起來吧！

7. 接著我們打開自己本機端上的 terminal，用剛剛下載的 pem 檔來連線，指令如下
   sudo ssh -i 你的PEM檔路徑 azureuser@Azure給你的IP -p 50000

8. 連去之後，我們使用指令 nvidia-smi，來看看 CUDA 是否已經安裝好。可以看到 Azure 已經幫我們處理好 CUDA 的安裝囉！

這下子我們就建立好運算資源啦，明天就開始嘗試 coding 囉！