先敘明，今天談的 model 部署，是 Model catalog 裡面的 AI 模型部署，而不是你在 Azure Machine Learning 裡面訓練好的新 model 的部署。

如果你想要把你在 Azure Machine Learning 裡面自己訓練好的新 model 部署起來，例如說是一個副檔名 h5 的檔案，可以參考這篇文章 https://ithelp.ithome.com.tw/articles/10279954 。

我們這裡跟昨天一樣，分成三種部署來談。

部署 Models curated by Azure AI

如果你要部署 Meta、Nvidia、Mistral AI 等合作夥伴的模型，直接進到模型頁面後，點擊 Deploy 就可以了，如下圖所示，但是接著你就會發現你的 quota 不夠。因為 llama 3.1 8B 實在是太吃資源了。

那麼你可能會要 request quota。這些模型的部署所需的資源很大，你原本的資源通常會不夠，所以還要再申請 quota 。點擊部署畫面中的 Click here to view and request quota，就會跳到如下圖所示的頁面。在這個頁面你可以請求更多資源。

申請到後，部署起來也很簡單，填完表單後選 deploy 就對了，你就會拿到一個 web API 的 endpoint。但是如下圖所示，你要部署一台 llama 3.1 8B 這種比較小的模型，每個月要花到 2730 美金，這值得嗎？我是建議還是直接用 OpenAI 吧！

部署 Hugging Face Models

Hugging Face model 的部署也是，你選到你想要的模型，點 deploy ，就可以部署了。

我們來選一個很經典模型，distilbert-base-uncased-finetuned-sst-2-english，部署起來吧！這個模型是古典（我的古典是指 2022 年 11 月 ChatGPT 誕生以前的時代）的文本分類，比較不吃資源，所以不用申請也能部署起來。

我們在中間的 Search bar 裡輸入 distilbert-base-uncased-finetuned-sst-2-english，就可以找到了，如下圖所示。

接著我們點 deploy ，就可以發現有 VM 能選了，因為這個模型比較不吃資源。如下圖所示。我們就滾到最下面，點 Deploy 就可以了，這會花上一小段時間。

等待很長的一段時間，我們可以到左側選單的 Endpoints 裡，看到我們已經部署好的模型了。還有 Swagger.json 給你，真的貼心。如下圖所示。

部署 OpenAI model

這個就像昨天所說的，完全是另外一項的 Azure 服務。部署的方式和流程也不一樣，這個我們再後面再來詳述。

明天我們先來談 Model catalog 這裡的兩種部署模式：Managed 和 Serverless，這裡有我不小心燒掉一千美金的天坑。