昨天介紹了全新的 Serverless 部署方式我們就來把 Llama-3.1-8B-Instruct 部署起來玩吧！

1. 進到 Model Catalog 的頁面，在下圖所示的 Deployment options
   頁簽裡，勾選 Serverless API，很快我們就能找到 Llama-3.1-8B-Instruct。

2. 接著我們就點擊 Deploy，會看到兩個選項，我們選 Serverless。如下圖所示。

3. 接著就會跳出要你為這個 deployment 命名的選項，我就直接丟預設的命名。Content Filter 可以考慮啟用起來，以避免色情、暴力、仇恨等言論。

4. 接著會跳到另一個畫面，要你 Subscribe and Deploy，這裡會等待一下。如下圖所示。

5. 等待完成後，我們可以再到左側選單的 Endpoints 那裡進去，點上面的 Serverless endpoints 的 tab，就可以看到我們部署好的 Llama-3.1-8 B-Instruct 了。如下圖所示。

6. 點進去，我們就可以看到這個 llama 的重要資訊了，如下圖所示。包含了 API key，呼到 web API 的 endpoint ，還有可以測試的地方。

這裡你可能會疑問為什麼會有兩個 web API，其實就是一個是新產品 Azure AI 罷了。兩個都是可以用的

7. 我們點進去 Test ，馬上來玩一下吧，如下圖所示。

看起來還滿不錯的對吧？

我們最後來科普一下為什麼 Serverless 只有 llama 8B instruct 可以 Serverless 部署。

1. Meta-Llama-3.1-8B

• 預訓練模型：這是一個預訓練的大型語言模型，具備 80 億個參數。它是用於生成多語言文本的模型，適合各種自然語言生成任務，涵蓋文本生成和文本輸出的多種應用場景。
• 適用場景：可以用於各種 NLP 任務，比如自動文本生成、摘要、翻譯等，但需要進一步調整才能對應特定任務或需求。
• 多語言支持：支援多語言文本的輸入與輸出，包括英語、德語、法語、西班牙語、葡萄牙語等多種語言。

2. Meta-Llama-3.1-8B-Instruct

• 指令微調模型：這個模型在預訓練基礎上，進行了額外的指令調整（Instruction Tuning），也就是進一步的微調，使其更符合「助手」類應用的需求。這種調整通常使用人類反饋進行監督強化學習（RLHF），讓模型能夠更準確地對用戶指令作出反應，特別是對話場景。
• 適用場景：這個模型專為指令式文本生成任務設計，非常適合聊天機器人或虛擬助手這樣的應用場景。模型經過訓練後更善於根據明確指令生成對話或回應，因此更能滿足具體業務場景中的交互需求。
• 安全與有用性：由於經過人類反饋的強化學習，這個模型更能夠提供「有用」和「安全」的回應，避免生成有害內容或不相關的答案。

所以很明顯的．Llama-3.1-8 B-Instruct 是比較好用的模型，這也是微軟挑他出來可以做 Serverless 部署的原因。微軟真的很貼心。

明天我們就來寫程式串接這個 Llama-3.1-8 B-Instruct，不過會先介紹 LangChain 和一些虛擬環境的基礎再開始寫哦！