Azure Machine Learning 中的 Model Catalog 是專為開發生成式 AI 應用的模型中心,提供多種來自不同模型提供者的模型,包括 Azure OpenAI、Meta、Nvidia、Hugging Face 等。這些模型幫助開發者快速建立 AI 應用,並且涵蓋各種業務場景。
如下圖所示,我們只要點擊左側選單的 model catalog ,就可以進到這個畫面了,很多模型可以取用。
需要特別注意的是,這裡的模型主要有三大來源,每個來源都不太一樣。這邊特別介紹一下。
這些模型來自第三方開源或專有模型,經過 Azure AI 優化,確保能在 Azure 平台上順利運行。這些模型的使用需遵守提供方的許可條款,如 Meta、Nvidia、Mistral AI 等合作夥伴的模型就屬於此類。這類別的模型基本上就是用該 provider 的 logo 來表示。
Azure 獨家提供的 OpenAI 模型。這些模型其實就是部署在 Azure OpenAI 這個服務裡面,且使用條款遵循 Azure OpenAI 服務的產品條款。說真的我覺得放在這裡不是很好,因為這是獨立的另一項服務,不過我能明白微軟的用意是讓你知道我們也可以部署這些模型。
這類型的模型基本上就是從 Hugging Face 來的,提供了上百個開源模型,這些模型可用於 real-time inference,但是要注意不是所有 HuggingFace 的模型都可以在這裡被找到的。因為這裡的模型清單,是由 HuggingFace 來提供的。這類別的模型基本上就是用 HuggingFace 的 logo 來表示。
你也可以填寫這個表單,看看你的模型能不能被放上去: https://forms.office.com/pages/responsepage.aspx?id=v4j5cvGGr0GRqy180BHbR_frVPkg_MhOoQxyrjmm7ZJUM09WNktBMURLSktOWEdDODBDRjg2NExKUy4u
你只要點進去就可以得到更多的這個模型的資訊了。一般可以看到模型的資訊、範例程式碼、授權等資訊,你可以進一步來評估、微調或部署模型。
下圖中我們可以看到這是 Meta-Llama-3.1-8B 的模型,有提供範例程式碼,但是不一定每個模型都會提供。如果你再往下滾,還可以看到許多評測的資訊。
不過我的經驗是,最重要的是下圖,要給你 JSON 輸入的格式,如下圖所示。早期很多模型沒有給你這個資訊,你就要他原始的網站看有沒有這個輸入的格式資訊,沒有的話就要盲人摸象。會建議如果該模型沒有提供這類的資訊,就不要用該模型了。
明天我們來談 model catalog 的部署吧!