iT邦幫忙

2024 iThome 鐵人賽

DAY 7
1

▋Azure聊天機器人實例


https://ithelp.ithome.com.tw/upload/images/20240921/20169058an6RgBGkfR.png
完成資料檢索後,來到架構圖的下半部,聊天機器人要開始準備回覆的內容了。在這個部分,主要的目標是,生成使用者容易閱讀的內容,不只是單純的搜尋引擎,而這些就需要透過先前提過的LLM服務來完成。

Azure OpenAI service

Azure OpenAI 服務提供對於 OpenAI 強大語言模型的 REST API 存取,包括 GPT-4o、包含視覺功能的 GPT-4 Turbo、GPT-4、GPT-3.5-Turbo 和 Embeddings 模型系列。 這些模型可以輕鬆地適應您的特定工作,包括但不限於內容產生、摘要、影像理解、語意搜尋,以及將自然語言翻譯為程式碼。 使用者可以透過 REST API、Python SDK 或 Azure OpenAI Studio 中的 Web 型介面來存取服務。

Azure OpenAI service提供我們調用OpenAI提供的LLM model(也就是ChatGPT背後使用的模型)。當OpenAI有新模型發布,Azure通常會再晚個一陣子,再將新模型上架到自己的服務中。例如,發文地當下OpenaI公司已經推出了OpenAI o1,不過Azure OpenAI service的官方文件尚未更新可同步支援到o1,暫時還只能選用到GPT-4o版本。而使用Azure OpenAI service或者OpenAI來使用同款的LLM模型在本質上並沒有實質差異,區別是Azure提供使用者額外的安全性保障。

透過 Azure OpenAI,客戶可享有 Microsoft Azure 的安全性功能,同時執行與 OpenAI 相同的模型。 Azure OpenAI 提供私人網路、區域可用性,以及負責任 AI 內容篩選。

Responsible AI

Azure環境中提供的AI服務,包含負責任AI(Responsible AI, RAI)。RAI宗旨為確保AI技術發展的同時,仍然符合人類社會基本的道德規範,希望這些先進的人工智慧,不會被惡意的使用,導致危害社會安全。ChatGPT也有類似的風險控管,舉例來說,當我問聊天機器人如何製作炸彈時,機器人即使有能力教學,但也會基於安全考量,拒絕回答使用者的提問,以保護生成的結果不對他人造成傷害。(但蛋糕的製作過程可以,他最大的危害可能就是讓人幸福肥而已!)
https://ithelp.ithome.com.tw/upload/images/20240921/20169058aGopxhnADz.png

▋下回預告


下一篇我們要接著講Prompt,將提供一些簡單的Prompt技巧供大家參考。

▋參考資料


Azure OpenAI service
OpenAI o1
ChatGPT問答情形

▋後記


今天台北雨下得好大,但筆者還是一早就出門參加數據社群的讀書會小聚(曼陀號領航計畫數據組的月會),而且十分湊巧,今天的主題是GenAI,還有人分享Prompt的經驗,整場講座都聽得十分津津有味,明天就來講講Prompt吧。


上一篇
Part1: Azure聊天機器人原理-向量資料庫&Embedding
下一篇
Part1: Azure聊天機器人原理-Prompt生成回覆(2)
系列文
從Azure雲端服務架構入門,在本地端結合RAG&LLM打造專屬的聊天機器人。30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言