iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
生成式 AI

從Azure雲端服務架構入門,在本地端結合RAG&LLM打造專屬的聊天機器人。 系列

筆者在2023年下半年曾經使用Azure雲端服務和OpenAI API開發過企業內部的聊天機器人,鑒於近年來GenAI應用技術更新快速,每個當下都是最好的紀錄時機,決定在2024鐵人賽中,挑戰在資料不上雲、不使用付費服務的情境下,於本地端啟用能自己餵文件打造專屬知識庫的聊天機器人。

文章適合初次踏入LLM應用的開發者,以及好奇聊天機器人背後運作原理的所有人。預計先介紹Azure於github公開的demo code,來認識雲端服務的運用以及聊天機器人架構。接著,便開始紀錄初次嘗試以開源免費資源打造地端聊天機器人的過程,歡迎大家留言提供建議,共同參與這個挑戰。

參賽天數 12 天 | 共 12 篇文章 | 8 人訂閱 訂閱系列文 RSS系列文 團隊資料工程師甘苦談
DAY 1

Part1: Azure聊天機器人原理-緣起

▋前言 有人說,2023年是生成式AI元年,GPT聊天機器人能達到的品質大幅提升,讓許多產業紛紛引入生成式AI,希望能透過這項技術,結合自身的產業知識,碰撞出...

2024-09-15 ‧ 由 Harper 分享
DAY 2

Part1: Azure聊天機器人原理-架構初識

▋聊天好難,機器人到底怎麼聊? 想認識新朋友、追求另一伴時,有人可能會問,聊天好難,到底要怎麼聊到對方的心坎裡?機器人要懂得應答也不容易,過往我們可能都有一些...

2024-09-16 ‧ 由 Harper 分享
DAY 3

Part1: Azure聊天機器人原理-查找資料(1)

▋Azure聊天機器人實例 延續上回提到的架構圖,今天我們從架構圖的上方開始介紹。 Data Sources 資料來源就是我們平常習慣閱讀的各類檔案,格式可能...

2024-09-17 ‧ 由 Harper 分享
DAY 4

Part1: Azure聊天機器人原理-查找資料(2)

▋Azure聊天機器人實例 延續並更深入地討論架構圖上方的知識庫搜尋引擎,如果你是開發者或是深度使用者,也許會想知道更多READ ME上面沒寫的事,所以今天的...

2024-09-18 ‧ 由 Harper 分享
DAY 5

Part1: Azure聊天機器人原理-RAG&LLM

上一篇我們一起看了聊天機器人的文檔餵食秀,今天要來科普兩個聊天機器人相關的專有名詞,RAG和LLM,這兩個縮寫就在我們系列文的主標題中,但到現在還沒好好跟大家解...

2024-09-19 ‧ 由 Harper 分享
DAY 6

Part1: Azure聊天機器人原理-向量資料庫&Embedding

上一篇我們介紹了RAG和LLM,它們是讓聊天機器人活起來說人話的重要關鍵。但在背後,其實還有功不可沒的向量化技術作為支撐,今天就來跟大家解釋Embedding和...

2024-09-20 ‧ 由 Harper 分享
DAY 7

Part1: Azure聊天機器人原理-Prompt生成回覆(1)

▋Azure聊天機器人實例 完成資料檢索後,來到架構圖的下半部,聊天機器人要開始準備回覆的內容了。在這個部分,主要的目標是,生成使用者容易閱讀的內容,不只是單...

2024-09-21 ‧ 由 Harper 分享
DAY 8

Part1: Azure聊天機器人原理-Prompt生成回覆(2)

▋Azure聊天機器人實例 昨天討論到聊天機器人生成回覆需要透過LLM模型來完成,而且這個回覆是必須要遵守RAI道德規範的。今天我們將利用Prompt這個提示...

2024-09-22 ‧ 由 Harper 分享
DAY 9

Part1: Azure聊天機器人原理-用ChatGPT來練習Prompt技巧吧!

▋ChatGPT Prompt實戰演練 上回介紹了Prompt是怎麼回事,今天我們透過大家都容易取得的工具ChatGPT,來實際操作這些Prompt技巧,看看成...

2024-09-23 ‧ 由 Harper 分享
DAY 10

Part1: Azure聊天機器人原理-參數設定

▋Azure聊天機器人實例 上一篇我們練習的Prompt技巧,除了直接在對話框中輸入之外,在Azure聊天機器人中,還有提供介面讓我們可以做更仔細的參數設定。...

2024-09-24 ‧ 由 Harper 分享