iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
生成式 AI

從Azure雲端服務架構入門,在本地端結合RAG&LLM打造專屬的聊天機器人。 系列

筆者在2023年下半年曾經使用Azure雲端服務和OpenAI API開發過企業內部的聊天機器人,鑒於近年來GenAI應用技術更新快速,每個當下都是最好的紀錄時機,決定在2024鐵人賽中,挑戰在資料不上雲、不使用付費服務的情境下,於本地端啟用能自己餵文件打造專屬知識庫的聊天機器人。

文章適合初次踏入LLM應用的開發者,以及好奇聊天機器人背後運作原理的所有人。預計先介紹Azure於github公開的demo code,來認識雲端服務的運用以及聊天機器人架構。接著,便開始紀錄初次嘗試以開源免費資源打造地端聊天機器人的過程,歡迎大家留言提供建議,共同參與這個挑戰。

鐵人鍊成 | 共 30 篇文章 | 10 人訂閱 訂閱系列文 RSS系列文 團隊資料工程師甘苦談
DAY 21

Part2: 地端實作聊天機器人-用docker compose部屬資料庫

▋用docker compose部屬資料庫 前兩天我們確認好開發環境,也把程式碼下載到環境中。今天延續說明文件,git clone之後,如果環境中還沒有安裝這...

2024-10-05 ‧ 由 Harper 分享
DAY 22

Part2: 地端實作聊天機器人-用docker compose部屬資料庫(profile概念)

▋回顧&延伸-用docker compose部屬資料庫 在開始前後端服務之前,還記得我們昨天使用docker compose指令,試圖啟動由docke...

2024-10-06 ‧ 由 Harper 分享
DAY 23

Part2: 地端實作聊天機器人-Poetry (Python套件管理器)

▋Poetry (Python套件管理器) 完成資料庫部屬後,跟著說明文件來到了下一步-伺服器部屬。這裡指的伺服器指的是後端服務,Dify使用後端API即服務...

2024-10-07 ‧ 由 Harper 分享
DAY 24

Part2: 地端實作聊天機器人-部屬伺服器(Server Deployment)

▋部屬伺服器 (Server Deployment) 今天的內容會對應說明文件中的部屬伺服器,目標是啟動後端API服務,但由於前一篇提到的錯誤情形,會提供另外...

2024-10-08 ‧ 由 Harper 分享
DAY 25

Part2: 地端實作聊天機器人-部屬前端網頁 (Deploy the Frontend Page)

▋部屬前端網頁 (Deploy the Frontend Page) 接續我們昨天已經啟動的後端API服務,今天的目標是架設網站頁面,讓前後端服務能夠串連起來...

2024-10-09 ‧ 由 Harper 分享
DAY 26

Part2: 地端實作聊天機器人-登入自己部屬的Dify

▋登入自己部屬的Dify 接續我們昨天已經啟動的地端Dify服務,今天要來試玩看看Dify網站,來熟悉介面操作,並且檢查網站的運行結果是不是如我們預期,能不能...

2024-10-10 ‧ 由 Harper 分享
DAY 27

Part2: 地端實作聊天機器人-在Dify設定模型

▋在Dify設定模型 昨天在Dify上已經初步認識了各個頁面的功能,但如果實際嘗試的話,會發現還是沒辦法建立一個RAG聊天機器人,關鍵在於,我們還沒給定Dif...

2024-10-11 ‧ 由 Harper 分享
DAY 28

Part2: 地端實作聊天機器人-用Ollama部屬地端LLM模型

▋用Ollama部屬地端LLM模型 Ollama是個開源的模型管理服務,可以讓我們可以透過指令,快速地將模型部屬成可用的服務。進到Ollama官網就可以看到可...

2024-10-12 ‧ 由 Harper 分享
DAY 29

Part2: 地端實作聊天機器人-結合Celery上傳文檔&建立知識庫

▋結合Celery上傳文檔&建立知識庫 今天我們要實際上傳文檔,建立我們聊天機器人背後的知識庫。有了網頁介面,要達成這個目標變得直觀很多,不過Dify...

2024-10-13 ‧ 由 Harper 分享
DAY 30

Part2: 地端實作聊天機器人-Dify成果分享

▋Dify成果分享 今天要實際跟自己建立的地端聊天機器人說話啦,我們能讓機器人有自己的人設,用獨特的風格和我們對話。接下來就看看最後的設定,如何在Dify結合...

2024-10-14 ‧ 由 Harper 分享