iT邦幫忙

2025 iThome 鐵人賽

DAY 25
0
生成式 AI

智慧旅遊顧問--結合 LLM 與 RAG 架構的台灣旅遊資訊助手系列 第 25

【Day25】最終功能驗收 - 專案的壓力測試

  • 分享至 

  • xImage
  •  

一、端到端 (End-to-End) 功能驗證

首先要確認部署環境下的所有功能都能正確運行。這包括:

  1. RAG 驗證:輸入只存在於 taipei.csv 中的專業問題,確認模型能從 FAISS 知識庫中檢索並給出準確答案。

  2. Function Calling 驗證:輸入複雜的請求,例如「我想知道台北 101 的天氣,以及怎麼從那裡去故宮」,確認 AI 能正確調用兩個不同的 API 函式並將結果合併。

  3. 錯誤處理驗證:故意輸入無效的城市名稱,確認系統能返回我們設定的友善錯誤訊息。

二、專注於效能與延遲

在雲端環境中,回應時間是使用者體驗的關鍵。我們必須專注於效能測試:

  1. 延遲檢查:測量模型從接收提問到最終回覆所需的時間。特別是涉及 Function Calling 或 RAG 檢索的查詢,因為它們需要多個步驟,延遲可能會增加。

  2. 優化目標:確保多數查詢的回應時間都能保持在幾秒內,尤其要監控 Streamlit 頁面的載入速度。

三、關鍵的安全性檢查

最後驗證專案的安全性配置是否正確:

確認存放在 secrets.toml 中的 API 金鑰,是否已透過 Cloud Run 的環境變數安全地注入到容器中,並且沒有以任何形式暴露在前端或程式碼的日誌中。


上一篇
【Day24】部署實戰 (二) - 推送容器與正式上線
下一篇
【Day26】程式碼精簡與整理
系列文
智慧旅遊顧問--結合 LLM 與 RAG 架構的台灣旅遊資訊助手27
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言