首先要確認部署環境下的所有功能都能正確運行。這包括:
RAG 驗證:輸入只存在於 taipei.csv 中的專業問題,確認模型能從 FAISS 知識庫中檢索並給出準確答案。
Function Calling 驗證:輸入複雜的請求,例如「我想知道台北 101 的天氣,以及怎麼從那裡去故宮」,確認 AI 能正確調用兩個不同的 API 函式並將結果合併。
錯誤處理驗證:故意輸入無效的城市名稱,確認系統能返回我們設定的友善錯誤訊息。
在雲端環境中,回應時間是使用者體驗的關鍵。我們必須專注於效能測試:
延遲檢查:測量模型從接收提問到最終回覆所需的時間。特別是涉及 Function Calling 或 RAG 檢索的查詢,因為它們需要多個步驟,延遲可能會增加。
優化目標:確保多數查詢的回應時間都能保持在幾秒內,尤其要監控 Streamlit 頁面的載入速度。
最後驗證專案的安全性配置是否正確:
確認存放在 secrets.toml 中的 API 金鑰,是否已透過 Cloud Run 的環境變數安全地注入到容器中,並且沒有以任何形式暴露在前端或程式碼的日誌中。