iT邦幫忙

2026 iThome 鐵人賽

DAY 9
0
AI 自動化

大學生的生存筆記:用 Dify 零程式打造專屬課堂複習與考前衝刺 Agent系列 第 9 篇

Day 9:知識庫檢索測試(召回測試):驗證提問抓取準確度

  • 分享至 

  • xImage
  •  

一、前言

昨天(Day 8)我們透過調整分段識別符號(\n\n)與最大長度,成功克服了簡報轉 PDF 時「單詞成段、頁碼被截斷」的破碎化痛點,將講義整理成結構完整的大文字塊。
不過,資料切好、存進外接大腦後,系統真的能在我們提問時「翻出正確那一頁」嗎? 許多初學者常犯的錯誤是:一上傳完檔案就急著把知識庫綁進聊天機器人裡,結果問不出答案時,完全分不清到底是「AI 提示詞寫不好」還是「根本沒搜尋到講義片段」。
今天我們就要善用 Dify 內建的獨立檢驗工具——「召回測試(Recall Test)」,在不呼叫聊天模型消耗額度的情況下,先單獨驗證知識庫的檢索能力與相似度評估!

二、檢索測試

什麼是檢索測試?

是一種用於評估系統在使用者提問時,能否從知識庫中正確找出相關文件的測試方法。

為什麼要進行檢索測試?

  • 獨立驗證檢索品質(除錯必備):確保檢索部分有從知識庫中找到正確的部分。
  • 檢驗切分策略是否恰當:可以透過測試結果揭示分段策略是否有缺陷(例如段落太碎、上下脈絡被截斷),可以即時回頭微調分段設定。
  • 指導系統最佳化路徑:透過測試資料的回饋,為後續調整檢索門檻、檢索模式或微調問題提供明確的優化依據。

三、實作:檢索測試 3 步驟操作

  1. 步驟 1:進入知識庫的「檢索測試」分頁

    • 登入 Dify Cloud,點擊左側導航欄的「知識庫」
    • 點進建立好的講義知識庫
    • 在左側的選單中,點擊「檢索測試」。
  2. 步驟 2:輸入測試提問進行檢索
    在右側的測試輸入框中,輸入你想測驗的專有名詞或課堂考點:

    • 輸入具體問題或名詞:例如輸入講義中一定有出現的觀念:「HL7 FHIR 的主要特點是什麼?」。
    • 點擊旁邊的「測試」 按鈕。
  3. 步驟 3:觀察檢索結果與「相似度分數(Score)」
    核對內容是否命中:檢查排在第一位(Rank 1)的文字區塊,是不是正好包含你想查的那一頁講義重點。
    看懂相似度分數(Score):

    • 每個召回的段落右上角都會標註一個分數(通常介於 0.0 到 1.0 之間)。
    • 分數意義:分數越高,代表這段文字與你的提問在「語意特徵」上越相近。
    • 理想表現:核心段落的分數通常在 0.65 ~ 0.85 以上,這表示系統對兩者的關聯性非常有把握。

上一篇
Day 8:文件切分(Chunking)設定:如何切段 AI 才讀得懂?
下一篇
Day 10:將知識庫綁定 Chatbot:打造第一個「讀書小幫手」
系列文
大學生的生存筆記:用 Dify 零程式打造專屬課堂複習與考前衝刺 Agent 共 10 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言