Hi大家好，
這是我參加 iT 邦幫忙鐵人賽的第 1 次挑戰，這次的主題聚焦在結合 Python 爬蟲、RAG（檢索增強生成）與 AI，打造一套 PTT 文章智慧問答系統。在過程中，我會依照每天進度上傳程式碼到 GitHub ，方便大家參考學習。也歡迎留言或來信討論，我的信箱是 gerryearth@gmail.com。

昨天我們探討了 系統效能壓測與瓶頸分析，知道了如何檢測系統在高流量下的表現。
今天，我們要換個角度來看，從 使用者體驗（UX） 出發，思考一個智慧問答系統該如何設計互動與回饋，讓整體服務更實用、更可靠。

今日目標

• 理解為什麼「體驗」比「技術」更重要
• 探討 RAG 問答系統中的 UX 挑戰
• 學習設計回饋機制，持續優化回答品質

為什麼 UX 在 AI 系統中很重要？

許多開發者在打造 RAG 或 Chatbot 時，往往太專注於 模型準確率、效能壓測，卻忽略了「使用者是怎麼感受系統的」。
事實上，系統的成功與否，取決於：

1. 是否能快速得到答案
   → 不只是正確，而是「足夠有用」

2. 是否能理解答案的來源
   → 提供參考來源，比單純一段文字更值得信任

3. 是否能讓使用者參與改善
   → 有回饋機制，才能讓系統變得更好

RAG 系統的 UX 挑戰

以我們的 PTT 智慧問答系統 為例，常見的 UX 挑戰有：

1. 答案不一定正確

   • LLM 可能幻覺（Hallucination）
   • 解法：加上「來源文章」連結，讓使用者自行驗證

2. 回應速度較慢

   • LLM 生成需要數秒，使用者可能覺得卡頓
   • 解法：提供「載入中提示」、「分段回應」

3. 回答太冗長或太簡短

   • 有些使用者只想要摘要，有些則需要完整內容
   • 解法：提供「摘要模式 / 詳細模式」切換

設計使用者回饋機制

一個好的智慧問答系統，必須能從使用者那裡「學習」。常見的回饋機制有：

1. 答案評分（Thumbs up / down）

   • 使用者可以快速表示答案是否有幫助
   • 可以用來訓練未來的 reranker 或調整檢索策略

2. 追問 / 補充問題

   • 讓使用者輸入「補充條件」，例如：

     • 「只要 2023 年的文章」
     • 「只看八卦板」

   • 這能讓系統逐步收斂到更精確的答案

3. 檢舉與錯誤回報

   • 當答案有明顯錯誤時，使用者可以標記
   • 開發者可以依此改善 Prompt 或資料品質

回饋機制的實作方式

在 Django API 中，可以簡單設計一個 Feedback Model：

from django.db import models
from article.models import Article

class Feedback(models.Model):
    question = models.TextField()
    answer = models.TextField()
    is_helpful = models.BooleanField(null=True)  # Like / Dislike
    comment = models.TextField(blank=True, null=True)  # 追問或補充說明
    created_at = models.DateTimeField(auto_now_add=True)

並提供 API：

• POST /api/feedback/ → 新增回饋
• GET /api/feedback/stats/ → 查看統計數據

未來就能透過這些回饋來分析：

• 哪些問題最常失敗？
• 哪些文章常被引用？
• 使用者希望看到怎樣的答案？

最佳實務：回饋驅動優化

1. 數據驅動

   • 不要憑直覺改 Prompt
   • 而是根據「被 dislike 的回答」找出共通問題

2. A/B 測試

   • 嘗試不同 Prompt、不同 chunk size
   • 比較兩組回答的使用者滿意度

3. 閉環學習（Feedback Loop）

   • 收集回饋 → 調整系統 → 再收集回饋
   • 讓系統隨時間越來越好

結論

• RAG 問答系統的 使用者體驗（UX） 與 技術表現 一樣重要
• 建立透明的回饋機制，能提升信任度與使用者黏性
• 最終目標不是「模型最強」，而是「使用者最滿意」

明天【Day 30】回顧與未來展望 - 總結學習成果與延伸應用方向建議 我們將迎來最後一篇：
回顧與未來展望，總結這 30 天的學習成果，並討論未來可以怎麼延伸應用。