Day 23｜Misinformation 要怎麼防？

上一篇提到，AI 如果產生錯誤資訊，問題不只是「回答錯了」，而是錯誤內容可能被拿去做決策，甚至讓 Agent 進一步執行錯誤操作。

因此，面對 Misinformation，重點不是要求 AI 「永遠不要答錯」，而是建立一套機制，讓錯誤資訊更容易被發現。

1. 讓 AI 有可靠的資料來源

最常見的方法就是 Grounding（基礎資料約束）。

例如透過 RAG，讓模型回答問題時參考公司的正式文件、知識庫或其他可信資料，而不是完全依靠模型本身的記憶。

這樣可以降低 AI 自己「補答案」的機會。

2. 對重要資訊進行驗證

不是所有回答都需要人工查證，但對於重要資訊，可以加入 Fact Checking（事實查核）。

例如：

AI 產生答案 → 找來源 → 比對內容 → 再交給使用者

如果無法找到可靠來源，就不要直接把答案當成確定的事實。

3. 高風險操作不要直接交給 AI

如果 AI 的回答會直接影響付款、資料修改、法律或其他高風險操作，可以加入 Human-in-the-Loop（人工介入）。

也就是：

AI 提出建議，人再做最後確認。

這樣即使模型真的產生錯誤資訊，也不一定會直接造成實際損害。

4. 限制 AI 的「自信」

另一個重要觀念是，不要讓 AI 在沒有足夠證據時，還是用非常肯定的語氣回答。

例如可以讓系統在資訊不足時直接表示：

「目前沒有足夠資料確認這個答案。」

與其讓 AI 一本正經地講錯話，承認不知道有時反而更安全。

5. 持續監控與測試

最後，還是要透過測試與 Monitoring 持續找出錯誤。

尤其是企業導入 LLM 後，資料來源、模型版本與使用情境都可能改變，因此不能只在上線前測一次。OWASP 2026 也強調驗證、監控與對高風險輸出的控制。

所以，Misinformation 的防禦核心可以濃縮成一句話：

不要假設 AI 的回答一定正確，而是建立一套機制去驗證它。

從 可靠資料來源、事實查核、人工確認，到持續監控，都可以降低錯誤資訊一路傳到使用者或其他系統的機會。