Day 22｜當 AI 說錯話，會發生什麼事？

上一篇提到，Misinformation 不只是單純的「AI 答錯問題」，真正危險的是：使用者或其他系統相信了這個錯誤答案，並拿它去做下一步的事情。 OWASP 2026 也將「錯誤資訊被信任並進一步影響決策或行動」視為這項風險的核心。

1. 影響人的判斷

最直接的情況，就是使用者相信 AI 的回答。

例如 AI 提供錯誤的產品資訊、法律資訊或金融資訊，而使用者沒有進一步查證，就可能做出錯誤決定。

問題不一定是 AI 故意說謊，而是它的回答可能看起來非常合理。

2. 錯誤摘要，反而漏掉重要資訊

AI 很常被拿來整理大量文件。

但如果摘要漏掉重要條件、例外情況或關鍵時間點，最後得到的可能是一份「看起來很完整，但其實少了重要資訊」的內容。

例如：

原文件寫著「符合 A、B、C 三個條件才能申請」，AI 摘要只保留了「符合 A、B 即可申請」。

這種錯誤甚至比直接亂講一個答案更難發現。

3. AI Agent 做出錯誤決策

當 LLM 開始負責執行工作，錯誤資訊就不一定停留在文字回答。

例如 Agent 錯誤判斷「某個條件已經符合」，接著就可能自動批准退款、修改資料或執行其他操作。

這時候問題就從：

「AI 說錯了」

變成：

「AI 因為說錯而真的做錯了事情。」

4. 錯誤資訊可能一路傳下去

在比較複雜的 LLM Application 中，一個 AI 的輸出可能會被另一個 Agent 或其他系統繼續使用。

如果第一個 Agent 判斷錯誤，後面的系統又直接相信它，錯誤就可能被一路放大。

這就是 Cross-Agent Misinformation Propagation。

因此，Misinformation 真正麻煩的地方，不只是模型可能說錯話，而是：

錯誤資訊一旦被當成正確資訊使用，就可能一路影響後面的決策與行動。

所以在 LLM Application 中，我們不能只問：

「這個答案看起來合理嗎？」

還要問：

「這個答案有沒有被驗證過？」