季度營運會議開始前，專案經理把一份新報告投到大螢幕上。

封面寫著：

Q2 Customer Support Performance Review

第二頁放了三個綠色指標。

平均回覆時間：下降 31%
一次解決率：提升 18%
高風險客訴：下降 42%

後面接著各產品線趨勢、問題分類，以及一段給管理層看的摘要。

第二季客服效率明顯改善，主要來自知識庫更新、自動分類導入與跨部門回覆流程標準化。建議第三季擴大 AI 輔助回覆範圍，並將現行做法推廣至海外團隊。

比起以前那份由兩個人花三天整理的季度報告，這次只花了四十分鐘。數字、圖表、摘要都齊了，頁面也比人工版本好讀。

營運主管翻了幾頁。

「這個可以直接拿去開下週的營運會。」

會議進行到第十二頁時，財務主管指著第一張圖。

「高風險客訴下降 42%，資料從哪裡來？」

專案經理把滑鼠移到圖表上。數字旁邊沒有來源，也沒有計算說明。

「應該是 Ticket 系統的 Severity 資料。」

客服主管看了一眼。

「我們第二季沒有用高風險客訴這個分類。」

「那可能是 Escalation Ticket？」

「Escalation 第二季比第一季多。」

專案經理回頭打開 Agent 的執行紀錄。它讀了二十七份資料：Ticket 匯出的 CSV、客服月報、品質部簡報、去年留下的客訴分類說明、兩封主管彙整信，還有共享資料夾裡的一張統計圖。

每份資料都成功載入。

但沒有人知道 42% 是從哪一份資料、用什麼定義算出來的。

數字有算對，不等於結論成立

團隊先找「高風險客訴」。

找到的是去年一份分類說明：可能造成重大客戶流失、合約爭議或公開負面事件的案件，列為高風險客訴。

問題是，這個欄位從來沒有正式進 Ticket 系統。

真正有連續紀錄的，是品質部每月人工整理的「重大案件清單」。第一季十九件，第二季十一件。從十九降到十一，剛好約為 42%。

看起來答案找到了。

客服主管把兩季清單攤在桌上後，才看出幾個前提沒有接上：

• 第一季把重複回報分開計算，第二季改成同一事件只算一件。
• 第二季清單只整理到六月二十日。
• 「重大案件」不是正式定義的「高風險客訴」。
• 即使案件數真的下降，也不能直接歸因於客服效率改善。

Agent 沒有捏造十九與十一，也沒有把百分比算錯。它做的是把幾份看似相關的資料接成一個很適合放在首頁的句子。

問題在於，從「重大案件清單」到「高風險客訴下降 42%」中間，少了幾個本來就不該跳過的判斷。

管理報告不是把資料排得好看

這類 Agent 很容易在 Demo 時得到好評。它能找資料、排版、寫摘要，還會把不同部門的語言改成同一種格式。原本散在五份檔案裡的內容，現在一頁就看完。

但管理報告不是資訊整理的終點。

它會被拿去做預算、擴編、調整優先順序，甚至評估某個專案是否成功。因此一個重要數字至少要能回答四件事：

少了這四項，報告仍然可以寫得很完整，只是沒人能快速確認它能不能用。

人工報告也會出現同一種問題。差別是人工整理很慢，讀者通常知道它背後有一堆 Excel、郵件與電話要追；Agent 把這些東西壓縮成乾淨的圖表後，反而容易讓人以為前面的核對已經做完。

報告越像正式成果，越容易通過直覺檢查。

尤其是結論剛好符合大家想聽的時候。

客服效率改善、AI 導入有效、下一季可以擴大投資。這些句子本來就很合理。也因此，只要沒有人停下來問資料來源，錯誤就會連同漂亮格式一起進入正式會議紀錄。

之後下一份簡報引用它，再下一份年度報告引用簡報。幾個季度後，大家只記得「高風險客訴曾下降 42%」，不再有人知道那其實是兩份計算方式不同的清單。

不要先產生報告，先產生可核對的結論

團隊後來沒有禁止 Agent 生成報告。他們只把順序倒過來。

以前的流程是：

找資料 → 生成圖表與摘要

新版多了一層「結論卡」。只要準備把某個數字放進管理摘要，Agent 必須先交出：

• 要寫進報告的結論。
• 對應的原始資料與資料期間。
• 指標定義與計算規則。
• 資料缺漏、版本差異，或不能直接比較的原因。
• 等待哪個角色確認。

它不需要把二十七份來源全列進報告正文。但每一個重要結論都必須能回到這張卡。

例如這次的 42%，Agent 應該產出的是：

品質部重大案件清單顯示案件數由十九件降至十一件；但兩期計算方式不同，且第二季資料只統計至六月二十日，因此不作趨勢判定。

這個版本不好看，也不適合拿來當 AI 導入成果。

但它至少沒有把無法確認的事情寫成 KPI。

新版報告少了一張圖

下一次季度會議前，第一頁只剩兩個綠色指標。

原本「高風險客訴下降 42%」的位置改成灰色註記：資料定義與統計期間尚未一致，不納入趨勢判定。

摘要也從「擴大推廣」改成先確認一次解決率與後續客訴是否同步改善。

報告少了一張很適合放首頁的圖，多了幾個註腳，結論也沒有以前那麼肯定。

但財務主管再次問「資料從哪裡來」時，專案經理不必再翻二十七份檔案。

他點開數字旁邊的來源標記，畫面列出資料、定義、計算方式與尚未確認的限制。

那份報告還是 Agent 寫的。

只是它終於不再只靠看起來像真的。