iT邦幫忙

2026 iThome 鐵人賽

DAY 9
0
Claude AI

從 AI 助理到營運中台:金融 PM 的 30 天 Claude Code 治理實戰系列 第 9

AI 任務準確率 93% 卻救不了營運?揭開「轉人工」背後的流程黑洞

  • 分享至 

  • xImage
  •  

https://ithelp.ithome.com.tw/upload/images/20260923/20144604jSKVaeesfx.jpg

在 AI 數位轉型的過程中,開發者最自豪的往往是「準確率」。當你的 AI 分類任務(Task)達到 93.3% 的準確率,且檢核命中率高達 100% 時,直覺上營運應該從此一帆風順。然而,現實往往事與願違。

許多企業在實測後發現,儘管單一 AI 站點表現卓越,系統整體運作依然混亂,案件不明原因地卡死或消失。這揭示了一個殘酷的真相:單一 AI 任務有用,但唯有完整的流程(Process)才有營運價值。

任務與流程之間的斷層,正是許多 AI 專案在進入實機營運時崩盤的主因。我們必須意識到:AI 只是工具,交接才是營運的本質。

https://ithelp.ithome.com.tw/upload/images/20260923/20144604vtKCEYpKBw.jpg
重點一:別被「準確率」騙了,失敗通常發生在「站與站之間」

即便每一站 AI 的表現都接近完美——例如分類準確率 93.3%、檢核 100% 命中、差異偵測與設計完全一致——營運依然可能崩潰。

根據 Day 6 實測數據顯示,在 30 封測試信件中,有 4 封最終走入了人工出口,這代表有 13.3% 的流量 最終無法由 AI 完全處理。這些失敗並非偶然,而是源於具體的技術觸發點,如 SCHEMA_FAIL(格式失效)或 MODEL_REFUSAL(模型拒絕)。

這揭開了一個核心觀念:「問題不在任何一站裡面,在站與站之間。」 當 AI 完成它的任務,準備將案件交棒給下一個節點時,如果交接處設計不周,系統就會在此時出現吞噬效率的黑洞。

https://ithelp.ithome.com.tw/upload/images/20260923/20144604waxmkAEqzq.jpg
重點二:戳破「轉人工」的粉紅泡泡:那是流程的黑洞

在許多 AI 規格書中,當 AI 無法處理某個案件時,最常見且最不負責任的標註就是「轉人工」。

透過對 13 條例外路徑的「走查(Audit)」發現,這種模糊的定義是導致營運失控的根源。在 v0.1 的設計中,我們發現即便有紮實的例外處理,案件仍會因「無人認領」而消失。以下是走查腳本揭露的驚人現況:

  • 例外路徑總數: 13 條
  • 終點為「人工」的路徑: 11 條(包含格式失效與模型拒絕等)
  • 寫明接手「角色」: 1 條
  • 寫明接手「時限」: 0 條
  • 寫明接手後「案件狀態」: 0 條

這數據反映出一個設計層級的失職:任務規格定義的是「AI 怎麼把手放開」,卻從未定義「誰的手要接上來」。 當 AI 決定放手的那一刻,案件如果沒有明確的承接者,就會直接掉進無人知曉的虛無中。

https://ithelp.ithome.com.tw/upload/images/20260923/20144604h3qCBb90x9.jpg
重點三:交接契約五要件:人工是個「動詞」,不是收件人

為了修補流程黑洞,在《BAIOS 流程設計原則》中,我們必須強制規範**「交接契約(Hand-off Contract)」**。這不再只是建議,而是營運的標準規格。

我們必須建立一套設計共識:「人工」是個動詞,不是收件人。 每個交接點(不論是主線或例外出口)都必須具備以下五大要件:

  1. 交付物: 明確交出什麼(案件 + 具體原因碼 + 已產出的部分 AI 結果)。
  2. 接手者: 必須定義具體的「角色(Role)」,例如「合約審核員」,嚴禁寫「人工」。
  3. 時限: 規定多久內必須接手,以及逾時後的升級處理(Escalation)機制。
  4. 狀態轉換: 案件交接後,在系統中的狀態機(State Machine)如何變更。
  5. 留痕: 這次交接動作必須記錄在可供審計的軌跡中。

https://ithelp.ithome.com.tw/upload/images/20260923/20144604Bl3kJ6dju2.jpg
重點四:重新定義價值:流程的資訊量在「箭頭」上

在傳統思維中,我們習慣關注代表任務的「方塊」,但在 AI 營運設計中,真正的設計難度與價值都在於代表交接的「箭頭」。

「流程的資訊量在箭頭上,不在方塊裡。」

「方塊」內的邏輯在任務層已經定義完成,流程層的價值在於定義「箭頭」上的權責與資訊傳遞。在 BAIOS 原則中,我們將**「例外路徑」視為一級公民**。

那 13.3% 走入人工出口的流量並非邊角料(Side-dishes),而是系統中的 「固定車道(Fixed Lane)」。如果你沒有在箭頭上定義好資訊傳遞與狀態轉換,即便方塊裡的 AI 運算再精準,對整體的營運價值也趨近於零。

結論與反思

將原則立好,並非立刻解決所有問題,而是將模糊的營運混亂轉化為「可設計的規格」。唯有當問題變得「可被設計」,我們才能真正控制 AI 帶來的影響。

當你在規劃 AI 專案時,不應只沉溺於模型準確率的提升。請回頭檢視你的系統:當你的 AI 決定「放手」的那一刻,你的系統真的準備好讓人接手了嗎?

如果沒有明確的角色、時限與狀態定義,那 93% 的準確率也救不了剩下的 7% 所引發的營運災難。

下一步預告: 原則立好了,該面對現實了。我們將畫出公用信箱的 As-is 現況流程。你將會看見一封信件從寄入到回覆,中間到底經過幾雙手、等了幾次、卡在哪裡。這會讓你明白,為什麼單純的「分類準」救不了混亂的流程根源。


上一篇
別再叫 AI 幫你比對文件差異了!這 3 個常見誤區正讓你的法遵系統陷於險境
系列文
從 AI 助理到營運中台:金融 PM 的 30 天 Claude Code 治理實戰9
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言