三個場域，其實是同一個問題

前面 26 天，把 AI 放進了幾個完全不同的場域：運動科學裡教練如何面對大量數據並建立 Decision Support System；醫療場域裡藥品管理與臨床決策涉及更高的錯誤成本，讓 Trust、Human-in-the-loop、Risk Management 成為設計的一部分；救災場域裡資訊不完整、時間壓力極短，問題也從「AI 能不能給出好建議」延伸到「AI 可以自主做到什麼程度」。

三個場域的使用情境差異很大，但從 AI 系統設計的角度來看，其實共享同一個核心問題：

當 AI 開始參與高風險決策，人類要如何繼續理解、判斷與控制這個系統？

這篇想把過去累積的觀察收斂成幾個共同原則，不再重複三個場域各自的細節。為了驗證這幾個原則是不是真的通用，這篇也會拉進一個新案例——Pace University 研究團隊在 CHI 2026 發表的論文《Supporting Callers' Needs in Crisis》。這篇研究透過 253 份問卷、12 場深度訪談與 5 場參與式設計工作坊，記錄了美國民眾撥打 911 求救時真實面對的困境。911 通報現場同時具備救災的時間壓力、醫療的錯誤成本、還有運動科學裡「資訊過量卻難以判斷優先序」的特質，剛好可以拿來檢驗這六個原則能否成立。

高風險 AI 的問題，不能只看「準不準」

一般產品很習慣用 Accuracy、Conversion、Engagement 衡量 AI 效果。但當 AI 進入高風險場域，光是「做對了多少」已經不夠。假設一個醫療 AI 的預測準確率達到 95%，剩下的 5% 該怎麼辦？如果錯誤只是推薦了一部使用者不喜歡的影片，影響有限；如果錯誤涉及藥品、診斷或治療決策，後果完全不同。911 研究裡也有同樣的疑慮——一位參與者提到，如果由 AI 判斷來電的緊急程度，系統可能無法察覺「聽起來很冷靜，實際上正在心臟病發作」這種反差案例。

所以還需要追問：AI 做錯的時候會發生什麼？人類能不能發現它錯了？有沒有時間介入？知不知道什麼時候不該相信 AI？出錯之後能不能恢復？這些問題會直接改變產品的 Interaction Design，已經超出模型本身的效能指標所能涵蓋的範圍。

原則一：AI 必須讓人看得懂

如果系統只丟出一個結論，例如「風險偏高」或「這是最佳方案」，使用者其實無法判斷該不該採信。使用者需要的是在必要的時候找到足夠的理由：這個判斷依據是什麼？和過去相比有什麼變化？信心程度如何？如果使用者不同意，還有沒有其他資訊可以參考？

911 研究裡的即時翻譯設計，是這個原則很具體的落地案例。系統把來電者原本說的話與翻譯後的文字同時顯示在螢幕上，讓接線員與來電者都能核對翻譯是否準確，翻譯結果因此不會變成一個不可質疑的黑盒輸出。Explainability 的核心，是讓使用者理解「為什麼現在需要注意這件事」，這已經超出把模型原理攤開給使用者看的層次。

原則二：AI 必須讓人知道什麼時候不該相信它

真實世界裡，模型永遠存在不確定性，尤其當資料來自不同來源、可信度與時間點都不一致時。AI 呈現一個結論之前，使用者需要知道這個結論建立在哪些資訊上、資料是不是最新的、哪些內容只是推測、哪些資訊彼此矛盾。

911 研究的受訪者對翻譯功能表達過類似的擔憂——即使系統整體支持度很高，幾乎所有參與者都特別提到準確度的疑慮，尤其是醫療術語、方言、少數語言變體最容易出錯，而一個小小的翻譯誤差，就可能導致誤判症狀或延誤派遣。AI 不只需要呈現答案，也需要呈現答案的可信程度與限制，這是 Trustworthy AI 的核心之一。使用者需要建立的是「適當信任」——信任太低，AI 發揮不了價值；信任太高，使用者可能在 AI 出錯時失去警覺。

原則三：高風險決策必須保留 Human Agency

Human-in-the-loop 很容易被簡化成「AI 做決定，人類最後確認」，但這遠遠不夠。真正的 Human Agency 需要讓人類在決策過程中擁有理解權、判斷權與介入權：知道系統正在做什麼、能根據自己的專業做出不同判斷、也能拒絕、修改、暫停或撤銷 AI 的行動。

一位 911 研究的參與者對 AI 分流表達得很直接：「如果 AI 判斷錯了，責任算誰的？最後應該還是要有一個人做最終決定。」研究團隊也據此強調，AI 觸發的來電分組與優先排序，必須留在接線員的監督之下運作，接線員能標記、驗證，並在必要時介入修正。Human-in-the-loop 的設計重點不在於「有沒有一個人」，而在於這個人到底有沒有實質的決策權。

原則四：AI 的自主程度必須和風險匹配

AI 能做的事情越多，不代表就應該讓它自動完成所有事情。AI 的行動可以分成不同層級——提供資訊、提供建議、執行低風險且可逆的操作、自主完成一連串任務，到自主做出高影響且不可逆的決策——每個層級需要不同程度的 Human Oversight。

911 研究裡剛好能看到這個層級差異的實際案例：把重複來電依地點與描述自動分組，屬於低風險、可逆、影響有限的操作，AI 可以相對自主地執行；但決定哪一通電話該優先派遣救護車，屬於高影響且時間敏感的判斷，研究參與者一致認為這一層必須保留給人類做最終決定。因此 Agent 的 autonomy 不該只根據「AI 技術做不做得到」來決定，更重要的是：這個行動如果錯了，誰會受到影響？錯誤發生之後，還有沒有機會恢復？

原則五：設計 Error Recovery，別只追求 Error Prevention

高風險系統很難做到完全沒有錯誤，模型會錯、資料會錯、使用者會錯、系統也會故障。這讓人想到醫療系統裡的 Swiss Cheese Model：一個事故通常牽涉多重原因，資料輸入、系統提醒、使用者理解、流程確認，這幾層漏洞剛好連在一起才釀成問題。

911 研究對這一點的呼應，是研究團隊反覆強調 AI 觸發的分流結果需要「接線員監督、驗證，並在需要時介入」——換句話說，AI 判斷只是防線的其中一層，後面還要接上人工驗證、稽核紀錄、必要時的即時修正。所以 AI 不該是唯一一道防線，產品需要透過 AI 提醒、使用者確認、系統驗證、權限限制、異常偵測、Audit Log、人工介入、Rollback 等多層機制，共同組成安全網。好的高風險 AI 系統不需要假設每一層都永遠正確，它需要讓不同層級的錯誤不容易連成事故。

原則六：責任必須跟著決策走

當 AI 從「提供建議」進入「執行任務」，Responsibility 會變成非常現實的問題。AI 做錯決策、Designer 設計了錯誤的互動、Engineer 建立了錯誤的系統、Domain Expert 忽略了 AI 的警告——這些情境都沒辦法靠一句「Human-in-the-loop」帶過。

911 研究裡有一句參與者的提問，精準點出了這個問題的重量：「如果 AI 判斷錯了，誰要負責？最後應該還是要有一個人拍板。」這句話背後其實在問 Decision Ownership 的具體分工：誰可以授權 AI 執行分流？誰有權覆寫 AI 的判斷？誤判發生時誰第一個被通知？誰負責監控例外情況、誰對最終結果負責？高風險 AI 需要建立清楚的 Decision Ownership，這也是為什麼 AI 導入產品之後，Design、Engineering、Product、Domain Expert 之間的界線會開始重新被定義。

從「功能設計」走向「決策系統設計」

這是這 26 天累積下來最重要的轉變。設計一般產品時，很容易從 Feature 出發：做一個 Dashboard、做一個 Recommendation、做一個 AI Assistant、做一個 Agent。但高風險 AI 系統需要從更完整的 Decision Loop 開始思考：

Sense → Interpret → Recommend → Decide → Act → Monitor → Recover

911 案例把這個 Decision Loop 攤得很清楚：Sense 對應來電內容與定位訊號的蒐集，Interpret 對應語言翻譯與症狀理解，Recommend 對應 AI 的分流與優先序建議，Decide 與 Act 對應接線員的最終判斷與派遣動作，Monitor 對應派遣後的即時追蹤，Recover 則對應誤判發生時的補救流程。AI 可以參與其中很多環節，但每個環節都需要重新確認：AI 的權限到哪裡？人類在哪裡介入？什麼情況需要升級給人、需要停止、或可以自動執行？這已經超越單純的 UI Design，更接近 Decision System Design。

六個原則會互相打架，而這才是真正要處理的事

把六個原則放在一起看，容易產生一種錯覺，好像只要逐一落實，高風險 AI 系統就會變得安全。實際上，這幾個原則彼此並不相容。

讓人看得懂、保留 Human Agency、確認責任歸屬，每一項都需要時間——讀懂解釋、確認判斷、決定要不要介入。但救災現場的決策時間可能只有幾秒，醫療的急重症情境也是，911 通報現場同樣如此——來電者可能連完整描述症狀的時間都沒有。當風險最高、最需要人類介入的時刻，往往正是最沒有餘裕做到這些事情的時刻。

這代表這六個原則沒有一套通用的落地方式。

同樣是「讓人保有介入權」，在教練面對訓練數據時，可以做成隨時可調整的建議清單；
在急診現場，可能得先把介入權收斂成一個極簡的暫停鍵，把完整的理解與究責留到事後複盤；
在 911 現場，則是把翻譯的核對權留給接線員即時執行，把來電分組的究責留到事後複盤。

原則相同，但每個場域願意用多少速度去換多少安全，答案並不一樣，而這個取捨本身，才是高風險 AI 產品設計真正困難、也最容易被規格書忽略的部分。

下一章想接著往這個方向走：當「解釋」「介入」「究責」都需要時間，而時間又是高風險情境裡最稀缺的資源，Decision Support System 要如何在秒級的決策裡，還保留住這些原則？

本文引用研究案例來自：Zhang, Z., Bhadani, A., Moeini Meybodi, M., & Machado, L. (2026). Supporting Callers' Needs in Crisis: Designing the Next Generation of 9-1-1 for Medical Emergencies. In Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI '26).