在上一篇 從 HCI 研究看:人開始無法判斷時,依賴 AI 的策略與風險會有何不同?裡面,我們談論了很多人們在開始無法判斷時,仰賴 AI 的實際策略,現在我們來看看這篇研究後面提到的幾個我應用在高風險領域產品中的設計原則。

如果把前面兩組數字放回介面設計的脈絡裡看,會發現一件事:在高複雜度或高預測性的任務中,人之所以容易盲從,很大一部分原因並不是不想質疑 AI,而是驗證 AI 建議的認知成本實在太高了。以一個很常見的情境為例,如果介面只是丟出「預測到達時間:45 分鐘」這樣一個單一數字,使用者除了接受,幾乎沒有其他可以著力的地方,因為根本沒有東西可以拿來檢查。但如果同一個預測改成用分佈圖呈現,例如告訴使用者「預測到達時間介於 35 到 55 分鐘之間,信心水準為 80%」,並搭配一條可以直觀理解機率分佈的曲線,情況就完全不同了。
這背後其實有兩個具體的設計方向。

第一個是把不確定性視覺化,不要只給單一的預測結果,而是利用分佈圖或情境推演,把背後的機率關係呈現出來,讓使用者的大腦能夠更直觀地掌握這個答案的邊界在哪裡,而不是把一個充滿變數的預測,包裝成一個看似精確的數字。
第二個是讓解釋本身具備可驗證性,也就是 XAI(可解釋性 AI)不應該只是用來替 AI 的決定辯護,而應該提供使用者可以用自身專業去核對的線索,讓「覆核 AI 的答案」這件事,不再需要從零開始重建整個判斷過程,而是有跡可循,這樣才能真正降低人類覆核時的阻力,讓驗證變成一件划算的事,而不是一件要付出額外代價才會去做的事。例如:AI 給出的「塞車機率」與「時間範圍」,一個有經驗的司機看到符合他對該地段的認知時,就能迅速決定是否採納,而不需要自己重新計算整條路線的時程。
如果說高複雜度任務的問題是「人放棄了驗證」,那麼中等複雜度任務暴露出來的,其實是另一種更隱蔽的風險。研究顯示,在中等複雜度的任務中,人反而容易高估自己的能力,覺得這個問題「應該還在我可以掌握的範圍內」,但**一旦出現錯誤判斷,卻又會轉而過度依賴 AI 來補救,兩種傾向疊加在一起,導致這個區間的整體表現反而是最差的。**這其實比高複雜度時的全面依賴更危險,因為人並不覺得自己需要被提醒,警覺心早已被「我應該處理得來」的錯覺鬆懈掉了。
針對這個問題,比較務實的做法,是在關鍵決策節點刻意加入一點點的操作摩擦,也就是所謂的 Cognitive Forcing Functions。

舉例來說,可以要求使用者在看到 AI 的建議之前,先輸入自己的初步估算,等提交之後,系統才顯示 AI 的答案。這個設計乍看之下像是在增加使用者的麻煩,但它的用意其實不是製造障礙,而是強迫使用者在被 AI 的答案「定錨」之前,先啟動一次屬於自己的慢思維,保留住獨立判斷的機會。
另一個方向,則是讓系統具備動態校準回饋的能力,也就是系統本身要能夠即時偵測目前任務落在複雜度光譜的哪個位置,一旦進入中等複雜這個特別容易讓人掉以輕心的危險區,就主動提醒使用者,讓對方意識到自己可能存在的盲點與風險,而不是放任使用者帶著錯誤的自信一路往下走。
如果我們接受這個觀點,AI 的介面設計也會跟著改變。
一般產品很容易把 AI 設計成「問題 → AI 答案 → 接受」這樣一條直線流程,但高風險場域可能需要更多中間資訊,例如這個答案是根據什麼資訊產生的、它是在分析現在還是在預測未來、這個結果有多大的不確定性,以及有哪些地方值得使用者進一步確認。尤其對 Prognostic 任務來說,我認為「不確定性」不應該被藏在模型裡,它應該被看見。
與其只告訴使用者「預測結果是 A」,也許更好的方式是「A 是目前最可能的結果,但仍存在其他可能性」,讓使用者知道這不是一個確定答案,而是一個在特定條件下產生的預測。而前面提到的先估算再看答案的設計,其實也是同一個邏輯的延伸:因為當 AI 永遠先說話,人很容易從 Decision Maker 變成 Decision Reviewer,最後只剩下一件事「AI 說得對不對?」,但真正的高風險決策,需要人在看到 AI 之前先建立自己的判斷,再拿 AI 當成第二個觀點,這時候 AI 才比較像協作者,而不是答案機器。
這也是我認為這篇研究最值得帶回產品設計的一點:高風險 AI 不應該只有一種 Interaction Pattern。
如果今天是在做 Diagnostic 任務,重點可能是幫助使用者快速理解目前資訊,並降低驗證 AI 判斷的成本。
但如果今天是在做 Prognostic 任務,問題就完全不同,使用者需要知道的不只是「AI 預測什麼」,還包括 AI 有多確定、還有哪些可能,以及哪些資訊會讓結果改變。也就是說,任務的不確定性應該影響 AI 的互動設計,而不是無論面對什麼問題,都使用同一種「AI 給答案、使用者按接受」的模式。
把這些數字和設計方向串在一起看,其實可以歸納出一句話:在充滿不確定性的未來,成功的 AI 系統設計,不在於打造一台「絕不出錯的機器」,也不僅是盲目追求使用者的「完全信任」。頂尖的系統設計,是能精準評估任務的複雜度與不確定性,並透過介面動態調節人類的認知參與度——在人類過載時提供清晰的導航,在人類自滿時設置思考的護欄。換成研究裡那句話就是:Design for appropriate reliance, not just ultimate trust,為適當依賴而設計,而非僅為終極信任。
這篇 CHI 2024 的研究讓我重新理解一件事情:影響人是否採納 AI 建議的關鍵,不只是模型準確率。任務有多複雜、結果有多不確定、使用者面對的是現在還是未來,都可能改變人與 AI 協作的方式。
這也代表,高風險 AI 的核心問題不能只停留在「我們的模型夠不夠準?」還需要繼續往下問:「這個模型適合被依賴到什麼程度?」「使用者有沒有能力驗證它?」「當答案本身高度不確定時,介面有沒有讓人看見這件事情?」這些其實都已經不是單純的 Model Design,而是 Interaction Design。
高風險 AI 的目標不應該是最大化「信任」,而應該是校準「仰賴程度」。AI 可以幫我們處理大量資訊、尋找模式、提供預測與候選方案,但人需要知道哪些是 AI 已經知道的、哪些是 AI 正在推測的,以及哪些地方可以依賴、哪些地方仍然需要自己判斷。這才是 Human-in-the-loop 真正困難的地方,不是單純把人留在流程裡,而是讓人知道什麼時候該讓 AI 幫忙、什麼時候該停下來驗證,以及什麼時候必須自己做最後的決定。因為真正安全的人機協作,是人知道什麼時候可以相信 AI,什麼時候必須質疑 AI。
但這裡其實還有一個更進一步的問題。如果 AI 不應該只是丟給人一個答案,再讓人決定要不要接受,那麼 AI 究竟應該怎麼參與人的決策?
也許下一步不是讓 AI 給出更好的推薦 (Recommendation),而是讓 AI 成為一個能夠與人一起探索選項、提出理由、挑戰假設,甚至重新檢視判斷的審議夥伴 (Deliberation Partner)。
下一篇,我想進一步討論:從 Recommendation 到 Deliberation:人與 AI 如何共同決策?
Salimzadeh, S., He, G., & Gadiraju, U. (2024). Dealing with Uncertainty: Understanding the Impact of Prognostic Versus Diagnostic Tasks on Trust and Reliance in Human-AI Decision Making. Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems.