在比較深入接觸醫療現場之後,我聽到不少讓人印象深刻的經驗——有醫護人員提到,事後被追究責任、甚至走上法律程序;也有人分享,遇到情緒激動、行為難以預測的病人時,會刻意把對方引導到有監視器覆蓋的區域,只為了替自己留下一段能說得清楚的紀錄。
這些經驗一開始讓我有些意外,後來才慢慢理解:在醫療現場,「事情有沒有做對」跟「事後能不能說清楚」,其實是同樣重要的兩件事。也是從這裡開始,我更確定一件事:一套 AI 系統如果沒有把責任歸屬設計進去,模型再聰明,最後也很難真的在現場落地。
Day 14 拆解完藥品管理的八個階段後,留下一個問題:AI 真正走進流程之後,該幫藥師做到什麼程度,又該在哪裡畫下界線?這一篇想從另一個角度回答——比起討論 AI 能做到多聰明,醫療領域更該優先解決的,其實是責任歸屬:當 AI 建議出了差錯,究竟該由誰承擔後果?這個問題沒有處理好,再完美的 Human-in-the-loop 設計,最後都只是把責任模糊地留在半空中。
多數人聽到 Human-in-the-loop,第一個畫面往往是:AI 給出一個答案,人看過之後點頭或搖頭。這個畫面沒有錯,但太單薄了——它把整套機制縮成一個瞬間的動作,卻忽略了這個動作前後其實還有一整條路徑。
一套能承受高風險決策的 Human-in-the-loop,比較接近一個完整的閉環:
這七步合起來,才是 Human-in-the-loop 真正在做的事——它是一條資料流向人、判斷流回系統的迴路,遠比單一時間點的核可動作豐富許多。而這條迴路裡,第 4 到第 6 步,正是責任歸屬真正會被決定的地方,也是接下來這篇文章想深入談的重點。
可以直接落地的做法:
醫療流程的錯誤成本很高,AI 介入程度越高,系統就越需要清楚定義「誰負責什麼」。這樣的分層並不是憑感覺畫出來的,人因工程領域早有經典依據——Parasuraman、Sheridan 與 Wickens 在 2000 年提出的自動化類型與層級模型(A Model for Types and Levels of Human Interaction with Automation),把人機系統的運作拆成四個階段:資訊擷取(information acquisition)、資訊分析(information analysis)、決策選擇(decision selection)與行動執行(action implementation),並主張每個階段的自動化程度應該分開設定,而不是一刀切地問「這件事要不要交給 AI」。
對應到醫療 AI,前兩個階段可以放心交給機器,最後的行動永遠留給人:
這樣的分工,也與美國 FDA 對臨床決策支援軟體(Clinical Decision Support)的監管思路一致:要被視為「支援」而非「決策」,軟體提供的必須是建議,而且臨床人員要能夠獨立檢視建議背後的依據,而不是被迫依賴它。AI 的角色因此從「執行者」變成「決策夥伴」——它做前兩層,最後一層永遠留給人。
可以直接落地的做法:
不過,分工寫得再清楚,都還只是紙上的設計;出事之後,人們實際上會怎麼分配責任,是另一回事。比起運動科學,醫療領域的責任歸屬問題重要得多——選手的訓練建議出錯,頂多影響一次表現;但醫療判斷出錯,可能直接關係到病人的生命安全,也牽涉到實際的法律責任。這也是為什麼,在 Human-in-the-loop 的設計裡,「誰負責」不能只是一句口號,需要有明確的研究數據作為依據。
2025 年一篇 CHI 研究〈Responsibility Attribution in Human Interactions with AI〉,專門比較了人在與 AI 互動後,如何分配正面與負面結果的責任。幾個發現值得注意:整體而言,參與者平均把較多責任歸給 AI 系統;但當結果是負面的,參與者反而更傾向把責任集中歸咎到單一實體上;而這個單一實體究竟是人還是 AI,並不固定,會受到情境與互動方式影響。
換句話說,人對 AI 的責任判斷,會隨著介面設計、互動方式與結果好壞而變動,很難被當成穩定、可預期的規則。這對產品設計是一個警訊:如果系統沒有主動留下清楚的紀錄,責任歸屬很可能會在事後被重新詮釋——組織可能在 AI 表現好時,把成果算給 AI 的功勞;但 AI 出錯時,責任卻悄悄轉嫁回最後按下確認鍵的醫護人員身上。
另一篇研究〈AI Shall Have No Dominion: On How to Measure Technology Dominance in AI-supported Human Decision-making〉,則點出更隱微的問題:即使系統設計上要求醫護做最終確認,實際運作中,醫護可能因為時間壓力、AI 看起來很有權威感,或介面引導,而傾向直接接受 AI 給出的第一個答案。表面上看起來是 Human-in-the-loop,實際上卻可能是 AI-in-control、human-as-signer——醫護承擔了責任,卻不一定真正掌握決策權。這句話,我認為值得放在這一整篇文章的核心位置:Human-in-the-loop,不等於人真正控制系統。
責任判斷不只不穩定,還不對稱。一篇較新的 ACM 研究〈The Asymmetry of Attribution in Human vs. AI Delegation〉,處理的正是這一面:人類把任務委派給 AI 之後,功勞與責任並不會對稱分配。成功的時候,功勞經常被算給 AI(系統很聰明);失敗的時候,責任卻更容易被追回到做出最終決定的人身上。
這種不對稱,會讓臨床人員陷入一種尷尬的位置——AI 表現好時分不到多少肯定,AI 出錯時卻要扛下大部分責任。這也呼應了 Human-in-the-loop 設計上一個容易被忽略的問題:委派決策給 AI 之後,人類是否仍然保有實質控制?如果答案是否定的,那麼要求人承擔全部後果,本身就不公平。
既然責任判斷這麼容易受情境影響、又天生不對稱,產品設計最直接能做的,就是讓每一次決策的完整脈絡都被留下來,不用等到事後才靠記憶重建。這代表系統至少要記錄:
這套完整的 decision provenance(決策脈絡紀錄),才是讓責任歸屬在事後有據可查的基礎,不需要仰賴當事人的記憶或組織的說法。
可以直接落地的做法:
但光有紀錄,還不夠。〈Rethinking Human-AI Collaboration in Complex Medical Decision-Making〉這篇把視角拉到組織層級:複雜醫療決策中,一大阻礙其實是 liability(法律責任)——即使 AI 已經實際影響了判斷,臨床人員通常仍然要對最終的醫療決定負全責。這帶出兩個常被忽略的現象:第一,醫療專業人員可能因為擔心被追責,乾脆不敢真正依賴 AI,即使 AI 的建議是對的;第二,醫護也可能反過來過度記錄、過度覆核每一個細節,只是為了在事後能自我保護,這又會拉長工作時間、增加額外負擔。
這對產品設計是一個提醒:光是把系統做得「可覆核」還不夠,組織層級也需要提供制度性保護——例如明確定義在什麼情況下,遵循系統建議而導致的結果不會被單獨究責於個人;或是在稽核與教育層面,把「AI 建議被拒絕」視為專業判斷的正常展現,不需要額外解釋。責任設計如果只做到「產品留下紀錄」,卻沒有搭配組織政策,最後很可能只是把壓力全部留在第一線人員身上。
可以直接落地的做法:
把產品層的紀錄與組織層的政策放在一起看,就會發現:醫療 AI 的責任沒辦法只落在「AI」或「醫護」兩個位置。比較合理的做法,是拆成五個角色,並且讓每個角色都在產品設計上留下對應的證據:
| 角色 | 主要責任 | 產品設計上應留下的證據 |
|---|---|---|
| 模型開發者 | 模型設計、訓練資料、性能與限制 | 模型卡、資料範圍、已知失效情境 |
| 系統供應商 | 產品整合、更新、權限與可用性 | 版本紀錄、更新紀錄、系統事件 |
| 醫療機構 | 驗證、採購、教育、監測與治理 | 導入審核、在地驗證、稽核報告 |
| 臨床使用者 | 理解脈絡、覆核與最終決策 | 接受、修改、拒絕與理由 |
| AI 系統 | 偵測、排序、推薦與提示 | 輸出內容、信心、不確定性與來源 |
可以直接落地的做法:
最後一件事,我覺得特別要小心:在上面那張表裡,AI 雖然佔了一列,但不要因此把它直接寫成「負責任的主體」。更精確的說法,是 AI 可以成為造成結果的因果參與者——它確實影響了結果,但它無法出庭、無法被懲戒、也無法對病人交代。臨床責任與問責制度,目前仍然需要由人類與組織共同承擔;把責任寫在 AI 頭上,等於讓整條責任鏈在最關鍵的地方斷掉。
可以直接落地的做法:
這一整套責任設計,最後都收斂到同一個目的:讓每一次決策的責任,都能在事後被清楚追溯,不再含糊地落在最後按下確認鍵的那個人身上。但責任設計本身,也可能製造新的問題——當系統為了留下紀錄與覆核證據,要求醫護確認每一個步驟、閱讀每一條依據,人的注意力就會被大量低價值的確認動作消耗掉,真正重要的警示反而被淹沒。責任歸屬解決的是「事後能不能說清楚」,但醫護每天真正面對的,是「當下根本處理不完」的資訊量。
這會是 Day 16 要繼續拆解的問題——被資訊淹沒的醫護人員:現有的醫藥 AI 應用,究竟解決了哪些負荷?