大家好,今天我們正式進入 Domain 4:AI 治理、風險與合規(GRC)。這塊在考試中佔了 19% 的分數,看似是枯燥的法規條文,但其實跟我們的系統開發、產品能不能順利合規上線,有著密不可分的關係。
2024 年 8 月,全球第一部針對 AI 的全面性法律框架——歐盟 AI 法案(EU AI Act) 正式生效。
你可能會想:「我們是在台灣開發的本土公司,這法案關我們什麼事?」
老實說,關聯可大啦!這不僅是因為這部法案採用了「境外效力(Extra-territorial Effect)」,只要你的 AI 產品有機會被歐盟境內的人使用到就得遵守。
更關鍵的是,這在 GRC 領域有一個非常經典的名詞,叫做 「布魯塞爾效應(Brussels Effect)」。
簡單來說,因為歐盟的法規通常是最嚴格、最具有代表性的(想想以前的 GDPR 個資法),全球的科技巨頭(微軟、Google、OpenAI 等)為了能在歐盟做生意,會直接將他們的底層 API 與雲端服務,依照歐盟法案的最嚴格標準重新設計。
結果就是:**不管我們在哪個領域開發、不管你的系統有沒有賣去歐洲,我們使用的工具與上下游供應鏈也早就默默被歐盟法規同化了,它已經變成了全球科技界默默遵守的實質底線(De facto Standard)。**這就像當年 GDPR 逼得全球所有網頁不管在哪個國家,都默默加上了 Cookie 同意 Banner 一樣。
歐盟法案的核心邏輯非常簡單:依據「風險等級」來管制 AI —— 風險越高,管得越嚴。
今天我們就來聊聊,有哪些 AI 是被歐盟「永久禁止」的,而高風險的 AI 又必須遵守哪些嚴格規定。
一、 歐盟 AI 法案的四個風險等級
法案把 AI 的風險由高到低,分成了這四個梯隊:
歐盟 AI 法案(EU AI Act)風險金字塔
⛔ 不可接受風險(Prohibited AI) ──→ 永久禁止(碰了就重罰 7% 營收,取高者)
⚠️ 高風險(High-Risk AI) ──→ 可以用,但有一大堆合規義務(常見觀念)
⚡ 有限風險(Limited Risk) ──→ 只有告知義務(例如要標明「這是 AI 生成的」)
✅ 最小風險(Minimal Risk) ──→ 幾乎不管(例如一般的 AI 篩選濾鏡、電玩 AI)
二、 絕對不能碰:不可接受風險(永久禁用)
這幾種 AI 應用在歐盟境內是永久禁止開發和使用的。如果踩到紅線,最高會被罰 3,500 萬歐元 或是 全球年營業額的 7% —— 請注意,法案規定是**「以高者為準(Whichever is higher)」**,這對企業來說是非常痛的致命罰款:
-
工作場所與學校中的「情緒識別(Emotion Recognition)」:
-
定義:利用面部表情、聲音語調等生物特徵,去推導或分析員工或學生的內部情緒(如:偵測員工開會時有沒有在偷懶、心情好不好、專注度如何)。
-
例外情況:除非是出於純醫療或特定重工業的高空/危險作業生理安全監控,否則一律永久禁止。這在實務上是最容易踩坑的紅線!
-
潛意識操控(Subliminal Manipulation):
利用人類意識察覺不到的技術(像是快速閃過的圖片、隱藏的超音波),來偷偷改變一個人的行為,並對他造成實質傷害。
-
利用特定群體的弱點(Exploitation of Vulnerabilities):
針對兒童、老人、身心障礙者的認知偏差去設計 AI,誘導他們做出危險或有害的行為。
-
社會信用評分(Social Scoring):
政府或公家機關用 AI 長期追蹤、評估人民的日常社會行為並給予評分,甚至限制他們的日常權利(這會直接被判定為侵犯基本人權)。
-
公共空間「即時」遠端生物識別:
在街上、公共場所架設監視器,用 AI 即時(Real-time) 進行人臉辨識。
-
例外情況:除非是要尋找失蹤兒童、防範即將發生的恐怖攻擊,且必須經過司法授權才能啟用。
三、 合規義務最多:高風險 AI 系統(High-Risk AI)
這類 AI 可以用,但上線前必須通過極為嚴格的審查。如果違規,最重會被罰 1,500 萬歐元 或 年營業額的 3%(同樣是以高者為準)。
這類 AI 主要包含兩大領域,在實務判定上非常重要:
1. 醫療器材與安全防護元件(Products with Safety Components)
只要 AI 是作為需要通過第三方安全評估產品的「安全元件」或本身就是產品,就直接屬於高風險 AI。
-
醫療與診斷軟體:例如輔助醫生判讀 X 光片的 AI 影像診斷系統、手術機器人控制系統。
- 航空、汽車、玩具安全的關鍵控制 AI 系統。
2. 附錄三(Annex III)列出的八大獨立領域
-
工作場所的「生物識別(Biometrics)」與員工管理:
這在實務開發上非常有意思,通常會區分為兩種技術機制:
-
1-to-1 驗證(Verification)➔ 允許:員工刷識別卡後比對自己的人臉,確認「你是不是你宣稱的大明」(這不屬於高風險)。
-
1-to-N 識別(Identification)➔ 高風險:在辦公室天花板裝監視器,員工走過去自動識別並記錄打卡(這屬於遠端生物識別,定義為高風險,必須符合嚴格的合規審查)。
-
關鍵基礎設施:影響電網、自來水、大眾交通安全控制的 AI。
-
教育與職業訓練:決定學生能不能入學、決定期末考試評分的 AI。
-
就業與人員管理:幫人資篩選履歷、評估員工績效升遷的 AI。
-
基本私人與公共服務:評估信用分數、決定能不能給予貸款、保險定價的 AI。
-
執法、移民與邊境管理:犯罪風險預估、簽證評估、甚至是 AI 測謊。
四、 高風險 AI 必須做到的三大防禦與管理規定
如果公司開發的是高風險 AI,上線前必須做到這幾件事,這也是 GRC 審計的重點。在法案中,企業必須建立完整的 「風險管理系統(Risk Management System)」,並通過 「合規評估(Conformity Assessment)」:
-
人工監督(Human Oversight):
系統在設計上,絕對不能由 AI 自己做最終決定。一定要有「人類分析師」能進行有效監督、隨時干預,並有一鍵推翻 AI 決定的權力,也就是我們在 SOAR 中學過的 Human-in-the-Loop。
-
資料治理與品質:
訓練這隻 AI 的資料集,必須符合極高品質。必須具備足夠的代表性、無惡意偏見,且必須做好資料出處追蹤(Data Provenance)防範投毒。
-
準確性與網路安全:
系統必須具備足夠的抗性。在技術上要能抵禦我們 Domain 2 提到的「對抗性樣本攻擊」或「提示詞注入」,達到足夠的網路防禦強度,避免模型被誘騙或個資外洩。
🔑 模擬題解析
Q: 一家軟體公司開發了一款『AI 自動履歷篩選與招聘評估系統』,並計劃將該軟體販售給在歐盟運營的跨國企業。根據歐盟 AI 法案(EU AI Act),這款軟體最可能被歸類為哪個風險等級?
A. 不可接受風險(Prohibited AI)
B. 高風險(High-Risk AI)
C. 有限風險(Limited Risk)
D. 最小風險(Minimal Risk)
【正確答案】B
【解析】
-
抓解題關鍵字:
自動履歷篩選與招聘評估系統。
-
分析:在歐盟 AI 法案的附錄三中,涉及到「就業、人員管理、履歷篩選、升遷績效評估」的 AI 系統,被明確界定為會影響人類生計與基本權利的高風險 AI 系統(High-Risk AI)。
- 這類系統並不被永久禁止(所以不選 A),但必須在系統設計中落實嚴格的「人工監督(Human Oversight)」與「合規評估」後才能上線,因此正確答案是 B。
🎯 今日學習筆記重點
-
布魯塞爾效應(Brussels Effect):歐盟法案因為嚴格且具代表性,會穿透全球供應鏈,變成各國開發者默默遵守的實質標準(De facto Standard)。
-
工作場所生物識別的兩大防線:
-
情緒識別(Emotion Recognition):用 AI 測員工有沒有偷懶、心情好壞 ➔ 永久禁止(不可接受風險)。
-
1-to-N 走過去自動辨識打卡(Identification) ➔ 高風險 AI,需要繁瑣的合規審查。
-
醫療與診斷軟體:SaMD(軟體即醫療器材)因為需要通過第三方安全評估,無條件屬於高風險 AI。
-
罰款魔鬼細節:法案罰款是採取**「以高者為準(Whichever is higher)」**。不可接受風險最重罰 3,500 萬歐元或全球 7% 營收;高風險最重罰 1,500 萬歐元或全球 3% 營收。
-
不可接受風險:工作場所與教育場域的情緒識別、潛意識操控、社會評分、公共場所即時人臉辨識等(永久禁止)。
-
高風險 AI:影響基本權利(人資篩選、信用貸款、教育評分)、人命安全(關鍵基礎設施)與醫療器材。
明天我們要講歐盟 AI 法案的下篇:通用 AI(GPAI)模型、透明度義務,以及台灣企業要怎麼落地合規。
我們明天見啦!