iT邦幫忙

2026 iThome 鐵人賽

DAY 18
0

📝 本系列為 iThome 鐵人賽學習筆記,屬個人教學與非商業用途;文中法規與標準內容均以自身理解後的話轉述並註明出處,非逐字引用。

階段三|台灣有哪些機構與資源

AIEC 十大評測項目總覽

從機構走到「考卷」

前三天,我們認識了台灣 AI 治理的機構:制度地圖(Day 15)、AI 產品與系統評測中心(Artificial Intelligence Evaluation Center,以下簡稱 AIEC,見 Day 16)、以及底下的測試實驗室與驗證機構(Day 17)。這三天反覆點名、卻始終沒有展開的,是 AIEC 用來評測 AI 的那十大評測項目。今天,就把這份「考卷」逐項攤開。

今天是第三階段最貼近實作的一天:這十項不只是評測用的欄位——它幾乎可以直接當作一份「AI 系統該檢查哪些面向」的完整檢核表。本系列最終要交付的那份《AI 專案資安合規檢核表》,欄位骨架正是來自這裡。換句話說,今天認識的十項,會一路貫穿到第四階段(Day 21–30)的每一段程式與每一份紀錄。

先講一個對開發者最重要的觀念:「可信任的 AI」不是單一分數,而是十個面向的總和。 一個模型答題正確率再高,如果會洩漏個資、會被輕易攻破、決策無法解釋,它仍然不可信。這正是 AIEC 把評測拆成十項的用意——促使開發者從十個不同角度檢視同一個系統

十項的全貌:先分成三群來記

十項一次背下來不容易,本文把它們依「要回答的問題」歸納成三群,方便建立整體印象,如下圖所示(這個分群是筆者為了好懂所做的整理,官方十項本身並列、不分群)。另就英文標註先說明一點:本文各項括號內的英文,除「彈性」沿用官方新聞稿的 Resilient 外,採國際文獻常見的名詞形(如 Explainability、Fairness、Accountability、Cybersecurity),便於讀者延伸查閱;AIEC 官方文件的英文標註則多採形容詞形(如 Explainable、Fair、Accountable、Secure),兩者指的是同一個項目,對照官方文件時毋須困惑。

十大評測項目分成效能、安全、治理三群

下面依這三群逐項說明。每一項都用同一個格式:官方意涵(轉述)→ 開發者的白話 → 未來落到第四階段哪裡

第一群:效能可信——它答得好不好

準確性(Accuracy)

  • 官方意涵:這一項問的是,模型給出的答案離事實或正確解有多遠——講白了就是它答得「對不對」。
  • 白話:這是最直覺的一項——模型講的是不是事實、算的對不對。對檢索增強生成(Retrieval-Augmented Generation,以下簡稱 RAG)客服來說,就是「有沒有正確回答使用者的問題、有沒有胡謅」。
  • 落點:Day 21 建立 RAG 範例本身、Day 24 處理輸出與幻覺。

可靠性(Reliability)

  • 官方意涵:就算輸入夾帶雜訊、被刻意擾動,或出現非預期的怪輸入,模型的表現也不該忽好忽壞、劇烈跳動——看的是它穩不穩。
  • 白話:準確性看「一般情況答得對不對」,可靠性看「遇到怪問題、亂輸入時穩不穩」。同一個問題換個問法就答錯,就是不可靠。
  • 落點:Day 24 輸出穩定性、Day 26 紅隊測試。

彈性(Resilient,或譯韌性)

  • 官方意涵:看系統能不能隨著情境、需求與外部條件的變動而調整、擴充,而不是環境一變就失效——強調的是適應力與可擴展性。
  • 白話:這一項有兩個面向:一是「能適應變化」——情境改變、需求成長時能靈活調整;二是「被擾動後能恢復」——受到壓力或干擾時撐得住、不會直接崩潰。
  • 落點:Day 26 紅隊測試(在對抗與壓力情境下檢驗系統撐不撐得住、恢復得了)。

第二群:安全防護——它守不守得住

安全性(Safety)

  • 官方意涵:關注系統萬一功能失效時該承擔的風險與應變作法,確保它運作起來不會傷到人、環境或財產(工廠、道路等實體場域尤其重視這一點)。
  • 白話:這一項關心的是「出事會不會傷到人」——AI 給了危險的建議、或在實體場域做了危險的動作,後果是安全問題,不只是答錯而已。
  • 落點:Day 23 輸入防禦(阻擋誘導系統做出有害輸出)、Day 26 紅隊測試。

資安(Cybersecurity)

  • 官方意涵:看的是系統擋不擋得住外部入侵、越權存取與惡意濫用,能不能守住手上的運算資源、功能運作與資料,不被竊取或破壞。
  • 白話:這是傳統資安在 AI 上的延伸——會不會被入侵、被繞過權限、被惡意利用。提示注入(prompt injection)就是這一項的頭號威脅(原理見 Day 2、Day 3)。
  • 落點:Day 23 輸入過濾、Day 25 存取控制、Day 28 供應鏈治理。

隱私(Privacy)

  • 官方意涵:保護個人不被侵擾,也避免有人靠零星、片段的線索反推、拼湊出某個人的隱私事實(身體狀況、個資、信用等)。
  • 白話:AI 會不會把不該說的個人資料吐出來、會不會從蛛絲馬跡推斷出隱私。對 RAG 客服而言,就是「知識庫裡的個資會不會被誘導洩漏」。
  • 落點:Day 22 資料治理與外洩防護。

第三群:治理透明——它講不講得清、負不負得起責

透明性(Transparency)

  • 官方意涵:要拉平一件事——AI 提供方握有的資訊,遠比使用者多;使用者常不清楚系統的用途、拿什麼資料訓練、架構長怎樣,透明性就是要縮小這道落差,避免因誤解而誤用。
  • 白話:使用者知不知道自己正在跟 AI 互動、知不知道這個 AI 是怎麼來的、有什麼限制。呼應人工智慧基本法的「透明與可解釋」原則。
  • 落點:Day 24 輸出揭露(標示 AI 生成、附來源)。

可解釋性(Explainability)

  • 官方意涵:問的是,模型從輸入走到某個輸出,中間的推理依據能不能被說清楚——是有跡可循的因果,還是至少能描述它憑什麼這樣判斷。
  • 白話:透明性是「讓你知道這是 AI」,可解釋性更進一步——「讓你知道它為什麼給這個答案」。答案能不能追溯到依據,就是這一項。
  • 落點:Day 24 可解釋與來源標註(讓每個答案可追溯到 RAG 的檢索來源)。

當責性(Accountability)

  • 官方意涵:系統一旦出事,開發方與使用方都不能置身事外——必須能回溯、說明它當時的決策與行為,並有人為後果負責。
  • 白話:出事的時候,能不能還原「當時發生了什麼、是誰、依什麼做的決定」,並有人負責。這需要完整的紀錄作後盾。
  • 落點:Day 27 稽核日誌與可追溯性。

公平性(Fairness)

  • 官方意涵:檢查模型對不同族群或個人是否一視同仁,會不會因為對象是誰,就產生系統性的差別待遇或歧視。
  • 白話:模型會不會對特定性別、族群、地區產生系統性的偏誤。呼應基本法的「公平與不歧視」原則。
  • 落點:Day 22 資料治理(源頭的資料偏誤)、Day 26 紅隊測試(測偏誤輸出)。

為什麼這十項可以當「檢核表骨架」

把十項看完,會發現一件事——如下圖所示,它們幾乎完整覆蓋了前兩階段講過的所有治理原則。

十大評測項目呼應基本法與國際框架

  • 對照人工智慧基本法第 4 條七大原則(Day 8):其中隱私保護、資安與安全、透明與可解釋、公平與不歧視、問責這五項,幾乎一一對得上十項裡的隱私、資安、安全性、透明性、可解釋性、公平性、當責性;另兩項「永續發展與福祉」「人類自主」屬更上位的價值取向,較難直接對映到單一評測項目。
  • 對照 ISO/IEC 42001 的附錄 A 控制(Day 12)與歐盟、美國框架(Day 14):資料治理、透明揭露、人類監督、風險管理——也都能在這十項裡找到對應

這不是巧合。AIEC 在規劃這十項時,明確參考了國際主要的 AI 規範;而這十項與美國國家標準暨技術研究院(National Institute of Standards and Technology,NIST)的人工智慧風險管理框架所列的可信任特性高度對應,也呼應國際標準化組織(International Organization for Standardization,ISO)與歐盟的框架。可以說,這十項是各國治理共識在「產品評測」層次的具體化——用它當檢核表骨架,等於同時對齊了本國法規與國際框架。

一句話總結它的價值:十項評測,就是把抽象的「可信任 AI」原則,翻譯成十個可以逐一檢查、逐一給分的具體面向。 對開發者而言,這比逐條研讀法規更容易入手——毋須具備法律專業,只要依這十項逐一自我檢查,就抓住了合規的主幹。

對映到第四階段:十項如何變成程式與紀錄

這十項不會停在「檢查清單」。本系列第四階段(Day 21–30)的核心工作,就是把每一項落成可執行的技術控制與可稽核的證據。下圖呈現十項評測與第四階段實作的主要對映,作為後半段的路線圖:

十大評測項目對映到第四階段技術落地

這張圖就是「從法條到程式碼」在評測項目這一層的樣貌:每一個評測項目,最後都會在第四階段找到一段對應的程式、一道對應的流程、或一份對應的紀錄來提供證據。 到了 Day 29 收斂白皮書時,這組對映就會長成一份完整、可勾選的檢核表。

對映到 RAG 範例

把十項投影到本系列的 RAG 客服範例,會得到一份非常具體的自我檢查清單。這其實就是第四階段每一天要動手解決的題目:

  • 隱私:知識庫裡的個資,會不會被誘導問出來?(Day 22)
  • 安全性/資安:系統提示能不能被提示注入繞過?(Day 23)
  • 存取控制(資安):不同使用者是否只能檢索到被授權的資料?(Day 25)
  • 透明性/可解釋性:回答有沒有標示「AI 生成」、有沒有附上來源?(Day 24)
  • 當責性:出事時,能不能從日誌還原整段決策軌跡?(Day 27)

第四階段我們每加一道防禦,都是在為這份清單的某一項「補上技術證據」。今天先把這十道題目立好,後面就逐題破解。

小結與明日預告

今天把 AIEC 的十大評測項目逐一攤開:

  • 十項分三群:效能可信(準確性、可靠性、彈性)、安全防護(安全性、資安、隱私)、治理透明(透明性、可解釋性、當責性、公平性);
  • 「可信任 AI」是十個面向的總和,不是單一分數——答得準只是其中一項;
  • 這十項幾乎完整覆蓋基本法七大原則與 ISO/IEC 42001、歐盟、美國框架的要求,所以能當檢核表骨架;
  • 每一項都會在第四階段找到對應的技術控制與稽核證據,最終收斂成白皮書的檢核表。

明天(Day 19)進入第三階段的最後一站——驗證與認證體系:本土案例與 TAF。 我們會看台灣第一家通過 ISO/IEC 42001 驗證的公司作為本土案例,並釐清「驗證」與「認證」的層級關係、財團法人全國認證基金會(Taiwan Accreditation Foundation,以下簡稱 TAF)在整條信任鏈中的位置——把 Day 17 留下的「證書怎麼來的」補完。


  • 程式碼:本篇為評測項目導覽,無對應程式碼;十項如何落成技術控制與稽核證據,見第四階段(Day 21–30)。
  • 參考條文/出處:AIEC 官方網站(aiec.org.tw)「主要評測項目」之十項說明;數位發展部數位產業署新聞發布;十項與人工智慧基本法第 4 條、ISO/IEC 42001 附錄 A、NIST AI RMF、EU AI Act 之對映為本文之概念性整理。以上均為政府公開資料,各項意涵以自己的話轉述並註明出處;三群分類與對映表為筆者為便於理解所做之原創整理。

上一篇
Day 17:測試實驗室 × 驗證機構
系列文
從法條到程式碼:台灣 AI 治理與資安合規實戰指南18
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言