iT邦幫忙

2026 iThome 鐵人賽

DAY 17
0

📝 本系列為 iThome 鐵人賽學習筆記,屬個人教學與非商業用途;文中法規與標準內容均以自身理解後的話轉述並註明出處,非逐字引用。

階段三|台灣有哪些機構與資源

測試與驗證是兩個獨立機構、兩道不同關卡

把兩個執行機構拆開來看

昨天(Day 16)介紹 AI 產品與系統評測中心(Artificial Intelligence Evaluation Center,以下簡稱 AIEC)時,提到它是「一個中心、三種角色」的體系:中心負責制定制度,另外兩個角色負責實際執行——AI 測試實驗室AI 驗證機構。今天就把這兩個執行機構拆開來,看清楚它們各自是誰、做什麼,以及一個產品從送測到拿到證明,中間要走過哪些關卡。

先用一張組織關係圖把層級定位清楚:AIEC 是「中心」,由數位發展部數位產業署主辦、負責制定制度;它底下有兩個執行機構,分別由兩個不同的法人承接——AI 測試實驗室由財團法人工業技術研究院(以下簡稱工研院)承接、AI 驗證機構由國家資通安全研究院(以下簡稱資安院)承接。這個「測試歸工研院、驗證歸資安院」的對應,是今天最該先記住的一件事。

AIEC 與底下兩個執行機構的組織關係

這一天要先破除一個很常見的混淆:日常語言裡,「測試」和「驗證」幾乎是同義詞,很多人交替使用。但在評測制度裡,它們是兩件不同的事、由兩個不同的機構、依兩套不同的國際標準來做。分不清楚這個差別,就會看不懂「測試報告」和「評價報告」為什麼是兩份東西,也會誤解一張成績單的公信力到底從哪裡來。

先釐清:測試與驗證的差別

在認識兩個機構之前,先用一個生活化的場景把「測試」與「驗證」的差別講清楚——健康檢查,其對照如下圖所示。

用健康檢查理解測試與驗證的差別

你去醫院做健檢時,會經歷兩個階段:

  • 第一階段:檢驗。 檢驗師幫你抽血、量血壓、照 X 光,得到一堆數據——紅血球多少、血壓幾比幾。檢驗師只負責「準確地量出數據」,不負責判斷你健不健康。這就是測試(testing):依標準方法,客觀地產出量測數據。
  • 第二階段:判讀。 醫師拿著這些數據,對照醫學標準,判斷「這個人的健康狀況合格嗎、有沒有異常」,最後簽名出具一份健檢報告。醫師不重新抽血,他做的是根據數據下判斷、並為這個判斷背書。這就是驗證(certification):依準則審查測試結果,做出「符合/不符合」的認定並負責。

關鍵在於:量數據的人和下判斷的人,是被刻意分開的兩種角色。 因為如果檢驗師既抽血又自己宣布「你很健康」,這個結論就少了一層獨立把關。把「測量」與「判定」分開,正是讓結果可信的制度設計。

AI 評測體系,用的是一模一樣的邏輯:AI 測試實驗室是「檢驗師」,AI 驗證機構是「醫師」。 認識這個對應,下面兩個機構就都好懂了。

AI 測試實驗室:負責「測量」的工研院

AI 測試實驗室的角色與職責

如上圖所示,台灣的 AI 測試實驗室工研院承接,於 2024 年 10 月 29 日成立,是台灣第一座 AI 測試實驗室。它扮演的就是「檢驗師」——依照 AIEC 制定的方法,對送測的 AI 產品實際跑測試、產出客觀數據。

它的幾個重點:

  • 測什麼:以語言模型為首波對象,服務範疇涵蓋大型語言模型(Large Language Model,以下簡稱 LLM)測試與影像辨識測試等;測試面向對應 AIEC 的評測項目(例如準確性、可靠性、公平性、隱私、資安等,完整十項是明天 Day 18 的主題)。
  • 產出什麼測試報告。值得一提的是報告分兩種——基礎版測試報告免費提供,讓廠商快速掌握整體分數;進階版測試報告酌收費用,完整揭露各細項的分數與來源,適合拿來改善產品或當佐證。這個「基礎免費」的設計,大幅降低了中小團隊送測的門檻。
  • 依什麼標準:它的品質管理依循國際標準 ISO/IEC 17025(測試與校正實驗室的能力要求),並正朝取得財團法人全國認證基金會(Taiwan Accreditation Foundation,以下簡稱 TAF)認證推進(截至本文撰寫時尚未見於 TAF 認證名錄,實際進度以官方公告為準)。這個「通過 TAF」很關鍵,下一節會解釋為什麼。

用一句話定位:測試實驗室是那個「拿著標準化考卷、公正閱卷、給出分數」的單位。它只管分數,不管這個分數夠不夠格。

AI 驗證機構:負責「判定」的資安院

AI 驗證機構的角色與職責

如上圖所示,台灣的 AI 驗證機構資安院承接,於 2024 年 11 月 15 日成立。它扮演的是「醫師」——不重新測試,而是查核測試實驗室產出的測試報告,確認這個產品確實受到了合理、充分的測試,再進一步出具判斷。

它的幾個重點:

  • 做什麼:對測試報告進行評價(第三方確認)——檢查測試是否依規範進行、結果是否可信,必要時搭配人工查核項目。它不是「再測一次」,而是「審查測得對不對、夠不夠」。
  • 產出什麼評價報告。這份報告對測試結果做出說明與認定,是比「一堆分數」更上一層的、具公信力的判斷。未來體系成熟後,通過的產品還能進一步申請證書與標章。
  • 依什麼標準:它依循國際標準 ISO/IEC 17065(產品、過程與服務的驗證機構要求),並以在 2027 年通過 TAF 認證為目標。

用一句話定位:驗證機構是那個「拿著閱卷結果、對照及格標準、簽名認定通過與否」的單位。它不重算分數,但它的簽名,才讓分數變成一張有分量的證明。

為什麼一定要拆成兩個機構

測試與判定若由同一個單位一手包辦,效率看似較高,卻會犧牲最關鍵的一件事——獨立性,也就是公信力的來源。 兩者分立的道理如下圖所示。

測試與驗證分立,是為了公信力

如果「測試的人」同時也是「認定合格的人」,那就等於自己考試、自己改考卷、自己發及格證書——不論結果多客觀,都很難讓外界完全信服,因為缺了一層獨立監督。把兩者拆開,讓測試機構專心把數據測準、驗證機構獨立地判斷結果夠不夠格,這張成績單才站得住腳。

這不是台灣獨創的設計,而是國際**符合性評鑑(conformity assessment)**體系的通則:全世界的產品檢驗(從電器安全到食品衛生)幾乎都採「測試」與「驗證」分立的架構。台灣的 AI 評測,一開始就照這個國際通則來設計,正是為了讓未來發出的結果能與國際接軌。

這裡也回答了前面埋的伏筆——為什麼兩個機構都要「通過 TAF 認證」。TAF 是台灣的國家認證機構,由它來確認「這兩個機構本身有沒有資格做測試與驗證」。這就形成一條完整的信任鏈:TAF 認證機構、機構檢驗產品、產品因此可信。TAF 這一層的角色與本土驗證案例,是 Day 19 的專題,今天先記住它是「認證這兩個機構的上層」。

送測到取證:一個產品要走的完整流程

把測試與驗證串起來,一個 AI 產品從送測到取得證明,會走過這樣一條路,如下圖所示:

AI 產品從送測到取證的完整流程

  1. 申請送測:開發者透過 AIEC 這個統一窗口提出申請(試營運階段由中心統籌收件)。
  2. 執行測試:AI 測試實驗室(工研院)依規範對產品跑測試,產出測試報告(基礎版或進階版)。
  3. 評價確認:AI 驗證機構(資安院)查核測試報告,做第三方評價,產出評價報告
  4. 取得證明:通過者取得評測結果;體系成熟後可進一步申請證書與標章,作為對外的可信任度佐證。

把兩份報告的差別記牢,這條流程就通了:測試報告回答「這個 AI 考幾分」,評價報告回答「這個分數,夠不夠格、可不可信」。 前者是數據,後者是判斷。

兩套標準、兩種機構:一句話對照

最後收斂成一句:AI 測試實驗室依 ISO/IEC 17025 執行測試並產出測試報告;AI 驗證機構依 ISO/IEC 17065 查核結果並產出評價報告。

(ISO/IEC 17025 與 ISO/IEC 17065 為國際標準的編號與名稱,屬事實引用;本文僅說明其角色定位,不涉及標準條款內容。)

對映到本系列與 RAG 範例

把今天的內容接回本系列的檢索增強生成(Retrieval-Augmented Generation,以下簡稱 RAG)客服範例,可以想像它未來真的要送測時的樣子:

  • 我們在第四階段(Day 21–30)為 RAG 客服建立的每一道技術控制——資料治理、輸入過濾、輸出揭露、存取控制、稽核日誌——最後都會化為測試實驗室要測的對象(例如隱私測試會檢查會不會洩漏知識庫資料、公平性測試會檢查回應有無偏誤)。
  • 測完得到的測試報告,就像 RAG 客服的「體檢數據」;再經驗證機構判讀出評價報告,才成為一份能拿去給醫院或政府採購方看的、有公信力的可信任度證明。

換句話說,本系列後半寫的每一段防禦程式,都是在為這場未來的「送測」預先準備好可以被測、被驗的證據。今天先把「送去哪裡測、由誰判定」這條路徑弄清楚,第四階段的技術實作才知道自己最終要對接的是什麼。

小結與明日預告

今天把 AIEC 三角色中的兩個執行機構拆開細看:

  • 測試與驗證是兩件事:測試是「客觀量數據」(檢驗師),驗證是「依準則判定並背書」(醫師),刻意分立是為了獨立性與公信力;
  • AI 測試實驗室由工研院承接(2024 年 10 月 29 日成立),依 ISO/IEC 17025,產出測試報告(基礎版免費、進階版收費),正申請 TAF 認證;
  • AI 驗證機構由資安院承接(2024 年 11 月 15 日成立),依 ISO/IEC 17065,查核測試結果、產出評價報告,以 2027 年通過 TAF 為目標;
  • 完整流程:透過 AIEC 申請 → 測試實驗室測試出測試報告 → 驗證機構評價出評價報告 → 取得證明;而 TAF 認證這兩個機構,構成整條信任鏈的最上層。

明天(Day 18)進入這一階段最實用的一天——AIEC 的十大評測項目。 前兩天反覆點名卻始終沒展開的那十項(安全性、可解釋性、彈性……),明天要逐項拆解。它們幾乎可以直接當作本系列最終那份《AI 專案資安合規檢核表》的欄位骨架。


  • 程式碼:本篇為機構與流程介紹,無對應程式碼;技術控制如何對映到測試項目,見第四階段(Day 21–30)。
  • 參考條文/出處:AIEC 官方網站(aiec.org.tw)之測試實驗室、驗證機構與送測說明;數位產業署相關新聞發布;工研院 AI 測試實驗室(2024/10/29 成立)、資安院 AI 驗證機構(2024/11/15 成立)之公開資料;CIO Taiwan 等媒體對 AIEC 測試與驗證分工、ISO/IEC 17025、ISO/IEC 17065 與 TAF 通過時程之公開報導。ISO/IEC 17025、ISO/IEC 17065 之編號與名稱屬事實引用,本文僅述其角色定位。以上均為政府公開資料與公開報導,以自己的話摘述並註明出處。

上一篇
Day 16:AIEC——AI 產品與系統評測中心
下一篇
Day 18:AIEC 十大評測項目——你的檢核表骨架
系列文
從法條到程式碼:台灣 AI 治理與資安合規實戰指南18
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言