iT邦幫忙

2026 iThome 鐵人賽

DAY 19
0
佛心分享-IT 人自學之術

分享CRISC(風險與資訊系統控制認證)自學及對工作上的心得系列 第 19 篇

新興科技:AI Agent議題帶來的風險與管理策略為何?

  • 分享至 

  • xImage
  •  

ISACA CRSIC知識領域中,有一章節提及了新興科技的風險與影響。近幾年,若談新興科技,常會提及AI及AI Agent議題。

相較於生成式AI漸漸不能滿足人類的需求,原因是人類希望透過一個虛擬的助手或團隊來協助工作或事務的處理,故AI Agent就因應而生了。

與傳統的AI或生成式AI的使用不同,AI Agent是會直接幫您自動化執行某工序或作事的,也因為擁有了資料的讀取權、相依工具的呼叫權限及執行權,故有了決策的動作,也易造成「作錯事」。
如:

  1. AI Agent因誤會了您的意思或幻覺(Hallucination)或推論錯誤,造成了錯誤的判斷,會自動的觸發連鎖操作。(如:刪資料、下單、錯發mail、將正常的行為鎖掉)。

  2. 新型的駭客攻擊與權限被濫用
    駭客相較於傳統的外部探針或掃PORT方式,透過AI Agent工具,像是委託了一個代理人,沒日沒夜地快速進行最佳路徑方法的測試及滲透,也大大的改善傳統透過個人專業能力獨自摸索的作法,提高了攻擊的成功率。
    而「權限濫用」即:當您需要AI Agent幫您作事,就會需要一定程序的權限,讓他自動化去找資料、整理資料到執行動作。故當賦予過高的權限,甚至系統管理者的權限(Admin/Root),就會造成一個很大的破口。

  3. 敏感資料及隱私不經意洩漏
    當未適當的限縮資料或讓AI Agent讀取特定區域或資料夾的資料時,其在存取跨部門、跨資料夾的資料時,易造成敏感資料及隱私資料的外洩,造成嚴重不符規的狀況。

  4. 看不到的決策過程與稽核軌跡
    誠如AI Agent幫您作事了,一連串的決策過程中,事後的責任歸屬及稽核軌跡,若是發生了事件後,常有一痛點:找不到責任歸屬及造成稽核軌跡斷點。

當然了,AI Agent雖帶來了風險,也為組織帶來了滿滿的「營運機會」,但這邊暫不作相關的描述。

而就上述風險的情境下,AI的治理維度,可能有如下幾個維度:

  1. 權限控管:適當的權限賦予與最小權限限制。
  2. 人機協助:建立 Human-in-the-loop (重要決策點,要有人作介入與確認)。
  3. 強調稽核的證據鏈可落地:導入完整日誌紀錄與推論軌跡記錄機制,確保每一步行為皆可追溯、可解釋、可稽核。
  4. 動態防禦:定期進行紅隊演練(Red Teaming)與偏誤測試,監測AI系統在相關條件、未預期的狀況下或未明確界定出使用的邊界範圍的運作狀況,是否會有風險疑慮。

上一篇
談軟性的議題:道德、組織文化、風險
系列文
分享CRISC(風險與資訊系統控制認證)自學及對工作上的心得 共 19 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言