ISACA CRSIC知識領域中,有一章節提及了新興科技的風險與影響。近幾年,若談新興科技,常會提及AI及AI Agent議題。
相較於生成式AI漸漸不能滿足人類的需求,原因是人類希望透過一個虛擬的助手或團隊來協助工作或事務的處理,故AI Agent就因應而生了。
與傳統的AI或生成式AI的使用不同,AI Agent是會直接幫您自動化執行某工序或作事的,也因為擁有了資料的讀取權、相依工具的呼叫權限及執行權,故有了決策的動作,也易造成「作錯事」。
如:
AI Agent因誤會了您的意思或幻覺(Hallucination)或推論錯誤,造成了錯誤的判斷,會自動的觸發連鎖操作。(如:刪資料、下單、錯發mail、將正常的行為鎖掉)。
新型的駭客攻擊與權限被濫用
駭客相較於傳統的外部探針或掃PORT方式,透過AI Agent工具,像是委託了一個代理人,沒日沒夜地快速進行最佳路徑方法的測試及滲透,也大大的改善傳統透過個人專業能力獨自摸索的作法,提高了攻擊的成功率。
而「權限濫用」即:當您需要AI Agent幫您作事,就會需要一定程序的權限,讓他自動化去找資料、整理資料到執行動作。故當賦予過高的權限,甚至系統管理者的權限(Admin/Root),就會造成一個很大的破口。
敏感資料及隱私不經意洩漏
當未適當的限縮資料或讓AI Agent讀取特定區域或資料夾的資料時,其在存取跨部門、跨資料夾的資料時,易造成敏感資料及隱私資料的外洩,造成嚴重不符規的狀況。
看不到的決策過程與稽核軌跡
誠如AI Agent幫您作事了,一連串的決策過程中,事後的責任歸屬及稽核軌跡,若是發生了事件後,常有一痛點:找不到責任歸屬及造成稽核軌跡斷點。
當然了,AI Agent雖帶來了風險,也為組織帶來了滿滿的「營運機會」,但這邊暫不作相關的描述。
而就上述風險的情境下,AI的治理維度,可能有如下幾個維度: