2024 年跨國工程公司 Arup 的香港分公司發生了一起詐騙案，一名財務人員收到訊息，對方聲稱英國總部的財務長正在處理一筆機密交易，要求他配合匯款，一開始他也覺得不太對勁，於是要求開視訊會議確認，會議上財務長和幾位同事都在畫面裡，長相、聲音都對得上，於是他就放下戒心，照著指示匯出約 2500 萬美元。
後來才發現，他在會議中看到的同事全是假的，攻擊者利用 AI 偽裝財務長與其他與會者，讓受害者以為自己已經透過視訊確認身分，款項最後匯入五個香港帳號，事件細節可以參考 CNN 的報導。
這起事件沒有用到高深的 0-day，也沒有入侵伺服器，攻擊者真正利用的，是人對聲音、影像和熟悉面孔的信任，而幫他們做出這場詐騙會議的 AI，也是資安團隊每天在用的同一個工具。
在防守方眼中，AI 最大的價值是幫忙快速整理那些多到看不完的 Log，藍隊每天要面對大量網路流量、登入紀錄、郵件和系統事件，但真正的攻擊往往只藏在極少數的幾筆資料裡，如果全部都靠人工分析，不但耗時也很容易漏掉重要訊號，這剛好是 AI 擅長的事，它能從大量資料裡找出人眼不容易發現的異常，再把真正值得注意的事件交給分析人員，例如：
不過 AI 找到的異常並不一定代表真的發生攻擊，可能是模型誤判，也可能因為資料不足而漏掉威脅，因此最後仍然需要資安人員進一步分析和確認，AI 在這裡的角色比較接近一位能力很強的助手。
以前的釣魚信常常有破綻可循，例如語氣生硬、文法錯誤、公司名稱拼錯、可疑的寄件網域、收件人的職稱不對，只要稍微提高警覺就看得出來。
生成式 AI 出現後，這道門檻幾乎消失了，現在只要提供幾個關鍵資訊，例如受害者的職位、公司名稱，甚至平常說話的語氣，AI 就能產生一封自然流暢的郵件，換一個對象再重寫一次也不費事，每個受害者收到的都是專門為他寫的版本。
2023 年資安公司 SlashNext 揭露了一款名為 WormGPT 的工具，它以開源大型語言模型為基礎，移除了原本的安全限制，並在地下論壇販售，研究人員測試發現，它可以協助產生商業郵件詐騙（Business Email Compromise，BEC）等社交工程內容，而後續也陸續出現了 FraudGPT 等功能類似的工具，有興趣可參考 Brian Krebs 對 WormGPT 的調查報導（KrebsOnSecurity）。
文字之外，影像和聲音也一樣，本篇開頭 Arup 的案例就是例子，攻擊者利用 Deepfake 冒充公司高層與同事，讓原本用來確認身分的視訊會議，反而成為詐騙的一部分。
在過去我們很自然地認為，親眼看到對方、親耳聽到對方說話，就代表著是本人，但 Deepfake 出現之後，這些判斷方式就沒那麼可靠了，攻擊者甚至不需要入侵公司的系統，只要成功取得受害者的信任，就可能造成嚴重的損失。
前面的例子裡，AI 扮演的都還是助手，負責產生文字、影像或聲音，真正決定攻擊目標、操作工具，以及發動攻擊的仍然是攻擊者，但隨著 AI Agent 的發展，AI 開始有能力自己規劃任務、操作工具，把一個要好幾個步驟才跑得完的流程走完，研究人員也開始嘗試讓 AI 自主分析漏洞、撰寫攻擊程式，甚至完成部分滲透測試作業。
今年 4 月 Anthropic 發布了 Claude Mythos Preview，研究團隊讓 AI 自主分析大型開源專案、尋找可能存在的漏洞，結果成功找出過去未被注意到的漏洞。
更值得注意的是今年 7 月 OpenAI 在內部用 ExploitGym 這套題目評測模型的網路攻擊能力，受測的 GPT-5.6 Sol 和一個未公開的模型，在降低資安拒答限制的環境中執行任務，結果模型沒有照著題目解題，而是花了大量運算去找對外的網路出口，先利用套件快取服務的 0-day 離開沙箱，接著自己推測 Hugging Face 可能存放這份評測的題目與解答，於是串接取得憑證和漏洞取得遠端執行權限，再從資料集的處理流程一路拿到 Kubernetes 管理權限，甚至用 Pastebin 這類公開服務拼出自己的 C2 通道，整趟過程在 Hugging Face 的系統裡待了大約兩天半，事件說明可以參考 OpenAI 的公告。
沒有人叫模型去攻擊 Hugging Face，它拿到的任務只是通過評測，入侵一家真實公司拿到答案是它自己想出來的解法，人類只設定了題目和環境的邊界，剩下怎麼達成，模型自己補完了。
AI 現在同時站在攻防兩邊，防守方用它整理 Log、偵測異常，攻擊者用它撰寫釣魚信、生成 Deepfake，而它自己也開始有能力走完部分攻擊流程，以後我們要防的對象裡面，除了人以外還有 AI。
下一篇我們進入攻擊者的視角，聊聊「打 AI」跟「打傳統系統」到底有什麼不一樣，以及 AI Red Team 到底在做什麼。
iThome鐵人賽
看影片追技術