iT邦幫忙

2026 iThome 鐵人賽

DAY 7
0

在魔法世界中,奇獸是一個獨特的存在,其他的魔法物品再怎麼能自己挑選主人,也從來無法獨自做出任何事情。一根魔杖或魔法掃帚只要巫師鬆手就會自動停下。但是奇獸不一樣,奇獸會有自己的思想、個性與判斷,並做出對應的行為,例如主動出手攻擊敵方、解救受困的同伴等。但同時,這樣的特性也讓他們有機會違背主人的想法進行行動,甚至反噬他的主人。

當企業導入除了對話外,還能理解、思考甚至進行行動的 AI Agent 時,其實也是在原本井然有序的企業環境中,投入了一個不確定因子。現在的 AI Agent 已經不只是單純回應使用者的提問,而是開始會去思考、拆解問題、甚至直接著手進行操作。他在本質上已經跟過往的 IT 工具或 AI 工具大不相同,AI Agent 現在就是被牽著走進企業內部的噴火龍。

當我們辦理新人入職時,都會對他們進行新人訓練,也會好好的教導他們公司的規矩,並且指派資深同仁與新人一起合作,幫助新人逐步了解企業內的文化和工作規矩。然而當我們在企業導入 AI Agent 時,卻不太會將這樣的行為視為是一個必須要做的事情。

我們幫員工一人開一個帳號,讓他們有一個上知天文、下知地理的 AI 夥伴跟他一起工作,但我們是不是有告訴這個 AI Agent 哪些事可以做哪些不行;是不是有讓員工們都清楚知道,這個看起來很罩的年輕人,不見得每次都是對的,員工有時候需要幫這個很聰明的菜鳥踩下煞車。甚至,會不會我們自己的員工,本來也對於紅線該劃在哪個位置一知半解,因此也無法好好約束我們的 AI 員工?

這是一個 AI 瘋狂衝刺的年代,每間企業都擔心自己跟不上這股 AI 熱潮,會因此被拋在後面。因此大家都爭先恐後地想要取得更多更好的硬體、資料、與演算法。然而安全性在這個時候就可能被放到較低的優先序,甚至遭到忽視。不管三七二十一,先導入先開始用再說。

然而,前陣子 Anthropic 執行長阿莫戴(Dario Amodei)已經公開呼籲業界應該適度放慢尖端 AI 模型開發,投入更多時間進行安全相關檢驗與評估;OpenAI 執行長奧特曼(Sam Altman)與馬斯克(Elon Musk)也紛紛表態同意這個看法。

如果連主導 AI 發展的企業都這樣說話了,那身為使用者的企業們,是否也該先緩下腳步,先把護欄(Guardrail)和韁繩(Harness)準備好,以免 AI Agent 這隻噴火龍暴衝,甚至反噬企業自身呢?

「奇獸不會天生就是穩定可靠的夥伴,AI Agent 也是。AI Agent 不能被視為開箱即用的軟體,而是需要循循善誘、花時間引導成長的職場新夥伴。」

旅行中要堅持發文比預期的還難啊...


上一篇
阿茲卡班的通緝名單:影子 IT 引發的經典災難判例
系列文
影子 IT 與他們的產地 - AI 時代的影子 IT 資安議題與應對之道7
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言