iT邦幫忙

2026 iThome 鐵人賽

DAY 22
0
IT Operation

那個 Agent 最後沒人用:30 個企業 AI 導入現場系列 第 22

Day 22|月活躍使用者上升了,工作卻一點沒變

  • 分享至 

  • xImage
  •  

星期二早上九點零三分,IT Service Desk 收到一張權限申請。

Request:
Add user to Finance Reporting access

Requester:
Amy Chen

Reason:
New responsibility for monthly revenue reporting

工程師沒有先查權限表。他把 Ticket 貼進剛上線兩個月的 Access Assistant。

十秒後,Agent 回覆:

Request Type:
Application Access

Suggested Role:
Finance Reporting User

Required Approval:
Line Manager
Finance System Owner

「這個真的滿方便的。」工程師說。

坐在旁邊做使用者研究的平台 PM 問:「以前判斷這一類申請要多久?」

「兩三分鐘。要翻規則,看它到底算哪一種。」

工程師把結果複製回 Ticket,接著照原本的順序開 Excel、查部門、進 IAM Portal 檢查現有權限,再送出主管核准。

九點十二分,Ticket 進入:

Waiting for Approval

九點五十二分,主管核准。

工程師回到 Ticket,進入 Finance Application,確認 Amy 是否完成必要的 Security Training。

Training Status: Not Found

他寄信要求補完課程,Ticket 再次停住。

下午兩點十五分,Amy 回覆已完成。工程師重新確認、加上權限,兩點二十二分關單。

平台 PM 的筆記只有兩行:

Agent execution: 09:04
Ticket completed: 14:22

這張 Ticket 用了 Agent,答案也沒有錯。

但除了工程師多看了一段摘要,整份工作跟兩個月前幾乎一樣。

它被放進流程,卻沒有改變流程

平台團隊一開始沒察覺。

Access Assistant 的數字一直上升:第一個月 183 位使用者,第二個月 267 位;工程師也不是打開看看就離開,而是真的把它用在處理 Ticket。

從平台角度看,這是很健康的 Adoption。

直到 PM 跟完一張 Ticket,才把新舊流程並排:

原本
讀 Ticket
→ 判斷申請類型
→ 查權限規則
→ 檢查現有權限
→ 送 Approval
→ 檢查必要條件
→ 執行變更

現在
讀 Ticket
→ 問 Agent
→ 複製結果
→ 判斷申請類型
→ 查權限規則
→ 檢查現有權限
→ 送 Approval
→ 檢查必要條件
→ 執行變更

Agent 做了 Request Classification,但工程師仍得重做一次。因為它的建議只停在聊天視窗;ServiceNow 不認得這份結果,IAM Workflow 也不能拿它往下跑。

於是 Agent 沒有替換任何正式步驟。它只是成了工作前面新增的一個步驟。

這就是平台最容易誤判的地方。

登入、對話、Tool Call、Skill Execution 都是很乾淨的事件資料。它們能證明使用者碰過系統,卻不能證明原本的工作狀態改變了。

一個每張 Ticket 都會被呼叫的 Agent,Usage 可以很高;但若人工確認、等待、返工與交接全都還在,Cycle Time 也可能完全不動。

把一次呼叫接回一筆工作

平台團隊沒有再增加另一組大型 KPI。他們只替 Access Assistant 補上一個欄位:每次執行都要帶回原本的 Ticket ID。

Agent Execution: AE-28417
Task: INC-938251

接著只選一個工作結果來看:Manual Touch Count

完成一張正常 Access Request,工程師實際還要碰幾次?

第一批資料沒有帶來好消息。Agent 使用率很高,但人工 Touch 幾乎沒下降。

不過問題終於變得可處理了:

Agent 已經判斷出申請類型,為什麼工程師還要再判斷一次?

答案不在模型能力。答案是結果沒有接進正式系統。

下一版沒有增加更長的 Prompt,也沒有多做一個 Agent。工程師確認後,Request Type 直接寫回 Ticket;必要核准自動建立;缺少 Training Record 的申請直接進入 Need Information,不必先排給工程師處理一次。

Access Assistant 的執行次數沒有因此暴增,MAU 也只小幅增加。

但正常權限申請終於少掉幾次人工處理。

月底的 Usage Dashboard 還在。它仍然回答「有多少人在使用」。

只是旁邊多了一條新的連線:

Agent Execution
      ↓
Task ID
      ↓
Manual Touch Count

九點零四分的 Agent 執行紀錄,終於和那張停在 Waiting for Approval 四十分鐘的 Ticket 被放在同一條時間線上。

平台第一次開始分得清楚:哪些只是有人用了,哪些真的讓工作少了一步。


上一篇
Day 21|Training 很完整,回到工作還是不敢用
系列文
那個 Agent 最後沒人用:30 個企業 AI 導入現場22
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言