星期二早上九點零三分,IT Service Desk 收到一張權限申請。
Request:
Add user to Finance Reporting access
Requester:
Amy Chen
Reason:
New responsibility for monthly revenue reporting
工程師沒有先查權限表。他把 Ticket 貼進剛上線兩個月的 Access Assistant。
十秒後,Agent 回覆:
Request Type:
Application Access
Suggested Role:
Finance Reporting User
Required Approval:
Line Manager
Finance System Owner
「這個真的滿方便的。」工程師說。
坐在旁邊做使用者研究的平台 PM 問:「以前判斷這一類申請要多久?」
「兩三分鐘。要翻規則,看它到底算哪一種。」
工程師把結果複製回 Ticket,接著照原本的順序開 Excel、查部門、進 IAM Portal 檢查現有權限,再送出主管核准。
九點十二分,Ticket 進入:
Waiting for Approval
九點五十二分,主管核准。
工程師回到 Ticket,進入 Finance Application,確認 Amy 是否完成必要的 Security Training。
Training Status: Not Found
他寄信要求補完課程,Ticket 再次停住。
下午兩點十五分,Amy 回覆已完成。工程師重新確認、加上權限,兩點二十二分關單。
平台 PM 的筆記只有兩行:
Agent execution: 09:04
Ticket completed: 14:22
這張 Ticket 用了 Agent,答案也沒有錯。
但除了工程師多看了一段摘要,整份工作跟兩個月前幾乎一樣。
平台團隊一開始沒察覺。
Access Assistant 的數字一直上升:第一個月 183 位使用者,第二個月 267 位;工程師也不是打開看看就離開,而是真的把它用在處理 Ticket。
從平台角度看,這是很健康的 Adoption。
直到 PM 跟完一張 Ticket,才把新舊流程並排:
原本
讀 Ticket
→ 判斷申請類型
→ 查權限規則
→ 檢查現有權限
→ 送 Approval
→ 檢查必要條件
→ 執行變更
現在
讀 Ticket
→ 問 Agent
→ 複製結果
→ 判斷申請類型
→ 查權限規則
→ 檢查現有權限
→ 送 Approval
→ 檢查必要條件
→ 執行變更
Agent 做了 Request Classification,但工程師仍得重做一次。因為它的建議只停在聊天視窗;ServiceNow 不認得這份結果,IAM Workflow 也不能拿它往下跑。
於是 Agent 沒有替換任何正式步驟。它只是成了工作前面新增的一個步驟。
這就是平台最容易誤判的地方。
登入、對話、Tool Call、Skill Execution 都是很乾淨的事件資料。它們能證明使用者碰過系統,卻不能證明原本的工作狀態改變了。
一個每張 Ticket 都會被呼叫的 Agent,Usage 可以很高;但若人工確認、等待、返工與交接全都還在,Cycle Time 也可能完全不動。
平台團隊沒有再增加另一組大型 KPI。他們只替 Access Assistant 補上一個欄位:每次執行都要帶回原本的 Ticket ID。
Agent Execution: AE-28417
Task: INC-938251
接著只選一個工作結果來看:Manual Touch Count。
完成一張正常 Access Request,工程師實際還要碰幾次?
第一批資料沒有帶來好消息。Agent 使用率很高,但人工 Touch 幾乎沒下降。
不過問題終於變得可處理了:
Agent 已經判斷出申請類型,為什麼工程師還要再判斷一次?
答案不在模型能力。答案是結果沒有接進正式系統。
下一版沒有增加更長的 Prompt,也沒有多做一個 Agent。工程師確認後,Request Type 直接寫回 Ticket;必要核准自動建立;缺少 Training Record 的申請直接進入 Need Information,不必先排給工程師處理一次。
Access Assistant 的執行次數沒有因此暴增,MAU 也只小幅增加。
但正常權限申請終於少掉幾次人工處理。
月底的 Usage Dashboard 還在。它仍然回答「有多少人在使用」。
只是旁邊多了一條新的連線:
Agent Execution
↓
Task ID
↓
Manual Touch Count
九點零四分的 Agent 執行紀錄,終於和那張停在 Waiting for Approval 四十分鐘的 Ticket 被放在同一條時間線上。
平台第一次開始分得清楚:哪些只是有人用了,哪些真的讓工作少了一步。