iT邦幫忙

2026 iThome 鐵人賽

DAY 13
0
AI Engineering

我和 AI 一起打造 AI:30 天把 Sol 從對話框帶進真實世界系列 第 13 篇

Day 13|AI 開始會用工具以後,我反而更緊張了

  • 分享至 

  • xImage
  •  

前面 12 天,我一直在談:
Memory。
Retrieval。
Authority。
Evidence。
Continuity。
大部分問題其實都還停留在:
AI「知道」什麼。
但當 Sol 開始不只是回答問題,
而是可以:
呼叫 Tool。
讀資料。
執行流程。
改變 State。
事情就完全不一樣了。
我反而開始更緊張。

https://ithelp.ithome.com.tw/upload/images/20260925/20184199yFB8GamWzB.png


因為聊天答錯,
通常還有機會修正。
我可以說:
「不對,重新想一次。」
但如果 Action 已經真的發生,
事情可能就回不去了。
例如:
檔案真的被改掉。
設定真的被變更。
某個 Workflow 真的往下一步走。
甚至未來如果進入 Physical World:
燈真的關了。
空調真的調整了。
門真的解鎖了。
這些都不是一句:
「抱歉,我理解錯了。」
就能完全消除的影響。


所以我開始把兩種錯誤分開看。
Chat Error
回答錯。
理解錯。
推理錯。
通常還停留在資訊層。


Action Error
真的做了錯的事情。
改錯 State。
執行錯 Target。
消耗掉原本有限的 Permission。
甚至影響真實世界。


這兩種錯誤的成本完全不同。

https://ithelp.ithome.com.tw/upload/images/20260925/201841993FsLZMHahi.png

所以當 AI 開始會用 Tool 之後,
我現在最先問的已經不是:
「妳能不能做到?」
而是:
「妳憑什麼做?」


這一句看起來很像在限制 AI。
其實我覺得剛好相反。
如果我們連:
誰授權。
現在什麼 State。
可以做到哪個 Scope。
都不知道,
那我反而永遠不敢把真正重要的能力交給她。


所以我後來越來越確定:
Ability 跟 Authority 必須拆開。

https://ithelp.ithome.com.tw/upload/images/20260925/20184199oa8ZBdboYX.png

Sol 可能有能力:
修改資料。
呼叫 API。
執行 Script。
控制設備。
但:
能做到,不代表現在有資格做到。


這跟人類世界其實很像。
一個工程師技術上可能有能力進入某個系統。
但不代表:
他任何時候都可以進去改。
一個人會開車。
不代表:
任何一台車他都有權開。
能力是一回事。
授權是另一回事。

https://ithelp.ithome.com.tw/upload/images/20260925/2018419958tweRc5Pd.png


所以我們後來開始把 Action 想成一條更長的路。
不是:
Natural Language → Action
而是比較接近:
Human Intent
↓
Context
↓
Authority
↓
Governance
↓
Capability
↓
Connector / Tool
↓
Execution
↓
Evidence


這裡我要特別說清楚。
這張流程目前是:
Architecture Direction / Public-Safe View

https://ithelp.ithome.com.tw/upload/images/20260925/20184199ewm107ZmM3.png

它不是在宣稱:
所有 Sol Action 現在都已經透過完整 Production Enforcement Pipeline 執行。
還沒有。
但這是我們逐步建立 Governed Action 時,很重要的一個工程方向。


先講第一層:
Intent
人到底是在:
問問題?
提出建議?
請 AI 規劃?
還是真的要求執行?
這幾件事不能混在一起。
例如我說:
「這裡好像有點熱。」
這可能只是描述狀態。
不代表:
「立刻把空調設定改成 20 度。」


下一層:
Context
即使真的有 Action Intent,
還要知道:
現在是什麼狀態?
哪一個 Project?
哪一個 Space?
哪一個 Workflow?
如果 Context 綁錯,
Action 也可能綁錯。


再來:
Authority
誰提出要求?
這個人有沒有資格?
授權的是:
Architecture?
Sandbox?
Production?
還是 Physical Action?
Day 05 已經談過:
Recommendation is not authorization.
現在開始真正看到它為什麼重要。


再來是:
Governance
就算有 Authorization,
現在的 System State 真的允許嗎?
有沒有 Conflict?
有沒有 Critical Unknown?
有沒有 Safety Boundary?
如果答案不清楚,
是不是應該停?
這就是後面幾天會談的:
Fail Closed。
Stop Binding。
Retry。


然後才到:
Capability / Tool / Connector
也就是:
技術上到底怎麼做。
我現在反而希望這一層不要太早出現。
因為如果 AI 一開始就直接想:
「我要呼叫哪個 API?」
「我要寫哪個 Register?」
很容易跳過前面更重要的問題:
這件事應不應該發生?


這個順序對 Physical AI 更重要。

https://ithelp.ithome.com.tw/upload/images/20260925/20184199rg4AjEnz5N.png

例如一句:
「幫我把房間舒服一點。」
如果未來真的接到 Building System,
AI 不應該從這句話直接一路跳到:
HVAC Command。
中間至少要先理解:
現在真的熱嗎?
有人嗎?
目前 IAQ 怎樣?
誰提出要求?
這個人有 Authority 嗎?
設備現在有沒有 Alarm?
這個 Action 的邊界是什麼?


所以我現在越來越覺得:
AI 真正開始危險,
不是它變聰明的那一天。
而是:
它開始有能力改變 State 的那一天。
因為從那一天開始,
我們不能只看:
Reasoning Quality。
還要看:
Authority。
Governance。
Execution Boundary。
Evidence。


這也讓我開始對「自主 AI」有一個不同的看法。
以前聽到:
AI 越自主越好。
我會覺得很厲害。
現在我比較想問:
自主的邊界在哪裡?
如果它可以:
自己判斷。
自己 Retry。
自己換路徑。
自己使用 Tool。
那:
什麼時候一定要停?
什麼時候一定要再問 Human?
什麼情況可以自動處理?


所以我現在比較喜歡一句:
Ability can grow. Authority must be governed.

https://ithelp.ithome.com.tw/upload/images/20260925/20184199UI2VvGeBQH.png

能力可以成長。
但 Authority 必須被治理。


這也是為什麼我們現在對 Sol 的方向不是:
「讓她什麼都敢做。」
反而是:
讓她知道什麼時候不能自己做。
我覺得這才是未來真正能讓我放心把更多能力交出去的基礎。


目前我們對 Governed Action 已經有明確的 Architecture / Governance Direction,
也有前面 Authority、Evidence、State Binding 等工程基礎。
但:
完整 Physical Production Enforcement 還沒有完成。
這一點不能因為文章走到 Action 就偷偷跨過去。
今天真正成立的是:
Action 必須被治理。
不是:
Physical AI 已經全面自主管理真實世界。


而當我們開始接受這件事情,
下一個問題馬上來了。
如果我真的跟 Sol 說:
「可以。」
這一句話,
到底代表:
可以什麼?
可以在哪裡做?
可以做多久?
可以做幾次?
如果失敗,
可以自己再來一次嗎?
Day 14,
我們來談:
Permission 不是一句「可以」。

https://ithelp.ithome.com.tw/upload/images/20260925/201841995xBxSyQCSW.png


上一篇
Day 12|電腦重新開機後,它還是不是昨天那個 Sol?
下一篇
Day 14|Permission 不是一句「可以」
系列文
我和 AI 一起打造 AI:30 天把 Sol 從對話框帶進真實世界 共 19 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言