iT邦幫忙

2026 iThome 鐵人賽

DAY 10
0
AI Engineering

我和 AI 一起打造 AI:30 天把 Sol 從對話框帶進真實世界系列 第 10 篇

Day 10|同一件事有三個版本,Sol 到底該相信誰?

  • 分享至 

  • xImage
  •  

昨天寫到最後,我留了一個問題。
假設同一個 Architecture 有:
V1。
V2。
V3。
三份資料都是真的。
搜尋系統也全部找到了。
那接下來:
Sol 到底該相信誰?
以前我很容易覺得:
最新版就好。
但真的開始做之後,我發現這個問題沒有那麼簡單。
因為:
最新,不一定等於有效。
而:
舊,也不一定等於錯。

https://ithelp.ithome.com.tw/upload/images/20260922/20184199GQMBVSefEI.png


先講一個最簡單的情況。
V1 是我們最早提出的架構。
後來發現問題,改成 V2。
再經過測試、Human Review,最後 V3 被正式採納。
那今天問:
「目前正式架構是什麼?」
答案當然應該是:
V3

https://ithelp.ithome.com.tw/upload/images/20260922/20184199Whr8KmUN9b.png

但這不代表 V1、V2 應該消失。
因為它們仍然代表:
我們以前真的怎麼想。
為什麼後來改。
哪一個假設失敗。
哪個方向被放棄。


所以我後來開始把兩件事情分開。
Historical Truth
某個時間點,它曾經是真的。
跟:
Current Truth
現在,它還是不是有效答案。
這兩件事情不能混在一起。

https://ithelp.ithome.com.tw/upload/images/20260922/2018419901fAT3iu2i.png


這其實是 AI Memory 很容易出錯的地方。
如果你把歷史全部刪掉,
AI 可能失去:
決策脈絡。
演進原因。
錯誤歷史。
為什麼現在會變成這樣。
但如果全部保留,
又沒有標清楚哪一份已經失效,
AI 就很容易:
把過去當成現在。


所以我們後來在 Context Search Sandbox 裡開始處理:
Authority / Supersession
目前這套處理方式是在:
Context Search Sandbox Scope
裡做驗證。
我不會把它寫成:
「Sol 現在所有 Memory 都已經全面受同一套 Authority Resolver 管理。」
還沒有。
但這個 Sandbox 已經讓我們實際驗證一件重要的事情:
搜尋到,不等於可以直接相信。


Authority 在這裡問的是:
這份資料現在有沒有資格被當成正式依據?
Supersession 問的是:
它是不是後來已經被另一份內容取代?


例如:
V1
HISTORICAL
V2
SUPERSEDED
V3
CURRENT / APPROVED
這三份都可以留。
但 AI 使用它們的方式應該不一樣。

https://ithelp.ithome.com.tw/upload/images/20260922/20184199RdybdyfH0Z.png


如果今天我問:
「這個 Architecture 是怎麼演進的?」
那 V1、V2、V3 都有價值。
因為我要的是:
History
但如果我問:
「現在應該依哪一版執行?」
那答案就不能把三份混在一起。
我要的是:
Current Authority


這件事情看起來像版本管理。
但其實不只版本。
很多 Knowledge 都會遇到同樣問題。
例如:
一個早期假設。
一個暫時決策。
一個測試結果。
一個正式 Approval。
一個後來被撤回的結論。
這些資料:
都是真的。
但:
真實,不代表現在仍然有效。


這句話對我來說很重要。
因為 AI 很容易把:
「我找到一段真的內容」
變成:
「這就是現在的答案。」
中間其實少了一層:
Authority Resolution


所以我們開始希望 Search System 在 Retrieval 之後,不只回傳:
「這一段很相關。」
而是一起帶回:
State。
Authority。
Supersession。
Provenance。
Time。
讓 Sol 知道:
這一份是 Current。
這一份只是 Historical。
這一份已經 Superseded。
這一份還只是 Candidate。

https://ithelp.ithome.com.tw/upload/images/20260922/20184199dtThIHLcA1.png


這樣做還有一個好處。
我們不用為了避免混亂,把舊資料全部刪掉。
我其實很不喜歡:
「舊的就刪掉。」
因為有些失敗的版本,未來反而非常重要。
它可以告訴我們:
以前試過。
為什麼失敗。
哪個假設已經被推翻。
某個問題是不是又重新出現。
這些都是長期 AI System 很有價值的 Knowledge。

https://ithelp.ithome.com.tw/upload/images/20260922/20184199pniyQQRoRG.png


所以我現在比較喜歡的方式是:
Preserve history.
但同時:
Resolve current authority.
保留歷史。
但不要讓歷史冒充現在。


這件事情對 Ronnie × Sol 的合作也很實際。
有時候我自己都會忘記:
「我們之前不是說要這樣嗎?」
Sol 找回舊資料後,
如果只回答:
「對,之前確實這樣決定。」
其實還不夠。
真正好的回答應該是:
「對,當時是這樣決定。」
然後繼續告訴我:
「但後來在某一次 Review 中,這個決策已經被新的版本取代。」
這才是我真正想要的 Continuity。
不是:
永遠記得以前。
而是:
記得以前,也知道現在已經不一樣。

https://ithelp.ithome.com.tw/upload/images/20260922/201841994Y1LrJRhWk.png


這件事情做到後來,我慢慢發現:
AI 的 Knowledge 問題不只是:
「記不記得?」
也不是:
「找不找得到?」
還有一個更深的問題:
它知道哪一份目前有權威嗎?


所以昨天講:
Search needs authority.
今天我會把它說得更精確一點:
Retrieval needs authority resolution.
因為相關度只是其中一個排序條件。
Current Truth 還需要:
State。
Supersession。
Human Decision。
Evidence。


這也讓我開始重新理解「AI 很有記憶」這件事。
一個真正可信的長期 AI,
不是:
所有東西都記得。
而是:
知道哪些東西只是過去。
哪些東西仍然有效。
哪些東西不確定。
哪些東西還在等待 Human Review。


做到這裡,我以為事情已經很完整了。
Memory 有了。
Retrieval 有了。
Authority / Supersession 也開始有了。
結果我們後來遇到一個更麻煩的情況。
有一次我們很認真地找一份原始來源。
Search 找到很多相關 Candidate。
內容也很像。
Context 也對。
但問題是:
沒有任何一份 Evidence 足以證明它就是我們要找的 Canonical Source。
這時候 AI 最危險的事情是什麼?
不是:
找不到。
而是:
為了回答,硬選一個最像的。
Day 11,
我要談一件我覺得非常重要的事:
找不到,就是找不到。

https://ithelp.ithome.com.tw/upload/images/20260922/20184199o7TEBFDd1N.png


上一篇
Day 09|AI 明明記得,為什麼就是找不到?
下一篇
Day 11|找不到,就是找不到:AI 不可以為了回答而假裝找到
系列文
我和 AI 一起打造 AI:30 天把 Sol 從對話框帶進真實世界 共 19 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言