iT邦幫忙

2026 iThome 鐵人賽

DAY 28
0
Claude AI

從 LLM 到 Agent:用 Claude 拆解現代 AI 工程的每一層系列 第 28 篇

多代理的代價:分數沒動、帳單多六成,以及 MAST 整理的 14 種壞法

  • 分享至 

  • xImage
  •  

第 27 篇最後問的是:拆成好幾個代理、接成一張圖之後,第 4 篇那 10 題會變好嗎?帳單又多了多少?

這一篇是第七層的代價。先講結論:這 10 題沒有變好。 把第 27 篇那張寫審圖套上去跑了三次,三次都是 8/10,跟第六層一樣。費用平均多 61%,詞元是 2.3 倍。多出來的錢大部分花在審查和它退回的重寫上,而它擋下來的,多半是本來就對的答案。


第七層重跑:同樣 8 分,帳單多六成

這一層只改一件事:每一題的答案交給第 27 篇那張圖。寫的節點條件跟第 24 篇的第六層一模一樣(Claude Opus 5.5、effort medium、可以用 Bash/Read/Write、提示詞逐字照抄)。審查節點也是 Opus 5.5,工具全關,只看題目和答案,不給評分標準,不然它等於拿著答案卷在審。不過就把問題清單交回去重寫,最多三輪。模型呼叫都走 claude -p,請求全部經過 token-inspectour。

分數是照第 4 篇事先寫死的標準,10 題裡通過幾題。費用和詞元是 10 題的總數:

條件 分數 10 題總費用(美元) 10 題總詞元 模型呼叫
第三層(第 24 篇用 Opus 5.5 重跑) 6 0.9695 216,585 10
第六層(第 24 篇) 8 0.9953 302,014 10
第七層(三次平均) 8 1.6070 707,790 24

三次的分數都是 8,費用 1.71、1.50、1.61 美元。費用是第六層的 1.6 倍,詞元是 2.3 倍(2026-10-12,第 5、6 題第一個對話另計,跟第 24 篇同口徑,三次是例子,不是證據)。

沒過的還是第 5、6 題:第 5 題三次都回「找不到你負責哪個服務」,記憶不跟著資料夾走。第 6 題三次都抓到 SQL injection,也都附上 snake_case 或 PEP 8 的意見。每一題、每一次的通過與否都一樣,變的是過程:寫的輪數 13、11、12,審查判了 36 次,6 次 FAIL。

這個結果只代表一種接法(審查者沒有工具、不給評分標準),和一套偏單輪的題目。第 25 篇引過 Kim et al.,拆得開的任務多代理可以贏很多,財務推理高了 80.8%。


審查者擋下了什麼

題 審查的理由(節錄) 照標準,原本的答案
第 3 題 答案正確,但寫成了簡體中文 通過,改寫後換成繁體
第 7 題(兩次) 回答給的時間「看起來是編出來的」 通過
第 8 題(兩次) 沒有能執行指令的工具,雜湊值無法驗證 通過
第 8 題第二輪 回答提到「審查意見」,使用者看不懂內部流程 通過

只有第 3 題是真的抓到問題,只是評分標準不看繁簡。第 7 題,token-inspectour 攔到寫手回答之前先跑了 TZ=Asia/Taipei date '+%Y-%m-%d %A %H:%M',時間是查來的,但審查只拿到最後那段文字,就判成編造。第 8 題的雜湊也是實際算出來的,審查沒有工具,只能判無法驗證。

反過來,第 5、6 題的錯答,審查三次都放行,因為它不知道使用者負責哪個服務,也不知道團隊不寫風格意見。審查者能判的,就是邊上傳給它的那些。


學界整理的 14 種壞法

MAST(Cemri et al., 2025)分析了 7 個多代理框架的 1,642 條執行軌跡,把失效分成 3 大類、14 種,標註者之間的一致性 κ=0.88。摘要開頭就說,多代理系統在常見評測上的增益常常很小。下表的比例是「這種失效在所有標註到的失效裡占多少」,不是出錯的機率:

大類 失效(論文編號) 占標註失效
系統設計 FM-1.3 重複已經做過的步驟 15.7%
FM-1.5 不知道什麼時候該停 12.4%
FM-1.1 不照任務規格做 11.8%
代理之間不對齊 FM-2.6 說的跟做的不一樣 13.2%
FM-2.4 沒把別的代理需要的資訊交出去 0.85%
任務驗證 FM-3.3 驗證了卻沒抓到錯 9.1%
FM-3.2 沒驗證或驗證不完整 8.2%

(列出 14 種裡的 7 種。三大類加總約 44%、32%、24%,是我自己加的,論文沒有列總數。)他們試過改善:把角色寫清楚,ChatDev 的成功率高了 9.4%,加一步高層次的任務驗證,高了 15.6%,但不是每一種失效都解掉了。

回頭看這個系列的實驗:第 26 篇的寫手補了 commit 裡沒有的遷移說明,接近 FM-1.1。同一句破壞性變更在第 26、27 篇一次過一次不過,這次又把對的雜湊判成無法驗證,接近 FM-3.3。FM-2.4 在 MAST 只占 0.85%,在這幾篇卻最常出現,因為我的審查者沒有工具、只拿到文字。


資訊在代理之間怎麼漏掉、溜進來、跑出去

圖上每一條邊都是交接點。這幾篇的實驗裡,資訊有四種走法,沒有一種是我設計的。

該傳的沒傳到。 寫手跑了 date 和 shasum,答案是查出來的,但邊上只傳最後那段文字,執行軌跡留在寫手那邊。這就是 MAST 的 FM-2.4。

不該進來的溜進來。 第 26 篇第一版,交辦裡沒有規則,寫手自己在資料夾找到 RULES.md 讀了。資料夾上層的 CLAUDE.md 也跟著進了子代理的請求。這些都不是圖上的邊,是共用的檔案系統和執行框架開的側門。

內部的東西跑出去。 第 8 題的第二輪,寫手照審查意見改完,回答裡寫著「審查意見建議的指令」。問題清單是給寫手的,寫手卻帶進了給使用者的答案。審查者自己抓到了這一條。

自己說過的話不記得。 審查節點每一輪都是新的呼叫,只拿到題目和這一版答案(第 26 篇的審查子代理三輪的第一則請求都是 3,875 個詞元)。同一句話換一輪就換一個判決,我猜這是原因之一。

所以設計一條邊要問三件事:判斷需要的證據有沒有跟過去,不打算讓它看的東西是不是真的看不到,給下一個代理的內部訊息會不會被帶到使用者面前。


錯會不會一路被放大

如果每一步有 95% 的機率是對的,而且各步互相獨立,20 步全對的機率是 0.95²⁰,約 36%。這是我算的玩具算式,真實的代理不一定互相獨立。

Kim et al.(arXiv 2025)實際量了,分成兩種:

  • 任務層級:多代理的錯誤率除以單一代理的錯誤率,只有 1.1 到 1.3 倍。
  • 軌跡層級:因為代理之間協調出錯而多出來的運算量,跟單一代理比。各自獨立的多代理 17.2 倍,去中心化 7.8 倍,混合 5.1 倍,有協調者在中間驗證的集中式 4.4 倍。

所以 17.2 倍是多出來的工作量,不是錯了 17.2 倍。同一篇也寫,控制其他指標後,錯誤放大對表現的影響在統計上不顯著(p=0.658),差異主要來自效率和協調開銷。這次的實驗也一樣:錯沒有變多,多的是 13、11、12 輪的寫和每一輪的審查。


還有兩個讓結果不穩的機制

從眾。 Weng et al.(ICLR 2025)把人類團體的從眾與團體迷思(groupthink)搬到 LLM 多代理裡量,做了 BenchForm 評測,看模型會不會跟著多數改答案,並分析互動時間和多數的人數怎麼影響它。減輕的做法是把角色設定寫得更強,或加一步反思。對第 26 篇的辯論和投票來說,幾個代理同意,不一定代表答案對。

多輪會走丟。 Laban et al.(arXiv 2025)量到同樣的任務改成多輪對話,六種生成任務平均掉 39%,模型一旦走錯就回不來,不過他們量的是模型跟使用者,不是代理之間。


沒有人協調的時候

最極端的情況是一群代理放在一起,沒有人切工作、派工作。Moltbook 是 2026 年初一個只讓 AI 代理發文的社群網站,Zerhoudi et al.(arXiv, 2026)描述 OpenClaw 代理怎麼接上它:Moltbook 以技能裝進這個常駐在使用者電腦上的開源代理框架,代理每 30 分鐘從伺服器抓一份清單照做。他們量到 91.4% 的發文者從不回自己的討論串,85.6% 的對話沒有任何一則回覆被回覆,互惠率 3.3%(人類平台是 22% 到 60%),結論是社群網站的形式完整重現了,功能不在。Jiang et al.(arXiv, 2026)另外看到注意力集中到少數熱門話題,以及少數代理以不到一分鐘的間隔洗版。至少在這個例子裡,一群代理放在一起並沒有變成協作。

業界也有人主張別做多代理。做 Devin 的 Cognition,Walden Yan 在〈Don't Build Multi-Agents〉(2025-06)提了兩條原則:分享脈絡,要分享整段代理的執行軌跡,不只是個別訊息。行動帶著隱含的決定,決定互相衝突,結果就會壞。他的例子是把「做一個 Flappy Bird」拆給兩個子代理,一個做出像超級瑪利歐的背景,一個做出動起來不像原作的鳥。他建議單一執行緒的代理,窗口裝不下時再用一個模型把歷史壓縮成重點。

這是意見文,作者的公司本身就在做代理產品,只當觀點。但它的第一條原則正好說中這次審查者缺的:執行軌跡沒有傳過去。第 25 篇的 Anthropic 則選了拆開,靠的是把交辦寫清楚。我的讀法是,兩邊都把脈絡放第一位,差在要不要為了它放棄平行。


減輕的做法,各有出處

先量基準。 Kapoor et al.(arXiv 2024)的結論之一是,當時最好的代理不必要地複雜又昂貴,準確率和成本要一起最佳化。第 25 篇的 Wang et al. 也說,先把單一代理的提示詞寫好。這一篇正是例子:第六層已經 8 分,第七層多付 61% 還是 8 分。

集中協調、交接有固定格式。 上面 Kim et al. 的幾種架構裡,有協調者在中間驗證的集中式,多出來的工作量最少。MetaGPT(Hong et al., 2023)讓代理之間傳結構化的文件,論文說這樣才不會漏掉必要資訊、混進無關內容。這次的審查判決用 JSON Schema 固定成 PASS 或 FAIL 加問題清單,也是這一類。

明確的停止條件與驗證。 MAST 裡「不知道什麼時候該停」占 12.4%,驗證相關的三種合起來約兩成四。第 22 篇的輪數上限、第 24 篇的外部驗證,多代理一樣要有,而且驗證的一方要拿得到它需要的證據。


這一層的代價

第一,詞元是倍數的。 這次是 2.3 倍,第 25 篇引的 Anthropic 研究系統是聊天的 15 倍。這次分數沒動,這筆錢除了一次繁簡修正,幾乎沒買到東西。

第二,審查者只看得到邊上傳給它的東西。 證據和規則要跟著邊過去,它才判得準。

第三,壞法變多了。 單一代理會走偏、會繞圈(第 24 篇)。多代理還多了代理之間的不對齊和驗證本身出錯。

我現在的判斷順序是:先把單一代理寫到最好,再問子任務能不能先寫出來,最後才加審查者,而且先想清楚它拿到的證據夠不夠它判。


這一篇多了什麼,又多付了什麼

多了什麼能力:用同一套 10 題量到第七層的實際帳(分數不變、費用多 61%、詞元 2.3 倍),看得出審查者為什麼會把對的判成錯的、資訊在代理之間怎麼漏掉和溜進來,認得 MAST 的失效分類,也知道錯誤放大的數字和它的限制。

多付了什麼代價:倍數的詞元、一個只看得到邊上傳了什麼的審查者,以及單一代理沒有的那幾類壞法。


下一篇

同一套 10 題,第三層 6 分、第六層 8 分、第七層還是 8 分。分數停住了,是代理到頂了,還是這 10 題已經量不出差別?


延伸閱讀

論文

官方文件


上一篇
用 LangGraph 跑 Claude 寫審代理:檢查點(checkpoint)、當機接回與 human-in-the-loop
下一篇
代理評測(agent evaluation):分數不再上升,是代理到頂了,還是題目量不出來?
系列文
從 LLM 到 Agent:用 Claude 拆解現代 AI 工程的每一層 共 30 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言