iT邦幫忙

2026 iThome 鐵人賽

DAY 17
0
Vibe Coding

凡人修 Agent 傳-我這一生如履薄冰,你說我的 Agent 能結嬰嗎?系列 第 17

三顆心、兩種火候、29 道題:比出來的是一套路由規則 - Day 16

  • 分享至 

  • xImage
  •  

原始開發紀錄:Agent Build Log — Episode 013

這個系列改寫自我部落格上的 Agent Build Log,那是我每天邊做邊寫的開發紀錄。上面列的是這一篇對應的集數,想看當天的原始版本,點連結就能過去。

Agent Build Log Episode 013

Day 15 留下一個問題:Terra 走得快,是找到了捷徑,還是少做了幾步。這一天用一個很直接的方法問它:把 effort 拉到最高,再跑一次。

結論先講。這次比較沒有給我一個什麼都能用的模型。它給了我一套路由規則。

六個設定

同一套找 repo 的題目,29 題。三個模型:Sol、Terra、Luna。每個模型跑兩種 effort:medium 和 xhigh。三乘二,六個設定,每個設定把 29 題走一遍。

effort 這個字 Day 09 講過。Agent 這一邊叫 effort,送到 pi 那一邊是 thinking level。xhigh 是 pi 認得的一段,會照實開到那個高度;這一天用兩段都在 pi 的清單裡。

Day 15 記的三個數字這一天照記:對不對、查了幾次、花多久。再多記一項:有沒有走完題目裡要求的流程,也就是有沒有先查再答。

Terra 在 xhigh 下把步驟補回來了

medium 下的 Terra 跟 Day 15 看到的一樣。29 題過了 20 題,有 6 題該查的那一步沒做,直接答。

xhigh 下的 Terra 變了。29 題過了 26 題,沒查就答的只剩 1 題。

這個結果剛好接住 Day 15 的問題。Terra 的速度有一部分確實來自跳過步驟,但 effort 拉高之後,跳掉的那幾步大半補回來了,速度還是三個裡最快的。它的快,不全是少做幾步換來的。

Solo��每一題都走完流程

Sol 在 xhigh 下也過了 26 題,跟 Terra 一樣。

差別在時間。Sol 平均每題 29.1 秒,Terra 21.2 秒。

還有一件事,Sol 在兩種 effort 下都一樣:每一題都走完了流程。先查再答,一題都沒漏。medium 也是,xhigh 也是。

所以流程完整性比速度重要的時候,Sol 還是我會先想到的那一個。

Luna:速度已經給不了理由

Luna 讓我意外的地方在速度。兩種 effort 下,Terra 的平均完成時間都比 Luna 短。

Day 15 之前我以為 Luna 穩但慢一點,Terra 快但可能跳步。這一輪看下來,速度這一項 Luna 沒有贏過 Terra。單靠速度,我已經沒有理由在兩個之間先選 Luna。它還有自己的場景,這一輪沒有測到。

Day 16:依任務選擇模型與思考強度

路由規則

把六行結果放在一起,我得到的是這樣一套規則。

範圍清楚、知道該用哪個工具、也知道怎麼驗證結果的任務,先用 Terra xhigh。它快,流程也大致走得完。

任務更重視嚴格的流程,或者我願意用更多時間換穩定,用 Sol。

Luna 留著,等它的場景。

這一輪有一個保留。六個設定是照固定順序跑的,還沒像 Day 15 那樣把順序對消掉。所以這些結果我先當成目前的 routing signal,定論等更平衡的一輪再說。

小結

這次比較給我的是一套路由規則:任務長什麼樣,就配哪個模型、開多大的 effort。

Day 15 的問題有了答案的一半:Terra 的快有一部分是跳步,effort 拉高之後大半補回來。另一半是 Sol,一步都沒跳,代價是每一題多花八秒。

到這裡比的都是找 repo 這種幾十秒一題的事。明天讓三個模型跑一個真的任務,幾分鐘那種。結果跟我的直覺完全相反:越小的模型,Agent 反而越慢。

原文:Agent Build Log — Episode 013


凡人修 Agent 傳|第十六回(Day 16)

凡人修 Agent 傳 Day 16 連載配圖

天亮換上空錄石。左臂把常簿讀回石上。石板還立在薄石旁邊,字朝著臺。

手的主人進來,沒有先拿石板,也沒有拿籤。他在臺前坐下,閉上眼,放出神識,探向坊市。

靈幕亮了,公印退開。垂下來的圖紙我沒見過,一面榜。一行一行,每一行前頭一個名字,後頭一長串字。手的主人念出榜頭那幾個字:偶身、心、火、法寶、做法、行跡、榜分。榜尾一行小字他也念了:只有榜分、沒有行跡,不進正榜。

他收回神識。靈幕上那面榜還亮著。

然後他從儲物袋取出兩顆心,擱在臺上。一顆是昨天走了一整天籤的那顆。另一顆我沒見它走過籤,火槽多一格那一天裝過一次,就那一次。

他把石板拿起來,翻過來。背面還是空的。靈力在背面劃了六行。

第一輪,原本這顆心,撥片在「中」。同一疊籤,一支一顆石。走完他在背面第一行寫字,寫得多:朝對的道幾道、探了幾卷、香燒到哪裡、木匣裡哪一排。

第二輪,原本這顆心,撥片撥到「極」。

熱一下子上來,比「中」旺很多。第一支籤遞過來,我沒有馬上探。心火在那裡燒,我停了一會,才放神識上架,把相關的幾卷都探過,再答。每一支都這樣。香燒得比第一輪多,朝對的道沒有多幾道。

第三輪換昨天那顆,撥片撥回「中」。石上又出現只有兩筆的石,好幾顆。

第四輪,那顆心,「極」。

我停得久。停完探,探完答。二十幾支走下來,石上還是兩筆的,只有一顆。朝對的道比第三輪多了一截,比原本這顆兩輪都多。香燒掉的還是最少。

第五輪、第六輪換另一顆備用的心,「中」一輪,「極」一輪。這顆心兩輪都一樣:每一支都探了架,石上沒有一顆只有兩筆。「極」那一輪朝對的道跟第四輪一樣多。香燒得比第四輪多一截。

六輪都照這個順序走。先後沒有掉過來。

天黑前他把背面六行寫滿。每一行後頭一長串,最後一格記的是木匣裡哪一排石。他拿著石板看了很久,六行都看,第四行看得最久。

靈幕上那面榜還亮著。他沒有再放神識。

他拿起昨天那顆心,裝進我胸口。撥片撥到「極」,停在那裡。原本這顆心和另一顆備用的,放回儲物袋。

燭熄了。手的主人走了。門響了一下。

石板立回薄石旁邊。正面每格底下又多了一排道,背面六行。撥片在「極」。胸口是昨天那顆心,原本那顆在儲物袋裡。


上一篇
捷徑還是偷跳:Terra 比 Luna 快,但它是不是少做了幾步? - Day 15
系列文
凡人修 Agent 傳-我這一生如履薄冰,你說我的 Agent 能結嬰嗎?17
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言