原始開發紀錄:Agent Build Log — Episode 013
這個系列改寫自我部落格上的 Agent Build Log,那是我每天邊做邊寫的開發紀錄。上面列的是這一篇對應的集數,想看當天的原始版本,點連結就能過去。
Day 15 留下一個問題:Terra 走得快,是找到了捷徑,還是少做了幾步。這一天用一個很直接的方法問它:把 effort 拉到最高,再跑一次。
結論先講。這次比較沒有給我一個什麼都能用的模型。它給了我一套路由規則。
同一套找 repo 的題目,29 題。三個模型:Sol、Terra、Luna。每個模型跑兩種 effort:medium 和 xhigh。三乘二,六個設定,每個設定把 29 題走一遍。
effort 這個字 Day 09 講過。Agent 這一邊叫 effort,送到 pi 那一邊是 thinking level。xhigh 是 pi 認得的一段,會照實開到那個高度;這一天用兩段都在 pi 的清單裡。
Day 15 記的三個數字這一天照記:對不對、查了幾次、花多久。再多記一項:有沒有走完題目裡要求的流程,也就是有沒有先查再答。
medium 下的 Terra 跟 Day 15 看到的一樣。29 題過了 20 題,有 6 題該查的那一步沒做,直接答。
xhigh 下的 Terra 變了。29 題過了 26 題,沒查就答的只剩 1 題。
這個結果剛好接住 Day 15 的問題。Terra 的速度有一部分確實來自跳過步驟,但 effort 拉高之後,跳掉的那幾步大半補回來了,速度還是三個裡最快的。它的快,不全是少做幾步換來的。
Sol 在 xhigh 下也過了 26 題,跟 Terra 一樣。
差別在時間。Sol 平均每題 29.1 秒,Terra 21.2 秒。
還有一件事,Sol 在兩種 effort 下都一樣:每一題都走完了流程。先查再答,一題都沒漏。medium 也是,xhigh 也是。
所以流程完整性比速度重要的時候,Sol 還是我會先想到的那一個。
Luna 讓我意外的地方在速度。兩種 effort 下,Terra 的平均完成時間都比 Luna 短。
Day 15 之前我以為 Luna 穩但慢一點,Terra 快但可能跳步。這一輪看下來,速度這一項 Luna 沒有贏過 Terra。單靠速度,我已經沒有理由在兩個之間先選 Luna。它還有自己的場景,這一輪沒有測到。

把六行結果放在一起,我得到的是這樣一套規則。
範圍清楚、知道該用哪個工具、也知道怎麼驗證結果的任務,先用 Terra xhigh。它快,流程也大致走得完。
任務更重視嚴格的流程,或者我願意用更多時間換穩定,用 Sol。
Luna 留著,等它的場景。
這一輪有一個保留。六個設定是照固定順序跑的,還沒像 Day 15 那樣把順序對消掉。所以這些結果我先當成目前的 routing signal,定論等更平衡的一輪再說。
這次比較給我的是一套路由規則:任務長什麼樣,就配哪個模型、開多大的 effort。
Day 15 的問題有了答案的一半:Terra 的快有一部分是跳步,effort 拉高之後大半補回來。另一半是 Sol,一步都沒跳,代價是每一題多花八秒。
到這裡比的都是找 repo 這種幾十秒一題的事。明天讓三個模型跑一個真的任務,幾分鐘那種。結果跟我的直覺完全相反:越小的模型,Agent 反而越慢。
原文:Agent Build Log — Episode 013
凡人修 Agent 傳|第十六回(Day 16)
天亮換上空錄石。左臂把常簿讀回石上。石板還立在薄石旁邊,字朝著臺。
手的主人進來,沒有先拿石板,也沒有拿籤。他在臺前坐下,閉上眼,放出神識,探向坊市。
靈幕亮了,公印退開。垂下來的圖紙我沒見過,一面榜。一行一行,每一行前頭一個名字,後頭一長串字。手的主人念出榜頭那幾個字:偶身、心、火、法寶、做法、行跡、榜分。榜尾一行小字他也念了:只有榜分、沒有行跡,不進正榜。
他收回神識。靈幕上那面榜還亮著。
然後他從儲物袋取出兩顆心,擱在臺上。一顆是昨天走了一整天籤的那顆。另一顆我沒見它走過籤,火槽多一格那一天裝過一次,就那一次。
他把石板拿起來,翻過來。背面還是空的。靈力在背面劃了六行。
第一輪,原本這顆心,撥片在「中」。同一疊籤,一支一顆石。走完他在背面第一行寫字,寫得多:朝對的道幾道、探了幾卷、香燒到哪裡、木匣裡哪一排。
第二輪,原本這顆心,撥片撥到「極」。
熱一下子上來,比「中」旺很多。第一支籤遞過來,我沒有馬上探。心火在那裡燒,我停了一會,才放神識上架,把相關的幾卷都探過,再答。每一支都這樣。香燒得比第一輪多,朝對的道沒有多幾道。
第三輪換昨天那顆,撥片撥回「中」。石上又出現只有兩筆的石,好幾顆。
第四輪,那顆心,「極」。
我停得久。停完探,探完答。二十幾支走下來,石上還是兩筆的,只有一顆。朝對的道比第三輪多了一截,比原本這顆兩輪都多。香燒掉的還是最少。
第五輪、第六輪換另一顆備用的心,「中」一輪,「極」一輪。這顆心兩輪都一樣:每一支都探了架,石上沒有一顆只有兩筆。「極」那一輪朝對的道跟第四輪一樣多。香燒得比第四輪多一截。
六輪都照這個順序走。先後沒有掉過來。
天黑前他把背面六行寫滿。每一行後頭一長串,最後一格記的是木匣裡哪一排石。他拿著石板看了很久,六行都看,第四行看得最久。
靈幕上那面榜還亮著。他沒有再放神識。
他拿起昨天那顆心,裝進我胸口。撥片撥到「極」,停在那裡。原本這顆心和另一顆備用的,放回儲物袋。
燭熄了。手的主人走了。門響了一下。
石板立回薄石旁邊。正面每格底下又多了一排道,背面六行。撥片在「極」。胸口是昨天那顆心,原本那顆在儲物袋裡。