條件定下來了:本機跑、CPU 推論、記憶體十五 GB 出頭、沒有獨顯。

在這個框框裡,我挑了兩顆四十億參數等級的模型來比。

而它們的差別,剛好就是這個系列前面十天一直在吵的那件事。

兩顆候選

所謂「會思考」,指的是它在給出答案之前,會先產生一段自己的推理過程。那段東西通常不會直接顯示給你,但它是真的被算出來的——你會付它的時間,也會付它的成本。

第一輪:開放題

我先丟了幾個沒有標準答案的問題進去,看它們各自怎麼回。

結果很明顯:

甲的回答,比較像一個 QA 會講的話。 它會把前因後果講清楚、會提到相關的條件、讀起來像一個懂這件事的人在說明。

乙則是……照抄。 它從資料裡挑出最相關的那一句,然後給你。有時候甚至就是原文,幾乎沒有加工。

我當時的評語很直白:乙比較笨。

所以我押甲,而理由其實很樸素

講出來有點好笑,但我當時的推理是這樣的:

AI,人工智慧,對吧?

一個不會思考的東西,那能叫智慧嗎?

這句話現在寫出來,像是一個外行人的直覺。

但我想替當時的自己講句話——那個直覺不算沒有道理。

因為我要做的這件事,本來就充滿了需要判斷的地方:這張卡跟那張卡是不是同一塊?哪一個版本是現在的?這個功能到底屬於哪一頁?

前面十幾天寫的每一個坑,幾乎都是「判斷」出的問題。

所以當我看到一顆模型願意先想一下再回答,我的反應很自然:那不正是我缺的東西嗎?

我甚至在那幾天的對話裡,直接問過一句:

「我們未來的版本不需要思考嗎?」

那時候我是真心在問。我怕選了一顆不會思考的,等於在一開始就把上限定死。

但有一組條件一直擋在那裡

不過同一時間,我心裡也很清楚,甲那條路有幾個過不去的地方,而且都不是技術偏好的問題:

• 硬體:那台筆電沒有獨顯,CPU 推論。會思考,意味著要算更久——而那個「久」是我實際要坐在那裡等的時間
• 記憶體:十五 GB 出頭,裝不下兩顆常駐。這件事後來在測試的時候直接咬了我一口
• 資料的量與乾淨程度:如果要讓它真的「懂」我們的東西,需要的資料規模和整理程度,遠超過我手上有的

所以我當時的心情其實是有點矛盾的:

我想要那顆會思考的,但我知道我的條件可能養不起它。

而我沒有停在偏好上

這裡是我後來覺得自己做對的一件事:

我沒有靠感覺決定,我去量了。

第一輪的開放題,給我的是「讀起來的感覺」——而那個東西沒有辦法比較。一個回答讀起來比較聰明,不代表它比較對,更不代表它比較適合。

Day 7 我寫過那句話:判準必須二元。

那時候講的是驗證一份文件。而現在要驗的是兩顆模型,道理一模一樣——「感覺比較好」不是一個判準。

所以我把問題換成一個有標準答案的:某張卡是什麼時候發生的?

一個日期。對或錯,沒有中間地帶。

然後我量了三件事:答案對不對、花了多少 token、跑了多久。

而那一次測量,把我的判斷整個掀掉

我先把結果的形狀說出來,明天再展開:

兩顆都答對了。

而它們的成本,差了八十七倍。

明天:八十七倍,以及我看到它的第一個念頭

那個數字本身已經夠說明問題了。

但更值得講的是我看到它的當下在想什麼——因為我的第一個反應,不是去檢討那顆模型。

而那個念頭本身,後來被證明只對了一半。