Day 17 定了架構:推理在建置期做完,查詢時只要一顆小模型把現成的事實講成人話。

那下一個問題就很具體了:那顆小模型,從哪裡來?

而我最早的想法,其實一點都不硬派。我當時寫的是:

「我是希望能夠套用目前市面上免費的 LLM 模型做修改,達到這個目的。」

市面上免費的方案不少,額度也夠用。這是最省事的一條路——不用裝東西、不用管硬體,申請一個金鑰就能開始。

而我最後一個都沒有申請。

三個讓我停下來的理由

一、今天免費,不代表明天免費

這個東西如果做起來了,它要活很久——它是給新人用的,而新人會一直有。

而免費額度的性質,大家都知道:它是一個商業決定,不是一個承諾。 今天給你一個月多少次,明年可能砍半,也可能整個收掉。

如果整套東西的核心依賴一個隨時會變的條件,那我等於是在別人的行事曆上蓋房子。

Day 13 我寫過一條規則:一個知識庫的可用性,不會高於它最脆弱的那個依賴。

當時我講的是「綁在我的筆電上」。而綁在一個免費方案上,性質是一樣的——只是那個開關不在我手上,在別人手上。

二、申請這個動作本身,就要先交出東西

這一條比較少人講,但它是實際讓我停手的那一個。

要拿到免費額度,你得先註冊。而註冊要填什麼?

我不確定。

可能是一個郵件地址,可能要綁一張卡,可能要填公司名稱、用途、規模。每一家不一樣,而且條款會改。

而我要用這個東西做的是公司的專案——這意味著我在「以個人身分申請一個服務,然後拿它處理公司的資料」。

那個模糊地帶我不想踩。

我覺得這件事值得被講出來,因為在討論「要不要用某個 AI 服務」的時候,大家想的都是送進去的資料。很少有人先想:申請這個動作本身,我要交出什麼?

三、而最直接的那一條:資料可能變成訓練材料

免費方案最常見的條件就是這個——你的資料可能被保留、可能被用來改進服務。

那我要送進去的是什麼?

系統架構、票卡內容、還沒公開的功能、內部的討論與決策。

這不是「敏感資料」那種等級的機密,它沒有帳密、沒有客戶個資。但它是公司還沒有決定要對外講的東西。

而且我們公司對這件事本來就有規範:要把資料送給外部模型之前,必須先過一個內部的審查流程,包括確認資料保留的期限。

這條規範是對的,我沒有任何意見。

問題是它需要時間。

而真正的理由,是上面三條加起來之後的那個結論

寫到這裡,我想講一件我自己覺得最誠實的事。

上面三條讀起來,像是我做了一次風險評估,然後決定風險太高。

事實不是那樣。

事實是:我看著那三件事,心裡冒出來的念頭是——

要把這三件事都弄清楚,需要的時間比我換一條路還多。

我得去讀三家不同的條款、搞清楚註冊要填什麼、確認保留政策、然後把這些整理成一份說明去走內部流程,再等回覆。

而這整件事,還只是為了讓我開始做實驗。

Day 15 講過我的額度是從本業擠出來的。同一個道理:我能花在這個專案上的時間,也是擠出來的。

在那個條件下,一個需要先花三天走流程才能開始的方案,跟一個不能用的方案,差別不大。

所以本機方案真正幫我省掉的東西,不是風險:

它省掉的是整個關卡。

不需要註冊、不需要金鑰、不需要交出任何東西。下載模型這個動作本身是匿名的,而資料從頭到尾沒有離開過我的機器。

沒有資料出境,就沒有審查問題。不是通過了審查,是這個問題根本不成立。

我覺得這是這篇最想留下的一句話。很多時候我們在評估「這個風險可不可以接受」,而有些時候更好的作法是換一個讓那個風險不存在的做法。

代價:我的機器很普通

講完好處,得誠實講條件。我用的就是一台工作用的筆電:

這幾個數字每一個都不漂亮。

沒有獨顯這件事尤其關鍵——它直接決定了我只能跑很小的模型。而 15.4 GB 的記憶體,意味著我沒有辦法同時常駐兩顆模型(這件事後來在測試的時候咬了我一口,Day 24 會講到)。

至於每秒 10 到 13 個 token,換算起來就是:一個稍微長一點的回答,你要等好幾十秒。

但「夠用」就是答案

而我後來的結論是:這些條件,夠用。

因為 Day 17 已經把工作範圍縮到很小了——模型不需要推理、不需要判斷、不需要跨系統比對。它要做的只有一件事:把已經整理好的事實,講成一句人話。

做這件事,不需要一顆很大的模型,也不需要很快。

當你把任務縮到夠小,硬體條件就從「限制」變成「剛好而已」。

反過來說也成立:如果我當初沒有把推理移到建置期,那這台機器根本不可能跑得動這件事。

架構決定了我需要多少算力。而我先做對了架構,所以我的舊筆電就夠了。

明天:那要選哪一顆

條件定了:本機跑、CPU 推論、記憶體十五 GB 出頭。

在這個框框裡,能選的模型不多。我挑了兩顆來比。

而那兩顆的差別,剛好就是這整個系列前面十天在吵的那件事——一顆會思考,一顆不會。

我那時候押了其中一顆。而我押錯了。