AI 的花費有兩種樣貌，不論是哪一種，都要先回答同一個問題：這件事做成功了，預期帶來什麼樣的效益。
這二十多年來，企業採購軟體的樣貌在改變：先是雲端服務把買斷換成訂閱，後來連裝在自己機器上的軟體也改成按年付。現在企業要使用 AI，也可能會有兩種買法，而它們的成本完全不一樣。
第一種是跟模型供應商租，按用量計費，算的是它讀進去和吐出來的字數，也就是 token。而它每一輪都要把前面的對話重讀一遍，所以對話越長越貴。它跟雲端最像，差別在誰決定用量：雲端的用量由你的生意決定；AI 只拿來問答時，用量還跟著人走，一旦交給它自己跑流程，用量就由它自己決定。同樣一句「幫我整理這批客訴」，這次三步做完，下次它第一步卡住，繞圈、重試、調用一堆工具，帳單差好幾倍，業務量卻沒變。帳單暴增常常不是用量變多，是有一段流程沒設計好。在帳上這算是營運費用（OPEX）。
第二種是自己挑一個開源模型來用。錢的形狀看你把它放哪裡：買機器搬回家裡跑，是一次付清、逐年攤提的資本支出（CAPEX）；放在雲端的機器上跑，就跟租的一樣算營運費用。不管放哪裡，模型更新（模型不會自動更新，新版要自己追、自己測、自己換）跟合規（資料放哪、誰能存取、稽核紀錄留多久）都回到自己身上，那些原本供應商合約裡有人做完的事沒有人替你做了。
除了上面兩個，還有一種成本，是為了讓 AI 上線，資料、流程、驗收點都重新整理規劃所下的工夫；即使停掉 AI 服務或機器，這些已投資的成本是不會退還的。
🤿 深水區：為什麼長對話特別貴
模型沒有記憶。你每問一次，它就要把前面整段對話重讀一遍，而讀進去的字一樣算錢，所以同一個問題放在第三輪跟放在第三十輪，價差可以很大。各家都有 prompt caching（提示快取），把重複讀到的那段暫存起來算便宜些，省的是重讀的錢，不會讓長對話變得跟短對話一樣便宜。
公式很單純：效益減成本，除以成本。問題不在算式，在於分母跟分子從哪來。
分母是成本，而兩種買法連壓成本的方向都相反：租的錢跟著用量走，你去壓它少繞路；買機器自架的，機器那筆已經付掉，只能讓同一批機器多做一點事，還在動的是追新版、顧合規那些人力。
Day 1 有一句疑惑：每席一個月 25 鎂、125 鎂，到底該怎麼買？判斷依據就是用量。而用量不是從人頭來的，是從你交給它的工作來的。只拿來回答問題，和每天無時無刻跑的流程，用量一定不同。不過同樣的：流程沒設計好，只需要 25 鎂的一席，也能繞路繞到把 125 鎂那級吃滿。所以這一題不能只看價目表，要先弄清楚每一席交辦了什麼工作。
而試做階段算出來的那個數字，多半撐不到全公司。Gartner 在 2024 年七月預測，到 2025 年底至少三成的生成式 AI 專案會在概念驗證之後被放棄，2026 年他們回頭看，實際被放棄的超過一半。列的四個原因裡，有一個是成本攀升。試做的時候跑得順，是因為用量小、案例挑過、旁邊還有人盯著；拿同一組單價乘上全公司的人數，算出來的跟實際會差很遠。
分子是效益，單位也換了：軟體時代看多少人在用，AI 要看完成了多少工作。形狀不一樣，可是要先回答的那題一模一樣：這件事做成功了，到底預期帶來什麼樣的效益。答不出來，分子就是空的。
而效益有可能還會被吃掉一塊。一份六千人的調查（美英澳，沒有台灣），受訪者自己回報：AI 一週替他們省下 11 小時；同一批人每週另外花 6.4 小時在讓 AI 可用這件事上：餵它缺的脈絡、檢查它的產出、修它的錯。報告自己的講法是，每花一小時從 AI 拿到有用的東西，就要再花差不多一小時讓它可用。單一工作可能省了時間，但只有 13% 的組織說自己因此表現顯著更好。
那 6.4 小時分兩種。餵脈絡那一塊，是它每次開工都拿不到該有的資料，那是地基的事（Day 11），換再好的模型也不會少。檢查跟修錯那一塊，問題常常不在它錯了，在沒有人說得出「什麼叫做對」：同一份產出，這個人看過就放行，那個人打回重做，兩個人用的是各自的尺。
所以要先把「什麼叫做對」寫下來，寫成一份自己出的題目與標準答案（golden set）。它做兩件事：檢查的人用同一把尺，不用每次重新定義；之後每次換模型、改提示詞、加新資料，就拿同一份重考一次，看分數有沒有掉（evaluation）。它不會讓每一份產出免檢，它讓你知道自己在檢查什麼。
同一份題目還要回答第二件事：錯到什麼程度你還能接受。客服答錯一題可能還好，合約審漏一個條款就是一次都不行。這個門檻沒定下來，誰也說不出它到底過了沒有。
你算的其實不是「AI 的 ROI」。AI 沒有自己的損益表，它只在某一段流程上省下時間或多花錢，所以能算的一直是那一段的 ROI。
Day 8 問過，你的 AI 投資有沒有對齊價值鏈上最貴、最慢的那一段。先做你說得出預期效益的那一步，沒有那條鏈，效益就沒有一段流程可以檢驗。
這一段路你已經走過一次了：答案固定嗎（Day 10）、地基接不接得住（Day 11）、要留什麼下來（Day 12）、這筆錢長什麼形狀（今天）。
不過，這裡還少了一項：AI 會帶進一些你以前沒有的風險，而它們都從同一件事開始：為了讓它做事，你交出去了一些東西。而在你算清楚這筆錢之前，公司裡已經有人把東西先交出去了。
一句話帶走：先設定它應該帶來的改變，才有 ROI 可以算。
iThome鐵人賽
看影片追技術