iT邦幫忙

2026 iThome 鐵人賽

DAY 1
0
AI Engineering

AI 產品經理的決策修練:在不確定性下打造 AI 功能系列 第 1

Day 01 — 為什麼 AI 功能不是死在模型,是死在驗收

  • 分享至 

  • xImage
  •  

先講一個你八成也看過的結局。

某個團隊決定在客服系統裡加「工單自動摘要」。demo 一次過:貼一段工單進去,吐出三行重點,比人寫得還整齊。老闆當場拍板,排進下一個 sprint。

上線那天沒有煙火。三個月後也沒有葬禮。只是某次會議上有人隨口問了一句:「那個摘要功能,還開著嗎?」查了後台才發現,日活躍使用早就掉到個位數——低到關掉它,不會有任何一個用戶來抗議。

沒有 bug 單、沒有故障告警、沒有回滾紀錄。它就是安靜地死了。

事後覆盤,工程說「模型完全照我們講的在跑」;產品說「用戶回饋說不太好用」;最後報告的結論欄寫著七個字:「效果不如預期」。

這七個字,是大多數 AI 功能共同的墓誌銘。

這不是個案,是即將到來的量產悲劇

Gartner 官方預測:到 2026 年底,40% 的企業應用會內嵌任務型 AI agents——而 2025 年這個數字還不到 5%。一年之內,成千上萬個 AI 功能正在被塞進你用的每一套軟體。

它們之中的大多數,會以上面那種方式死:不是死在「做不出來」,而是死在「上線之後,沒有人能說清楚什麼叫做對」。

一般功能的死法,和 AI 功能不一樣

帶過傳統功能的人都知道,功能死亡主要是一種「工程死亡」:

  • 死因:做不出來。效能不夠、整合太深、排期爆炸。
  • 死亡時間:上線前。做不出來就上不了線,問題在開發期就會暴露。
  • 屍檢方式:有錯誤訊息、有堆疊紀錄、能重現。修了就是修了。

AI 功能的死亡完全是另一種:

  • 死因:沒有人定義過「什麼叫對」。
  • 死亡時間:上線後。因為 demo 一定做得出來——模型天生就會輸出「看起來像那回事」的東西。問題不在開發期爆發,在驗收期爆發。
  • 屍檢方式:無法重現、沒有錯誤碼。只剩一句「用戶說不太好用」,而且永遠查不到根因。

四個結構性差異:驗收為什麼會殺死 AI 功能

1. 輸出是不確定的。
同一個輸入,不保證同一個輸出。「符合規格」這四個字對 AI 功能失去意義——因為規格根本寫不出所有可能的輸出。傳統驗收是「比對規格」;AI 功能的驗收只能「比對行為分布」。大多數團隊連問都不問這個問題。

2. 錯誤是沉默的。
傳統軟體壞了會丟 exception;AI 壞了會一本正經地錯。每一次錯誤,看起來都像一次正常的回答。錯誤不會自己浮上來,所以驗收沒有對象——你不是「驗收失敗」,你是「從來沒有真正驗收過」。

3. 對錯的標準是產品判斷,不是工程指標。
「這段摘要寫得好不好」沒有標準答案:同一段文字,三個用戶有三種好。工程可以給你各種分數,但「幾分可以上線」這條線,是 PM 的產品判斷,不是工程決定。多數死亡案例裡,這條線從頭到尾沒有被畫出來過。

4. 行為會漂移。
模型升一版、prompt 改一行、知識庫更新一批——輸出行為就變了。傳統功能的行為是凍結的,AI 功能的行為是流動的。你上線時驗收過的那個東西,兩週後可能已經不是同一個產品。

我的立場

AI 功能死亡率高的根本原因,不是模型不夠強,而是它把「什麼叫做完成」這個問題,從工程桌上搬到了產品桌上——而大多數團隊的 PM,還在用寫功能規格的方式,應對一個非確定性的產品。

把 AI 做好,工程當然重要。但模型邊界怎麼判、行為規格(Behavior Spec)怎麼寫、驗收標準怎麼從「功能規格」換成「可測量的 eval 條件」、成本怎麼算、失敗怎麼歸因——這些是產品決策,沒有人能替你做。

這就是這個系列要補的那一塊。

接下來 30 天

一套 PM 可以直接執行的 AI 決策方法論,路線分五個階段:

  • 第一階段(Day 1–7)|需求與試點決定:誰承擔答錯的後果、模型能力的真實邊界、這個需求是否真的需要 AI、行為規格怎麼寫、驗收門檻怎麼訂、一次成功服務的真實成本——最後收斂成一頁試點決策備忘錄
  • 第二階段(Day 8–14)|資料、體驗與驗收閉環:知識來源的責任歸屬、答不出來時的降級設計、信心度該怎麼呈現、人工複核的容量規劃、黃金案例集、效果衡量——半程收斂成決策清單 v2
  • 第三階段(Day 15–21)|失敗歸因與資源取捨:導入失敗的決策鏈歸因、一次「不用生成模型」的決定、隱私資料清單、模型升級的驗收、買還是蓋、定價假設——收斂成投資決策備忘錄
  • 第四階段(Day 22–27)|營運、學習與決策證據:對內溝通不確定性、上線後的品質訊號、負面回饋分流、迭代節奏、AI PM 能力地圖、決策紀錄變作品集
  • 第五階段(Day 28–30)|手冊整合與最終決策:三十天的全部模板整合成一本可使用的決策手冊,加上反模式自查表,最後交付一個有邊界、有理由的最終決定

兩個貫穿三十天的原則先說好:

先定義「什麼叫對」,再動手做。
不能驗收的功能,等於還沒想清楚。

明天

Day 02 講模型邊界:為什麼 benchmark 上的冠軍模型,在你的場景裡可能不及格;以及 PM 判讀「能力邊界」時,該怎麼用自己的任務畫出那條線。

如果你手上正好有一個「上線了,但沒有人敢為它掛保證」的 AI 功能——這個系列是寫給你的。歡迎訂閱,我們明天開始第一課。


下一篇
Day 02 — Benchmark 是別人的考卷:模型能力的邊界,要用自己的任務畫出來
系列文
AI 產品經理的決策修練:在不確定性下打造 AI 功能2
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言