對一個 AI 功能來說，「正確」並不是品質議題的終點。一個在 20 秒後才給出正確答案的支援助理，可能仍然會失去那位兩秒內就需要答案的客戶。一個 AI 工作流可以產出極好的結果，但在尖峰流量下營運成本翻了好幾倍，也可能變得根本難以維運。從 QA 的角度看，這意味著正確性不能被單獨量測。延遲與成本，都是使用者實際體驗到的行為的一部分。

困難之處在於：如何量測三者，而不讓任何一個數字掩蓋其他兩個。平均值可以把緩慢的長尾顯得無關痛癢，偏低的平均成本可以掩蓋昂貴的重試，而一個亮眼的品質分數，在被拿去和成就它所需的時間與金錢相比之前，也一直很風光。目標不是證明 AI 系統可以同時做到快、省、準，而是把取捨關係呈現得足夠清楚，讓 QA 能夠驗證：這個系統是否守在產品已經選定的界線之內。

1. 用百分位數量測延遲，而不是平均值

平均延遲告訴我系統整體的表現，卻不會告訴我那些比較慢的使用者遭遇了什麼。想像 Aurora Shop 的支援助理處理 10,000 段對話：大部分回應在一秒左右抵達，但有一小群人等了八到十秒。平均值可能仍然體面，即使那些較慢的互動足以讓產品讓人覺得不可靠。這就是為什麼我至少要 p50 與 p95 延遲。p50 呈現典型體驗——分布的中段——而 p95 告訴我：對最慢的那 5% 請求而言，體驗會慢到什麼程度。

我也會把逾時與重試和延遲放在一起量測，而不是把它們當成另外的維運問題。一個逾時後靠重試才成功的請求，不只是一個慢請求；它可能消耗了額外的模型時間、網路資源與金錢。如果 Aurora Shop 的 p50 通常在 1.1 秒，但尖峰期間 p95 從 2.4 秒成長到 7.8 秒，我會想知道這條長尾是由模型延遲上升、下游服務、排隊等候，還是重試造成的。百分位數給我一個可以畫成圖、跨發行版本逐一比較的分布摘要，而不是依賴一個可能掩蓋問題形狀的平均值。

2. 估算成本，並設一條上限

成本量測不必精確預測到帳單的最後一個小數位，才能對 QA 有用。首要之事是：到底有沒有一條明確的上限。例如，假設 Aurora Shop 決定一次正常的支援互動平均不得超過 $0.01，而且在預期組態下，任何單一請求不得超過 $0.05。確切的數字是產品與財務的決策；但這些界線一旦存在，QA 就能測試變更是否守在界線之內。一條突然害回覆變成三倍長的提示詞，可能仍然產出正確的答案；但如果它持續把互動成本推過協議好的邊界，那就是一次可量測的迴歸。

重試預算應該和成本上限放在同一張桌子上。假設單次模型請求的預期成本是 $0.01，但客戶端被允許重試最多三次。那麼一個觸發反覆嘗試的失敗，消耗就可能遠超過快樂路徑的成本。如果系統的成本上限只考慮第一次請求，它量測的就是一個不真實的情境。QA 在測試昂貴路徑時應該把重試行為納入：一次逾時加上後續重試、一個大輸入、一段長回覆，或一次下游失敗，都可能改變最終成本。上限描寫的必須是系統實際上被允許產生的行為，而不只是其中最便宜的那條路徑。

3. 在同一個評測集上比較成本與品質

當我能把成本數字和系統產出的東西連結起來，它就有用得多。假設 Aurora Shop 正在兩種 AI 組態之間抉擇。選項 A 回應快、成本低，但平均品質分數是 3.6/5。選項 B 成本幾乎兩倍、耗時更長，但得到 4.4/5。單看任何一個數字，我都無法判斷這筆額外成本划不划算。重要的問題是：產品用那多出來的延遲與花費，實際上多買到了多少品質？

這種比較只有在兩種組態都是對著同一個評測集執行時才成立。如果選項 A 用 500 題簡單問題測試，選項 B 用 500 題困難問題測試，得出的品質、延遲與成本數據就不具備可比性。使用同一批案例，QA 才能把量測並排放在桌上：每一段回覆都有一個延遲量測、一個成本估算，以及一個用先前建立的評分方式得出品質分數。由此產生的比較可以顯示：昂貴的組態是一致地改善了品質，還是只是把更多錢花在便宜組態本來就綽綽有餘的案例上。

門檻本身不該從系統今天碰巧做到的表現逆推回來。如果現行系統每次互動花 $0.03、耗時四秒，這些數字並不就自動成為可接受的上限。產品可以決定：客戶對高價值工作流能容忍到三秒，而另一個工作流可以容忍十秒——如果答案因此好上許多。QA 的角色，是量測實作是否持續符合這些決策。品質值得花多少錢，由產品決定；QA 提供把這個決策做得誠實所需的證據。

效能與成本表

這張表把三個維度放在一起，不讓任何一個獨占討論。一般時段下，範例系統的 p50/p95 延遲是 1.1s / 2.4s、成本 0.4／次互動、品質分數 4.3/5。年終尖峰時，延遲升到 2.6s / 7.8s、成本升到 0.9、品質微跌至 4.0/5。而「尖峰 + 重試」情境示警最強：延遲達 3.4s / 11.2s、成本升至 1.3、品質跌到 3.6/5。這些都是明確標示的演練數值，但真正重要的是結構：QA 不再只報告「這個 AI 是 4.3/5」，而是能呈現品質、回應速度與成本，如何在不同營運條件下一起移動。

取捨可以被看見，但決策不是自動的

這張表把三個屬性並排呈現，但它不是預測：每次尖峰的流量組成都不相同，數字會移動，而品質分數仍然取決於評分的一致性。一段很短的尖峰時窗，也會給出比一整天更吵的百分位數，所以我克制自己不去過度解讀單獨一個忙碌小時。它也無法替我決定該不該接受這個取捨——那是產品與成本的決策。我能做的，是把它變成習慣：**永遠不要相信平均值，永遠不要只看單一維度。**一個又快又錯的答案、一個來得太晚的正確答案，或一個成本超出產品能夠負擔的準確答案——每一種都可以用截然不同的方式釀成失敗。