原文來源：Thinking Machines Lab：擊敗大語言模型推理中的非確定性

📖 故事的起點

這個故事要從 Mira Murati 說起。她曾是 OpenAI 的 CTO，也在 Sam Altman 被暫時撤職時，短暫擔任 CEO。2024 年，她創立了 Thinking Machines Lab，並獲得超過 20 億美元種子融資，估值達 120 億美元，背後投資人包含 a16z、Nvidia、AMD、Cisco。

這家公司一開始就立下目標：要解決 LLM 世界裡最棘手的隱藏問題。

⚡ 問題：LLM 的「非確定性」

我們習慣以為：同樣輸入 → 一樣輸出。
但在大型語言模型中，情況卻常常不是這樣。

即使你固定隨機種子，LLM 還是可能給出不同答案。原因不是模型「心情不好」，而是 伺服器在不同批次處理時，浮點數運算順序不一樣，導致結果不同。

👉 這對需要可重複性的場景（金融、醫療、法規應用）來說，是大危機。

🧩 技術解析

Thinking Machines Lab 的研究，聚焦在 浮點數運算非結合性 (non-associativity) 問題：

(a + b) + c ≠ a + (b + c)

在矩陣乘法、注意力機制 (attention)、RMSNorm 中，批次切法不同，最後輸出也不一樣。

例子：就像餐廳裡，你點了一樣的菜，但廚房一次煮十桌 vs 一次煮一桌，出餐順序不同，味道竟然有差。

🔧 解法：批次不變核心（Batch-Invariant Core）

他們提出 Batch-Invariant Core：

• RMSNorm：改成資料平行方式，避免 batch 切割差異。
• 矩陣乘法：固定策略，避免隨機分割。
• 注意力機制：固定分割大小，確保 reduction 一致。

成果：

• 原本 1000 次推理，會有 ~80 種不同輸出。
• 啟用後 → 輸出完全一致。
• 缺點：效能初期下降一半，但後續優化後可接受。

📊 圖表整理：治理、安全、非確定性

🏦 小案例：銀行客服 AI

想像一家銀行導入客服 AI：

• 沒有治理 → 模型學到錯誤資料，回答涉及版權或性別歧視。
• 沒有安全 → 黑客透過提示注入，讓客服 AI 洩漏交易紀錄。
• 沒有穩定性 → 客戶兩次問同樣的貸款問題，卻拿到兩個不同答案，直接動搖信任。

👉 治理確保 AI 說對話、安全確保 AI 不被操縱說錯話、穩定性確保 AI 每次都說一樣的話。

💡 我的收穫

1. 穩定性比準確率更重要：在金融、醫療、法規場景，答案必須「可重複」才有價值。
2. 治理要納入一致性：不只看偏見、公平性，還要確保相同輸入不會亂跳。
3. 安全與一致性交錯：非確定性也可能被惡意利用，製造對抗樣本。
4. AI 文化的透明性：公開這些底層細節，展現 Thinking Machines Lab 的定位 —— 不是做快，而是做穩。

🎁 總結

這篇文章提醒我：
AI 的未來不只是「更聰明」，而是「更可靠、更穩定、更可信」。

Thinking Machines Lab 把 LLM 的「非確定性」問題搬上檯面，並提出解法。對我們來說，這是一個很好的提醒 ——
在追求模型威力之前，要先確保它 能被信任。