Claude 在回答問題時，真正排序的不是「這件事是不是真的？」，而是「下一個 Token 接什麼最合理？」

簡言之：Claude 算的是「合理性」，不是「真實性」。

1. Token：文字如何被切碎與計費

文字會先被切成 Token，可以把它想成語言的樂高積木。一個 Token 不一定等於一個字。中文的一個漢字常就可能占掉一個以上的 Token，罕見字更多。

所以字數不能直接拿來估 Token。同樣意思的內容，在部分 tokenizer 下，中文可能比英文更耗 Token，也就更占上下文，甚至影響 API 使用成本。

2. 接龍遊戲、Attention 與解碼策略

例如輸入：

今天天氣很好，我想去……

• 公園：35%
• 散步：25%
• 吃飯：15%
• 月球：0.001%

模型學到的是：「哪個接下去最像人會說的話？」

但這場接龍不是只看前一個字。每產生一個 Token，Transformer 都會透過 Attention 參考目前的上下文，判斷現在該注意哪些資訊。

下一個 Token 也不一定永遠選最高機率，而會依照解碼策略從機率分布中選擇。因此，同一個問題問兩次，答案可能不完全一樣。

3. 為什麼會出現幻覺

像真的，不等於是真的。

流暢度與正確性是兩回事。即使模型接觸過相關資料，仍可能把人名、日期、事件甚至來源拼錯，形成 Hallucination（幻覺）。

所以當答案出現以下內容時，請自動亮起紅色警示燈 🚨（要求來源、打開原文、交叉驗證）：

1. 具體數字
2. 人名
3. 日期
4. 論文或文獻出處
5. 冷門知識

Claude 負責告訴你「像不像」，重要事實則要由你確認「是不是」。

延伸閱讀

• Vaswani et al., Attention Is All You Need, NeurIPS 2017（arXiv:1706.03762）
  想理解 Attention 與 Transformer 的核心概念，可以從這篇經典論文開始。

• Huang et al., A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions, ACM Transactions on Information Systems, Vol. 43, No. 2, 2025（arXiv:2311.05232）
  想進一步理解現代 LLM 的幻覺成因、分類與研究方向，可以接著閱讀這篇綜述。