GPT (Generative Pre-trained Transformer) 系列是當前所有生成式 AI (如 ChatGPT) 的基石。它代表了與 BERT 不同的語言模型範式：從「理解」轉向「生成」。

1. GPT 簡介與自回歸模型

GPT 模型系列的核心在於其架構和訓練方式。

核心架構：Transformer Decoder-Only

• GPT 採用了 Transformer 的 Decoder 部分。
• 與 BERT (使用 Encoder，進行雙向學習) 不同，Decoder 結構具有 Masked Self-Attention（遮蔽自注意力）。這機制使得模型在預測當前詞時，只能看到它前面的詞，而無法看到後面的詞。

自回歸 (Autoregressive) 原理

這種單向性造就了 GPT 的自回歸特性。模型會一次只生成一個 token，並將這個新生成的 token 作為下一個時間步的輸入，循環往復，直到生成完整的序列。

• 數學表示：整段文本的機率是每個 token 依賴前面所有 token 的條件機率相乘。
  
• 結論：GPT 是強生成力的模型，適合對話、故事創作等生成型任務；而 BERT 則是強理解力的模型，適合分類、問答等理解型任務。

2. 語言生成策略：從確定性到隨機性

GPT 的生成過程就是一個連續的機率預測和採樣過程。如果模型總選擇機率最高的詞（Greedy Search），生成的文本會變得重複且缺乏創意，因此需要多種生成策略來平衡文本的品質與多樣性。

3. GPT 系列的演進與突破

GPT 系列的演進史，就是語言模型參數規模和能力的擴張史，最終透過引入人類反饋，實現了實用性的突破。

總結來說：

GPT 的成功建立在：Transformer Decoder 結構、自回歸生成的訓練方式，以及各種採樣策略的配合。這種模式徹底釋放了生成式 AI 的潛能，帶來了我們今天看到的強大應用。