自從 GPT-2 問世以來，OpenAI 很快就推出了功能更強大的 GPT-3這個版本不只是模型參數暴增，連訓練資料的規模也大幅提升。但真正令人注意的是，從 GPT-3 開始，透過提示來引導模型的做法突然爆紅，幾乎成為與大型語言模型互動的主要方式。某種程度上，這也象徵著語言模型的發展邁入了一個全新的階段。
其實在 GPT-2 時期，模型就已經展現出一點多功能的潛力，雖然沒經過特別訓練卻能處理不同的任務。不過真正讓 Zero-shot Learning 成為焦點並證實其可行性的是 GPT-3。簡單來說這種學習方式的驚人之處在於，即使模型從未接觸過特定任務，它仍能依靠語言知識進行推論與判斷。
打個比方就像聽人說斑馬長著黑白條紋，生活在非洲草原雖然沒親眼看過，大概也能想像牠的模樣。GPT-3 的推論方式正是如此，透過語意的拼湊補足知識的缺口。例如若問 GPT-3：「一封申請大學的動機信應該包含哪些內容？」即使它從沒接受過這類任務的訓練，也能根據語言知識與常識推理出如個人背景、學術目標、以及對該學校的了解等要素。
相比之下 Few-shot Learning 的作法則是在提示中提供幾個範例，讓模型看過幾題後就能上手，不需額外訓練。這種方式又稱為 In-Context Learning，也就是模型透過當下的語境做出即時判斷。例如：若給 GPT-3 三組「問答配對」的例子，再問它第四題，它就能依照前面範例的格式與邏輯，自行產出正確答案。
研究發現一個有趣的現象，模型越大 Few-shot 的表現通常越出色。大型模型在語言理解與模式識別上具備優勢，即使只提供一兩個例子，它在翻譯或問答等任務中也能明顯提升表現。
這一點在實務上非常關鍵，尤其在資料稀少、註記成本高的情況下，Few-shot 能夠有效減少對資料的依賴，卻依然能產出有水準的結果。
在 GPT-3 的使用中，Prompt Learning 幾乎成了整套技術的核心。簡單來說提示的設計會影響模型的表現。只要在輸入前加入明確的任務描述，例如要求翻譯時寫上請將以下句子從中文翻成英文，模型便能立刻切換模式，反應自然也更精準。實驗結果顯示，這樣的提示設計對模型的理解力與輸出品質有明顯提升，尤其在處理語言任務時更是如此。有時候，一句關鍵的提示語就足以讓結果高下立判。從這個角度看，提示不只是開啟模型的指令，更是我們與其溝通的橋梁。
GPT-3 的問世在自然語言處理領域引發極大關注，因為它在許多語言任務中的表現已經與人類相當接近。然而，它並非毫無缺陷，像是偶爾產出具攻擊性或涉及隱私的內容，這些風險必須正視。
為了解決這些問題，OpenAI 推出了 InstructGPT，也就是針對 GPT-3 再進一步調整的版本。它引入了一種名為 Instruction Learning 的方法，目的是讓模型更準確理解人類需求。這種做法與早期依賴提示語操作的方式有所不同。
GPT-3 的使用方式大致是透過提示語提供範例引導模型，例如給出背景資訊、問題與答案的格式，讓模型依樣畫葫蘆。雖然這種方式有效，但效果很依賴提示設計的精細度，也較不具彈性。
而 InstructGPT 採用更清楚的指令說明，像是直接告訴模型根據以下內容回答問題，甚至可以加入限制條件，例如請避免使用冒犯或涉及隱私的詞語。這樣的設計不僅有助於模型掌握語境，也能有效降低產出不當內容的風險。
從訓練角度來看，Prompt Learning 比較像提供許多範例讓模型學著模仿；而 Instruction Learning 則進一步告訴它任務的本質與原則。這不僅是格式上的轉變，更是模型從模仿語言走向理解意圖的過程。
總的來說從 GPT-3 的 Prompt Learning 到 InstructGPT 的 Instruction Learning，這條發展路徑不只是操作上的演進，更是大型語言模型對人類意圖理解能力的一大飛躍。過去我們透過反覆舉例引導模型猜測任務，如今則是以清楚的任務說明直接對話，這不只提升效率，也有助於避免潛在的誤解與風險。未來如何設計與語言模型互動的方式，不論是提示語還是任務指令，或許將成為一種嶄新的溝通技藝。
既然對於 Prompt 的運作方式已經有了完整的認識，那麼下一步便是進入大型語言模型的具體實踐層面。而其中一個不可不提的重要代表，就是由 Meta 所推出的 LLaMA 系列。這套模型的誕生不只是技術上的突破，更某種程度上代表了開源力量在語言模型領域的一次集體反擊。
那麼LLaMA 究竟在技術上做了哪些關鍵調整？又為什麼它能在不到 GPT-3 規模的情況下，展現媲美甚至超越的表現？這一點就是我們明天要深入探討的重點。
iThome鐵人賽
看影片追技術