iT邦幫忙

2025 iThome 鐵人賽

DAY 16
0
佛心分享-IT 人自學之術

LLM入門學習系列 第 16

Day 16:提示工程(Prompt Engineering)的核心策略

  • 分享至 

  • xImage
  •  

1. 基礎策略:利用上下文學習 (In-Context Learning)

提示工程是一種設計和優化輸入指令(Prompt)的藝術與科學。它是 LLM 時代的新編程方式,目的在於不改變模型權重(不微調)的前提下,最大化地激發模型的潛能。以下兩種策略是利用 LLM 上下文學習能力的基礎,決定了模型對任務格式和要求的適應程度。

🔹 Zero-shot Prompting (零樣本提示)

  • 定義:只提供任務指令或問題,不提供任何範例。模型完全依賴其在預訓練階段學到的廣泛知識來完成任務。
  • 應用:適合簡單、直接、常見的任務,或當您手邊沒有任何範例資料時。
  • 範例

    「請將以下句子翻譯成英文:『我今天心情很好。』」

🔹 Few-shot Prompting (少樣本提示)

  • 定義:在提示中提供數個高品質的輸入與輸出的範例,幫助模型學習任務的輸入與輸出的模式、格式或特定規則。
  • 優點:能顯著提升模型在特定任務上的準確率,讓模型在沒有微調的情況下,快速適應特定的格式和細微規則。
  • 範例

    中文:我今天心情很好。
    英文:I am in a good mood today.

    中文:明天可能會下雨。
    英文:It might rain tomorrow.

    中文:我想去看電影。
    英文:


2. 進階策略:解鎖複雜推理能力

當任務涉及多步驟推理、邏輯判斷或複雜計算時,我們需要引導模型**「思考」**。

🔹 Chain-of-Thought (CoT) / 思維鏈

CoT 是目前解鎖 LLM 複雜推理能力的最重要技術。

  • 定義:明確要求模型在給出最終答案之前,先寫出它的思考步驟和中間推理過程
  • 作用:這個逐步推理的過程,為模型提供了一條清晰的推理路徑,能夠有效克服 LLM 在數學、邏輯推理等複雜任務上的盲點。
  • 範例 (零樣本 CoT)

    Prompt: 「如果小明有 5 個蘋果,他拿走 2 個,又從媽媽那裡得到 3 個。他現在有幾個蘋果?請逐步推理。

    • 模型輸出:籃子原本有 5 個蘋果。拿走 2 個,剩下 5-2=3 個。又得到 3 個,所以 3+3=6 個。答案:6

🔹 Self-Consistency (自洽性)

Self-Consistency 是一種提高 CoT 答案可靠性的解碼與投票策略

  • 定義:不只執行一次推理,而是讓模型產生多個不同的 CoT 推理路徑(即多個潛在答案),然後將這些路徑的最終答案進行投票或取眾數
  • 優勢:能克服單一 CoT 路徑可能出現的偶然錯誤,顯著提高複雜推理任務的準確性和魯棒性。
  • 流程
    1. 給予問題並要求 CoT 推理
    2. 讓模型生成N個獨立的推理結果。
    3. 從N個結果中,選出投票數最高的答案作為最終輸出。

總結

提示策略 核心操作 增強能力 適用情境
Zero-shot 只給指令 依賴模型原有通用知識。 簡單、直接的常見任務。
Few-shot 給予少量 I/O 範例 讓模型學習特定格式/風格 任務較複雜、需要對齊格式時。
CoT 要求逐步思考 提升邏輯推理、多步驟計算能力。 複雜計算、推理判斷題。
Self-consistency 多次 CoT 後投票 極大提高複雜任務最終答案的準確率 需要高可靠度的推理任務。

上一篇
Day 15:參數高效調整 (PEFT) — LLM 微調的革命
下一篇
Day 17:RAG (Retrieval-Augmented Generation) 入門
系列文
LLM入門學習20
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言