LLM（Large Language Model） 是透過大量語料學習「下一個token」的機率，具備語言理解與生成的能力。

昨天提到的 In-Context Learning (ICL) 則讓模型能夠在推論階段，透過「範例」學習任務的形式。

今天要介紹的是 Chain-of-Thought (CoT)，可以被視為 ICL 的延伸，它讓模型不只是模仿「答案格式」，而是學習「思考過程」。

什麼是 Chain-of-Thought？

• Chain-of-Thought（CoT） ，中文可以翻作「思維鏈」，就像人類在面對複雜推理任務（例如數學題）時，會在腦中一步步拆解思路、逐步計算，最後才得出答案
• 在模型中，CoT 是一種 prompt engineering 技術，透過在提示中展示推理步驟，使 LLM 的輸出更具邏輯性與解釋性
• 若在 few-shot prompting 的範例裡展示推理步驟，那足夠大的模型就能「模仿」這樣的思考過程，自動生成 chain-of-thought
• GPT一開始推出的時候，被發現在處理邏輯運算上比較不優，原因是因為GPT是作為語言模型，而非推理模型，因此CoT便能夠去解決這種問題

Chain-of-Thought 的好處

1. 模型可以把多步驟的問題拆解成很多中間步驟，可以把額外的運算分配給需要比較多推理過程的問題
2. CoT 可以讓我們可以去詮釋模型的行為，看它是怎麼達到某個答案，並有機會根據哪裡出錯，來去 debug
3. CoT 基本上有潛力能去解決人類能過透過語言去解決的任何任務
4. 在 few-shot prompting 裡若是範本有展示 chain-of-thought 推論的步驟，那足夠大的LLM就可以很迅速的產出chain-of-thought

Chain-of-Thought 範例

假設要模型解這個方程式：

具備 CoT 能力的模型會像這樣逐步推理：

1. 判斷這是二次方程式
   
2. 找出係數 a, b, c
3. 套用公式
4. 代入數值
5. 化簡
6. 得出答案

➔ 這些中間步驟就像人類思考的過程，CoT 讓模型模仿這種「思維鏈」，從而提升推理能力。

Chain-of-Thought 的變體

1. Zero-shot CoT
   • 這種方式可以讓模型在事前沒有例子或是 fine-tuning 的情況下，利用內在的知識去解決問題，這種形式，在對於很新穎或是沒有面對過的問題時，會很有效，因為它並不依賴先前特定的例子
2. Automatic CoT
   • 目的是在於要減少人工手動調整 prompt 所需耗費的精力，模型能夠自動選擇推論的路徑；這種變體可以加強模型的可擴展性和可及性，以面對更多樣態的任務和使用者
3. Multimodal CoT
   • 這種 CoT 是讓 input 有更多模態，並結合 CoT 的能力，以便模型處理更多樣的資料型態以及進行複雜的推理任務
   • 例如 input 放一張圖片，裡面是一盤醬油，裡面放很多辣椒，並問模型「這盤醬油很辣嗎」，multimodal CoT 就會去分析 visual cues，利用 CoT 去產出回覆

小結

CoT 是讓 LLM 從「會回答」變成「會推理」的重要關鍵，它結合了 LLM 的語言能力、ICL 的模仿學習能力，讓模型能像人一樣，用語言進行思考！

參考資料

Reference 1
Reference 2
Reference 3