依據我的理解LLama是Meta較早期釋出的基礎語言模型，而Alpaca則是基於LLama針對聊天指令微調後的模型，微調資料格式與先前讀到的Supervised FineTuning (SFT)一樣由三個部份構成：

1. instruction
2. input
3. output

可以說LLama就是完成pretrain階段後的GPT模型，而Alpaca就是完成SFT階段後的模型。

而LLama2是近期釋出的進階版模型，使用了更多的數據，然而與LLama有著相同的問題，就是字典和訓練資料中幾乎沒有任何中文；最近，Github上出現了Chinese LLama2 & Alpaca2的專案，對LLama2的字典加入了中文，並且蒐集了許多的中文字料，依據LLama2 & Alpaca2的方式訓練出了一版中文的模型。

接下來的幾天我會開始研究 LLama & Alpaca / LLama2 & Alpaca2 之間的主要區別，之後開始探索Chinese LLama2是透過什麼樣的方法來使LLama2具備中文功能的，是採用了相同的訓練方式只是改成中文數據，還是透過特殊的Finetuning手段？