用單張顯卡探索大型語言模型的奧秘 系列

今天是特殊的一年，大型語言模型如雨後春筍般冒出，其回答問題、邏輯推理、舉一反三的能力也令人嘆為觀止，曾經被人工智能視為障礙的圖靈測試對如今的語言模型來說就像一塊小蛋糕；原本因為進入門檻極高，該技術始終掌握在少數人的手中，然而現在，在LLama系列的大型語言模型開源後，先前許多專門被用來finetune大模型的技術，也開始被使用在了LLama系列的語言模型上，本系列文章將使用單張顯卡，藉由研究baby llama2專案來嘗試從頭訓練自己的語言模型並一步一步把模型參數量加大；並且使用QLORA等等的技術來對現有的大型語言模型做針對性的微調，探索大語言模型的奧秘。