其實大致流程應該是：
1. 確定需求
2. 預訓練模型選擇
3. 構建或選擇資料集
4. 微調,對齊
5. 壓縮
6. 評估

極簡流程大概就是：
1. huggingface 找資料集
2. 用taide,breeze,twllm 或白龍等繁中模型微調
3. 壓縮(這個是可選項) 以及評估

只是我因為想把訓練方式根據資料量的差異由大排到小，

所以我就把 ( 預訓練與預訓練模型選擇 ) 放到第二個講。

另外，內容有誤的地方請立刻通知我！！

1. 構建或選擇資料集

雖然從維基百科和其他網站找到原始資料很容易，

但在許多環境中收集成對的問答、範例和答案卻很困難。

與傳統的機器學習一樣，資料集的品質直接影響模型的成效，因此可說是微調過程中最重要的環節。

要用到的資料集又被稱為指令資料集（Instruction Dataset），可以簡單理解為問答的資料集。

可參考的整體流程:

• Preparing a Dataset for Instruction tuning by Thomas Capelle:

  • Alpaca和Alpaca-GPT4資料集的探索以及如何標準化資料。

• GPT 3.5 for news classification by Kshitiz Sahay:

  • 使用GPT 3.5建立範例資料集來微調Llama 2的新聞分類。

1. 使用現有的資料集：資料集可以在Kaggle、Huggingface、GitHub和GitLab上尋找。

   比較有名的包括TMMLU+ Dataset。此外，Huggingface上還有一些繁體中文訓練集可供使用。

   • 如果沒有你需要的資料集，可以將英文或簡中翻譯成繁體中文，參考這個方法。

2. 使用工具收集資料並製作成資料集：

   • How to scrape the web for LLM in 2024: Jina AI (Reader API), Mendable (firecrawl) and Scrapegraph-ai
   • Scrape Any Website using llama3+Ollama+ScrapeGraphAI | Fully Local + Free
   • AI時代新爬蟲：網站自動轉LLM數據，firecrawl深度玩法解讀

3. 使用類 Alpaca的方法產生資料集：使用OpenAI API（GPT）從頭開始產生合成資料。可以指定種子和系統提示來建立多樣化的資料集。

   • 範例1(使用 Langchain 和 GPT-4 產生葡萄牙語臨床指導資料集): Generating a Clinical Instruction Dataset by Solano Todeschini: 關於如何使用GPT-4建立綜合指導資料集的教學。
   • 簡單任務的範例2: How To Create Datasets for Finetuning From Multiple Sources! Improving Finetunes With Embeddings.
   • 簡單任務的範例3: How I created an instruction dataset using GPT 3.5 to fine-tune Llama 2 for news classification

4. 進階技巧：了解如何使用Evol-Instruct改進現有資料集，如何產生和Orca及phi-1論文中類似的高品質合成資料。

   • Evol-Instruct中文概略的解釋

5. 資料過濾：傳統技巧包括使用正規表示式、刪除近似重複項、關注具有大量標記的答案等。

   • Dataset creation for fine-tuning LLM: 包含一些過濾資料集和上傳結果技術的Notebook。

6. 提示詞模板：目前還沒有真正的標準方法來格式化說明範本和答案，因此了解不同的聊天範本很重要，如ChatML和Alpaca等。

   • Chat Template by Matthew Carrigan: 關於提示模板的Hugging Face頁面。

2. 預訓練以及預訓練模型選擇

預訓練模型選擇

目前我查詢並經過粗略的使用後覺得應該可使用的繁體中文大模型如下:

1. 國研院-Llama3-TAIDE
2. MediaTek Research -Breeze
3. 繁體中文專家模型開源專案TAiwan Mixture of Experts」（Project TAME）
   yentinglin's Collections
4. 群創光電-白龍(這個我不確定)

國外可用於微調的開放大模型(可在其他家雲端或本地運作)基本是 LLAMA, GEMMA, BLOOM, Mistral。

只能在遠端微調的大概就很多了(Gemini , GPT系列 等等)。

建議要練習的話先從LLAMA 模型開始就可以了，之後再根據情況挑選符合自己需求的就可。

繁體中文的微調可先試試前面三個。

預訓練

快速入門:Pretraining LLMs-Deeplearning.ai 短課程

預訓練是一個非常漫長且成本高昂的過程，這就是為什麼這不是一般人在工作中的重點。

但是對預訓練期間發生的情況有一定程度的了解是很好的。

簡單來說，了解可以，類似玩具級的 GPT2 預訓練在 vast.ai 租個 4 GPU 的機器或在colab用a100(不過這個時間一定會超過24小時，需要寫checkpoint存儲模型跟腳本定時重新 load 一遍) 應該是可以實現的。

但是目前商業等級的實現沒四千萬別做，目前已知花最少錢訓練的是10萬美元，另外，我從新聞得知通常的訓練成本是120萬美元左右。

不過我想隨著時間的推進，之後應該會有更加高效以及更快速的方法出現。

• 目前號稱完全開源的預訓練模型：

  • 1.olmo:號稱真正開源！AI2釋出OLMo語言模型和所有相關資料
    • 史上首个100%开源大模型重磅登场，破纪录公开代码/权重/数据集/训练全过程，AMD都能训
  • 2.LLM 360: 開源大語言模型框架，包含訓練和資料準備代碼、資料、指標和模型。
  • 3.全球首個完全開源的大語言模型Dolly，性能堪比 GPT3.5！

• 資料處理流程: 預訓練需要龐大的資料集 (例如： Llama 2 使用 2 兆個tokens進行訓練) ，需要將這些資料集過濾、標記化並與預先定義的詞彙進行整理。

  • LLMDataHub by Junhao Zhao: 用於預訓練、微調和 RLHF 的精選資料集清單。
  • Training a causal language model from scratch by Hugging Face: 使用 Transformers 庫從頭開始預先訓練 GPT-2 模型。
  • TinyLlama by Zhang et al.: 可在此項目很好地了解 Llama 模型是如何從頭開始訓練的。
  • 使用pytorch，用搭积木的方式实现完整的Transformer模型

• 因果語言建模(Causal language modeling): 了解因果語言建模和掩碼語言建模(causal and masked language modeling)之間的區別,以及本例中使用的損失函數。更多高效率的預訓練知識可前往 Megatron-LM 或gpt-neox了解。

  • Causal language modeling by Hugging Face: 解釋因果語言建模和屏蔽語言建模之間的差異以及如何快速微調 DistilGPT-2 模型。

• 縮放的規律: 縮放的規律 根據模型大小、資料集大小和用於訓練的計算量描述預期的模型性能。

  • Chinchilla's wild implications by nostalgebraist: 討論縮放定律並解釋它們對大語言模型的意義。

• 高效能運算: 這有點超出了本文的範圍，但如果您打算從頭開始創建自己的LLMs(大語言模型)（硬體、分散式工作負載等），那麼更多有關 HPC 的知識是對你而言是必要的。

📚 參考資料:

• BLOOM by BigScience: 描述如何建立 BLOOM 模型的 Notion 頁面，其中包含大量有關工程部分和遇到問題的有用資訊。
• OPT-175 Logbook by Meta: 研究日誌顯示出了什麼錯的以及什麼是正確的。如果您計劃預先訓練非常大的語言模型（在本例中為 175B 參數），則非常有用。

3. 監督微調 (Supervised Fine-Tuning)

預訓練模型僅針對下一個標記(next-token)預測任務進行訓練，這就是為什麼它們不是有用的助手。

SFT 允許您調整它們以回應指令。此外，它允許您根據任何資料（私人資料、GPT-4 無法看到的資料等）微調您的模型並使用它，而無需支付 OpenAI 等 API 的費用。

Decoder Only ,Encoder Only 跟 原始 Transformer 在進行訓練時的差異:

• Decoder Only ,Encoder Only 在訓練或微調時，問與答通常都是放在同一個地方(Decoder 或 Encoder)，並在問與答使用 EOS,其他終止符號或模板區分問與答。
• 只是 Decoder only 的視為生成任務，而Encoder Only的則視為填空，原始 Transformer則是依照原本設定的方式進行訓練。

• 簡介跟教學：
  • Finetuning Large Language Models-Deeplearning.ai短課程(推薦):
    • 看完這個大概就對微調技術有個大致的了解了。
  • 用人話講解微調技術：請只專注技術。
• 全微調: 全微調是指訓練模型中的所有參數 ( 就是模型訓練，只是資料量不多，並且資料通常是特定任務或子領域上的 )。這不是一種有效的技術，但它會產生稍微好一點的結果.
  • The Novice's LLM Training Guide by Alpin: 概述微調 LLM 時要考慮的主要概念和參數.
• LoRA: 一種基於低階適配器(low-rank adapters)的高效參數微調技術（PEFT）。我們不訓練所有參數，而是只訓練這些適配器(adapters)。
  • LoRA insights by Sebastian Raschka: 有關 LoRA 以及如何選擇最佳參數的實用見解.
  • Fine-Tune Your Own Llama 2 Model: 有關如何使用 Hugging Face 庫微調 Llama 2 模型的實作教學.
  • Padding Large Language Models by Benjamin Marie: 為因果LLMs(causal LLMs)填充訓練範例的最佳實踐
• QLoRA: 另一個基於 LoRA 的 PEFT，它還將模型的權重量化為 4 bits，並引入分頁優化器來管理記憶體峰值。將其與Unsloth結合使用，可以在免費的 Colab 筆記本上運行。
• Axolotl: 一種用戶友好且功能強大的微調工具，用於許多最先進的開源模型。
  • A Beginner's Guide to LLM Fine-Tuning: 有關如何使用 Axolotl 微調 CodeLlama 模型的教學.
• DeepSpeed: 針對多 GPU 和多節點設定的 LLM 的高效預訓練和微調（在 Axolotl 中實現）。

📚 參考資料:

• 万字长文之提示学习和微调大模型（Prompt Learning & Prompt Tuning）
• 大模型微调总结
• Finetuning Large Language Models 的課程筆記

4. 偏好對齊

經過監督微調後，RLHF 是用來使 LLM 的答案與人類期望保持一致的一個步驟。這個想法是從人類（或人工）回饋中學習偏好，這可用於減少偏見、審查模型或使它們以更有用的方式行事。它比 SFT 更複雜，並且通常被視為可選項之一。

• 簡介與入門：

  • Reinforcement Learning From Human Feedback-Deeplearning.ai短課程(推薦):
    • 看完這個大概就對RLHF有個大致的了解了。
  • 一文看盡LLM對齊技術：RLHF、RLAIF、PPO、DPO
  • An Introduction to Training LLMs using RLHF by Ayush Thakur: 這解釋了為什麼 RLHF 對於減少大語言模型的偏見和提高績效是可取的。
  • Illustration RLHF by Hugging Face: RLHF 簡介，包括獎勵模型訓練和強化學習微調.
  • RLHF from Deeplearning.ai: Deeplearning.ai 的RLHF短課程，適合快速入門。

• 偏好資料集: 這些資料集通常包含具有某種排名的多個答案，這使得它們比指令資料集更難產生.

  • StackLLaMA by Hugging Face: 使用 Transformer 函式庫有效地將 LLaMA 模型與 RLHF 對齊的教學.

• 近端策略最佳化: 此演算法利用獎勵模型來預測給定文字是否被人類排名較高。然後使用該預測來最佳化 SFT 模型，並根據 KL 散度進行獎懲。

• 直接偏好優化: DPO 透過將其重新定義為分類問題來簡化流程。它使用參考模型而不是獎勵模型（無需訓練），並且只需要一個超參數，使其更加穩定和高效。

📚 參考資料:

• LLM Training: RLHF and Its Alternatives by Sebastian Rashcka: RLHF 流程和 RLAIF 等替代方案的概述.
• Fine-tune Mistral-7b with DPO:使用 DPO 微調 Mistral-7b 模型並重現NeuralHermes-2.5 的教學.
• [RL] Fine-Tuning Language Models from Human Preferences (RLHF) 論文筆記-ChatGPT鍊成術
• 详解大模型RLHF过程（配代码解读）
• LLM基石：RLHF及其替代技术
• 图解大模型RLHF系列之：人人都能看懂的PPO原理与源码解读
• RLAIF细节分享&个人想法

6. 評估 Evaluation

評估大型語言模型(LLMs)是流程中一個被低估的部分，因為評估這一個過程耗時且相對可靠性較低。你的下游任務應該指明你想要評估的內容，但記得古德哈特定律(Goodhart's law)提到的：“當一個衡量指標變成了目標，它就不再是一個好的衡量指標。”

• 簡介與入門：

  • Evaluating and Debugging Generative AI Models Using Weights and Biases:
    • Deeplearning AI 的短課程，適合快速入門。
  • LLM Evaluation 如何评估一个大模型？: 別人的心得，可以參考下。

• 傳統指標 Traditional metrics: 像困惑度(perplexity)和BLEU分數這樣的指標不再像以前那樣受歡迎，因為在大多數情況下它們是有缺陷的。但了解它們以及它們適用的情境仍然很重要。

  • 固定長度輸入(有最大輸入限制)模型的困惑度 by Hugging Face: 困惑度(perplexity)的概述，並使用 Transformer 庫實現了它的程式碼。
  • BLEU 使用風險 by Rachael Tatman: BLEU 分數及其許多問題的概述，並提供了示例。

• 通用基準 General benchmarks: 基於語言模型評估工具箱 Language Model Evaluation Harness，Open LLM排行榜 Open LLM Leaderboard 是用於通用大型語言模型（如ChatGPT）的主要基準。還有其他受歡迎的基準，如BigBench, MT-Bench等。

  • 大型語言模型評估調查 by Chang et al.: 關於評估什麼、在哪裡評估以及如何評估的綜合性論文。

• 任務特定基準 Task-specific benchmarks: 如摘要、翻譯和問答等任務有專門的基準、指標甚至子領域（醫療、金融等），例如用於生物醫學問答 PubMedQA。

• 人類評估 Human evaluation: 最可靠的評估是用戶的接受度或由人類所做的比較。如果你想知道一個模型表現得如何，最簡單但最確定的方式就是自己使用它。

📚 參考文獻:

• 聊天機器人排行榜 by lmsys: 基於人類比較的通用大型語言模型的Elo評分。

7. 壓縮

量化或壓縮是將模型的權重（和啟動值）轉換成更低精度表示的過程。例如，原本使用16位元儲存的權重可以轉換成4位元表示。這種技術愈來愈重要，用來減少與大型語言模型（LLMs）相關的計算與記憶體成本。

• 簡介:

  • 快速入門:Quantization Fundamentals with Hugging Face - Deep larning.AI短課程
  • 量化簡介: 量化概述，absmax與零點量化，以及使用 LLM.int8()在程式碼上。
  • 目前针对大模型进行量化的方法有哪些？
  • 大语言模型量化相关技术

• 基礎技術: 瞭解不同的精確度層級（FP32、FP16、INT8等）以及如何使用absmax與零點技術(zero-point techniques)進行簡單的量化。

• GGUF和llama.cpp: 最初設計用於在CPU上運行，llama.cpp 和GGUF格式已成為在消費級硬體上運行LLMs的最受歡迎的工具。

  • 使用llama.cpp量化Llama模型: 關於如何使用llama.cpp和GGUF格式量化Llama 2模型的教學。

• GPTQ和EXL2: GPTQ ，特別是 EXL2 ，提供了較快的速度，但只能在GPU上運行。模型量化也需要很長時間。

  • 使用GPTQ進行4位元LLM量化:關於如何使用GPTQ演算法和AutoGPTQ量化LLM的教學。
  • ExLlamaV2: 運行LLMs的最快程式庫: 指南；關於如何使用EXL2格式量化Mistral模型，並使用ExLlamaV2程式庫運行。

• AWQ: 這種新格式比GPTQ更準確（困惑度更低），但使用的顯存更多，速度也不一定更快。

  • 了解啟動感知權重量化 by FriendliAI: AWQ技術及其優勢的概述。

📚 參考文獻:

• LLM Note Day 14 - 量化 Quantization :筆記式版本的量化介紹。