鐵人檔案
什麼是 LLM LLM (large language model) 是大型語言模型 一種基於人工智慧技術的自然語言處理（NLP）模型 透過深度學習技術，特...
i> Python 基本語法資料型態 :str 字串 直譯器:Aint 整數 直譯器:1float 浮點數 直譯器:1.1bool 布林值 直譯...
i> 安裝 PyTorch!pip install transformers datasets torch ii> 匯入 pipelinefrom...
生成英文文本 (GPT-2)> 用 pipeline 生成`from transformers import pipeline generator = p...
okenizer : 就是把文字轉換成模型可處理的 token，也能將 token 轉回文字 Tokenizer 的設計會影響: token 的長度 是否能...
Day 6 了解詞向量與嵌入 詞向量 word embeddings : 將詞語轉換為數字表示的方法，這些數字表示的向量具有特定的性質，能夠表示詞語之間的語義...
安裝 !pip install -q sentence-transformers 載入模型 from sentence_transformers im...
微調 (Fine-tuning)：把一個已預訓練的模型（例如 BERT、GPT-2、LLaMA）拿來，在你自己的標註資料（或任務資料）上再訓練（更新權重），...
翻譯練習 from transformers import AutoTokenizer, AutoModelForSeq2SeqLM # 選擇專門的中英翻譯...
**為什麼要準備 : **在專門領域或特定任務上需要專屬的中文資料集，英文資料相對多，中文資料很多時候需要自己準備流程 收集資料（reviews、客服對話、知...
