鐵人檔案
目前領先的 SOTA（State-of-the-Art，最先進）大型語言模型幾乎都已轉型為多模態模型，具備強大的視覺（Vision）處理能力。 GPT GPT...
微調是指在一個已經在海量通用數據上訓練好的基礎模型（Foundation Model）之上，使用少量、特定領域的數據集，進行額外的訓練，以調整模型的權重。微調讓...
LoRA (Low-Rank Adaptation) 是一種高效、節省資源的微調（Fine-tuning）技術，在視覺語言模型 (Vision-Language...
由於 VLM（視覺語言模型）通常非常大，我們需要結合 LoRA 和 4-bit 量化 (4-bit Quantization)，也就是 QLoRA 技術，才能在...
準備資料集 使用 Hugging Face 的 llava-instruct-150k 作為範例（圖像-指令對） from datasets import lo...
LLaVA 在推理（inference）或對話生成時使用的提示模板為"USER: \n{question}\nASSISTANT: {answer}&...
OpenVLM Leaderboard 是一個公開的排行榜，是一個專門用於評估和排名視覺語言模型（Vision Language Models, VLM）的基準...
在視覺語言模型（Vision-Language Model, VLM）的微調（fine-tuning）過程中，「Transformer 強化學習」（Transf...
改善視覺語言模型（VLM）的 Grounding, 指的是模型將語言概念與圖像中的具體物體、區域或關係準確對應起來的能力，簡單地說，就是模型能不能真正理解文字所...
剩20分鐘，這場戰役就要結束。為了避免我在最後一下功虧一簣，雖然VLM Fine-tuning沒成功，我還是記錄一下與AI協作程式後的進度，心得是AI的debu...
