OpenVLM Leaderboard 是一個公開的排行榜，是一個專門用於評估和排名視覺語言模型（Vision Language Models, VLM）的基準測試平台。讓研究人員、開發者和所有感興趣的人都能夠透明地比較不同 VLM 模型的性能。

OpenVLM Leaderboard 由 OpenCompass 的開源社群計畫所維護，他們開發了一套名為 VLMEvalKit 的評估工具包，支援超過270種視覺語言模型和超過30種多模態評測基準，確保了評估的廣泛性和全面性。

Open VLM Leaderboard主要託管在 Hugging Face Spaces： https://huggingface.co/spaces/opencompass/open_vlm_leaderboard

OpenVLM Leaderboard 的主要功能與目的

1. 提供標準化的評測基準 (Benchmarking Performance): 排行榜使用一套統一的、公開的數據集和評估指標來測試所有模型，確保比較是在公平、客觀的基礎上進行。
2. 推動技術創新 (Driving Innovation): 透過公開透明的排名，開發團隊可以了解自家模型的優劣之處，並激勵他們不斷改進演算法，以追求更好的性能，進而推動整個領域的發展。
3. 多面向的綜合評估: 它不只看模型的「答對率」，而是從多個維度進行全面評估，主要包括：

• 準確性與精確度 (Accuracy and Precision): 模型完成任務的成功率、對視覺和語意細節的理解能力。
• 運算效率 (Computational Efficiency): 模型處理問題的速度（推論速度）以及所需的計算資源（如記憶體）。
• 泛化能力 (Generalization Capabilities): 模型在從未見過的、新的數據上的表現能力，這代表了模型的「應變能力」。

當需要選擇VLM模型時，查閱 OpenVLM Leaderboard是個絕佳的起點，但排行榜不代表全部，最終選擇仍需自行測試，除了性能，還需要考慮模型的授權方式（是否能商用）、社群支援度、文件是否齊全、以及整合到現有系統中的難易度等。

初學者挑選 VLM 模型的建議流程：
第一步：自身的需求

1. 主要任務是什麼：視覺問答 (VQA)、圖片描述 (Image Captioning)、光學字元辨識 (OCR)或是通用對話等。
2. 硬體/資源限制：GPU限制；推理的速度要求，例如是否需要即時的快速反應或是可以接受幾秒鐘的等待時間；模型授權 (License) 的選擇，例如開源或商用。

第二步：排行榜的關鍵欄位

1. Model (模型名稱)
2. Average (平均分)：模型的綜合總分。
3. Benchmark Scores (各項評測分數): 這是最關鍵的部分！這些縮寫（如 MMBench, MME, SEED-Bench, LLaVA-Bench 等）代表了不同的評測集，每個評測集都側重於模型的不同能力。例如，MMBench 側重於模型的綜合推理能力，而某些評測則可能更側重於 OCR 或細節感知。
4. Parameters (模型參數): 數字代表了模型的「大小」，例如 7B (70億參數) 的模型比 70B (700億參數) 的模型對硬體要求低得多。可以根據第一步的硬體限制來篩選。
5. License (授權): 模型是否允許商用（例如 Apache 2.0, MIT），還是僅限研究使用。

第三步：開始篩選與建立候選名單

1. 初步排序：先點擊 Average 欄位進行排序，讓最強的幾個模型排在最前面，但切勿只看這個分數。
2. 根據任務篩選:若不確定哪個 Benchmark 對應我們需要的視覺任務，一個簡單的技巧是：尋找那些在多個主流 Benchmark（如 MMBench, MME, SEED-Bench）上得分都比較均衡且靠前的模型。 這類模型通常是「通才」，泛用性較好。
3. 根據限制過濾：查看 Parameters 欄位。如果電腦跑不動 70B 的模型，就果斷地往下看，尋找 7B 或 13B 級別中表現最好的模型。檢查 License 欄位，排除掉不符合使用需求的模型。
4. 建立候選名單

第四步：深入研究與實際測試

1. 點擊模型名稱：閱讀 README 文件
2. 尋找簡易 Demo：例如在Hugging Face上或是Colab進行測試，體驗模型效果
3. 親手測試：嘗試在自己的電腦/或未來場景適用的設備上把它跑起來，用 10-20 張真實任務會遇到的圖片來測試它，看看它的反應是否符合自己的預期。