技術 [心得] 簡單判斷Ollama的AI模型本機可使用大小及用途

判斷GPU能跑哪個模型 在 ollama.com 找到模型後，在模型頁上顯示模型大小，以「starcoder2 3B」為例https://ollama.com/...

技術 Day6 - 選擇適合你VRAM的模型

前言 傳統NLP模型比較小，只需要考慮compute bound的，但現在LLM模型很大了，基本上就是考驗memory bound的時代，這章將來介紹LLM與V...

技術 Day13 - 壓榨完GPU換壓榨VRAM：PagedAttention

前言 在 Day6 的時候我們提到當context length越長，KV cache也會越大，分配KV cache也成為一個挑戰的工作 🧠。在 Day12 學...