研究需要
想請益廣大版友 有實務經驗 用過目前支援中文的LLM模型
主要用途是codeing
希望是較新一點的版本 huggingface 有提供載點 或 提供關鍵字
已邀請的邦友 {{ invite_list.length }}/5
可以先用關鍵字找：Qwen 的 Coder 系列、DeepSeek-Coder 系列，在 Hugging Face 搜 "coder instruct" 加 GGUF 或 AWQ 量化版。中文程式需求通常是中文提問、英文程式碼輸出，這類 coder 模型多半都處理得來。
選型我會看三件事：一、VRAM 夠不夠，量化到 4-bit 大約是參數量的一半 GB 再加上 KV cache；二、用 llama.cpp 或 Ollama 先跑起來，比較快確認能不能用；三、用自己真實的 10 到 20 個任務（改 bug、寫測試、解釋舊程式）固定提示詞各跑一次，比看排行榜準。
另外上面提到 gemma 對 coding 不足，通常是模型不是 coder 專用，換成 coder 版本再用同一組任務比較就能看出差異。
我也用 Qwen 3.8 27B 對付 VisualStudio Code 跟 Android Studio 的 agent
在DGX微主機上跑，跑agent/速度還可以
iThome鐵人賽
看影片追技術