技術 LLM Note Day 16 - ggml & llama.cpp

簡介 ggml 是 ggerganov 開發的一個機器學習框架，主打純 C 語言、輕量化且可以在 Apple 裝置上執行等功能。大概 2022 年底的時候，就常...

技術 在 Windows 上編譯 llama.cpp 專案

最近接觸到要將 LLM 放在 Windows 筆電上運行的案子，需對 llama.cpp 做一些自訂選項的編譯，因此無法直接拿 GitHub 上的 Releas...

技術 在 Colab 上無痛產出 llama.cpp gguf 量化模型

llama.cpp 是個相當受歡迎的語言模型推論框架，但一些相關的環境配置、編譯手法稍微困難一點，若不是有點技術底，一開始玩起來是頗痛苦。 好在後來作者都會定期...