ironman.group.18.generative-ai
Local LLM infra & Inference 一部曲
此系列是筆者的工作心得和學習 Local LLM 推理的筆記,分享一些 🏗️ 基礎建設 (Infrastructure)和 🧠 LLM 推理 (Inference)的相關知識,一起在運算資源不足的狀況下創造奇蹟✨🌟,成為生成式AI的運用高手!!!
在這裡我們有:
📚 LLM 推理基礎知識
🚀 推理加速相關技術 (理論)
⚙️ Local LLM 推理加速框架 (實作)
🏢 資料中心與分散式系統