此系列是筆者的工作心得和學習 Local LLM 推理的筆記,分享一些 🏗️ 基礎建設 (Infrastructure)和 🧠 LLM 推理 (Inference)的相關知識,一起在運算資源不足的狀況下創造奇蹟✨🌟,成為生成式AI的運用高手!!!
在這裡我們有:
📚 LLM 推理基礎知識
🚀 推理加速相關技術 (理論)
⚙️ Local LLM 推理加速框架 (實作)
🏢 資料中心與分散式系統
前言 - 為什麼基礎建設很重要? 嗨嗨,大家好,我是精靈。 身為畢業兩年左右的菜鳥,因為意外不小心跳入了infra火坑,爬上來之後又意外吃了LLM這塊餅。接觸了...
LLM大坑簡介 大型語言模型(LLM)的出現讓自然語言處理(NLP)有重大革命,以往NLP分成各式各樣的任務,像是翻譯、分類、摘要、資訊擷取等等,原本每一個任務...
剛學習LLM的時候,只會知道要用GPU,因為他的平行計算能力比較快。不過真的只有這樣嗎? (圖源: 自製) 在運算的過程中,最主要會消耗的是大量的記憶體(資料...
這一篇將介紹LLM服務有關推理計算的評估指標 (Computation evaluation metrics)。 這個分類是參考論文Beyond Efficie...
前言 以前在infra的時代,都是一個人顧幾百台的server,其中當也幾台是GPU server,可惜當時只知道怎麼維運監控報修打雜;在學校時設備前人都弄好了...
前言 傳統NLP模型比較小,只需要考慮compute bound的,但現在LLM模型很大了,基本上就是考驗memory bound的時代,這章將來介紹LLM與V...