前言 - 什麼是Batching?
先前在 Day4 提到的吞吐量 (Throughput) 🚀 是伺服器在一定時間內可以處理的請求數量。透過增加吞吐量,可以同...
依程式或註解內容的程式建議
與 Github Copilot 一樣,Cursor 也會依我們的程式來給建議,以目前我的使用經驗,Cursor 會直接依所開啟的檔...
鐵人賽的最後,我們再來談最近很多人關心的主題:LLMOps。
過去幾年中,MLOps 已經成為顯學。MLOps 以其自動化、標準化以及對模型全生命周期管理的能力...
前情提要
上一篇文章實作了 RAG 的實作,我們從資料庫檢索提示的資料給 AI,讓 AI 回答正確的內容。那接下來要再繼續看一個技術,就是 Memory 功能啦...
前情提要
上一篇文章了解了 Hugging Face 這個開源模型的大平台,但想要開發還是需要寫程式。別的程式語言我不熟我是不知道,但 Python 的套件百百...
前情提要
上一篇文章了解虛擬環境的重要性,還有將這些工具給準備好了!今天就要開始進行簡單的程式實戰,搭配 Poetry 虛擬環境來管理 Python 環境。
T...