▋前言
在 Day 4–Day 8,我們逐一介紹了四大核心模組。今天要將這些模組整合起來,展示完整的 系統架構與資料管線,並透過流程圖呈現「從輸入到產出」的全...
前情提要
前兩天介紹了資源估計的概念,大概知道了 attention 為什麼有序列長度二次方的關係,那在 inference 怎麼樣去做優化,這就是今天要介紹的...
▋前言
在系統中,我們不只要做逐字稿與情緒分析,還希望能生成「教學摘要」與「學習建議」。這就需要引入大型語言模型 (LLM)。
▋內容
比賽有一個限制:不得...
前言:另一條通往高速的道路
昨天我們認識了開啟大數據時代的 Hadoop,它擅長用批次處理 (Batch Processing) 的方式,處理海量的非結構化資料...
AI 時代到來,數據驅動不再只是「資料多」,而是要「即時可用」。推薦系統、fraud detection、AI decision engine,這些需求都希望資...
跑大語言模型的時候,你是不是一邊盯著終端機、一邊祈禱顯存不要爆掉?
本篇聚焦 安裝步驟 與 動態顯示 VRAM 的實戰做法,讓你即時看見顯存水位,避免 OOM...