iT邦幫忙

batching相關文章
共有 1 則文章
鐵人賽 生成式 AI DAY 12

技術 Day12 - 壓榨你的GPU,讓使用率up up up:Batching

前言 - 什麼是Batching? 先前在 Day4 提到的吞吐量 (Throughput) 🚀 是伺服器在一定時間內可以處理的請求數量。透過增加吞吐量,可以同...