iT邦幫忙

batching相關文章
共有 1 則文章
0 Like 0 留言 207 瀏覽
鐵人賽 生成式 AI DAY 12
Local LLM infra & Inference 一部曲 系列 第 12 篇

技術 Day12 - 壓榨你的GPU，讓使用率up up up：Batching

前言 - 什麼是Batching？ 先前在 Day4 提到的吞吐量 (Throughput) 🚀 是伺服器在一定時間內可以處理的請求數量。透過增加吞吐量，可以同...

母湯小精靈 ‧ 2024-09-13 ‧團隊為了AI而AI
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
21841 篇
完賽人數
595 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙