iT邦幫忙

model parallelization相關文章
共有 2 則文章
鐵人賽 生成式 AI DAY 23

技術 Day23 - vLLM實作篇PART2:模型平行化 / 預測推理 / 其他設定

前言 昨天的教學中,已經學會設定基本的OpenAI-Compatible Server方法了。 簡單回顧一下,若是什麼也沒設定,預設會是使用一個GPU。 🎮 筆...

鐵人賽 生成式 AI DAY 11

技術 Day11 - 沒有什麼是一個GPU不能解決的......Model Parallelization

前言 這一章將介紹LLM在GPU上平行化使用的方法,這章內容比較少,但標題很長XD 如果運算上有什麼資源不夠的,沒有什麼是一個GPU不能解決的,如果有的話,那...