iT邦幫忙

speculative decoding相關文章
共有 2 則文章
鐵人賽 生成式 AI DAY 23

技術 Day23 - vLLM實作篇PART2:模型平行化 / 預測推理 / 其他設定

前言 昨天的教學中,已經學會設定基本的OpenAI-Compatible Server方法了。 簡單回顧一下,若是什麼也沒設定,預設會是使用一個GPU。 🎮 筆...

鐵人賽 生成式 AI DAY 18

技術 Day18 - 快......還要更快:Speculative decoding

前言 這一章將介紹 演算法層面最佳化 (Algorithm-level Optimization) ,這其中最知名的即為Speculative Decoding...