技術 Day23 - vLLM實作篇PART2：模型平行化 / 預測推理 / 其他設定

前言 昨天的教學中，已經學會設定基本的OpenAI-Compatible Server方法了。 簡單回顧一下，若是什麼也沒設定，預設會是使用一個GPU。 🎮 筆...

技術 Day18 - 快......還要更快：Speculative decoding

前言 這一章將介紹 演算法層面最佳化 (Algorithm-level Optimization) ，這其中最知名的即為Speculative Decoding...