iT邦幫忙

onnx runtime相關文章
共有 2 則文章
鐵人賽 AI & Data DAY 15
LLM 學習筆記 系列 第 15

技術 LLM Note Day 15 - ONNX & ONNX Runtime

簡介 ONNX Runtime (ORT) 與其他推論框架相比,是個相對古老的框架。但是他的泛用性相當高,可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...

鐵人賽 AI & Data DAY 27

技術 # Day27-Transformer 效能優化

這幾天玩下來,大家應該都有發現到一個問題,就是 Transformer 的效能不是太好,尤其你要在大吞吐量下運作,想必是非常的耗費運算資源。更不用說在不久的將來...