技術 LLM Note Day 15 - ONNX & ONNX Runtime

簡介 ONNX Runtime (ORT) 與其他推論框架相比，是個相對古老的框架。但是他的泛用性相當高，可以適用於幾乎任何模型上。而 ORT 不只專注在推論上...

技術 [Day29] Model Serving with Triton Inference Server

前言 在一般的模型開發流程中，我們經歷過了Training、Testing之後。如果順利完成了一個不錯的模型，但那之後呢？今天要介紹的就是所謂的Serving，...

技術 淺談ONNX交換格式

ONNX（Open Neural Network Exchange）是一套開放神經網路交換格式，由 Facebook、微軟結盟推出， 並獲得 Intel、AMD...