iT邦幫忙

triton inference server相關文章
共有 2 則文章
鐵人賽 AI & Data DAY 29

技術 # Day29- 部署 Hugging Face model

我們前幾天自己訓練的模型,都可以在 TrainingArguments 裡面加個參數 push_to_hub=True ,把模型推送到 Hugging Face...

鐵人賽 AI & Data DAY 29
PyTorch 生態鏈實戰運用 系列 第 29

技術 [Day29] Model Serving with Triton Inference Server

前言 在一般的模型開發流程中,我們經歷過了Training、Testing之後。如果順利完成了一個不錯的模型,但那之後呢?今天要介紹的就是所謂的Serving,...