ONNX model轉TensorRT

#onnx #tensorrt #onnxruntime

Daniel201 2023-06-16 10:57:10 ‧ 490 瀏覽

目前有一個sample code可以將ResNet18轉成TensorRT且為FP16，但在轉ResNet50的時候會發生記憶體使用率暴增導致process killed。
如果不轉成FP16而是直接使用FP32反而是正常，想請問各位大大有沒有遇過相同的情況或是我該怎麼做才對?

增廣建文 iT邦研究生 5 級 ‧ 2023-06-19 08:38:08 檢舉

這只能開issue或是找memory/ VRAM更大的機器測試了

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

立即登入回答

參賽組數

1123 組

團體組數

52 組

累計文章數

23096 篇

完賽人數

656 人

IT邦幫忙