Docker TensorFlow Serving GPU 使用率

docker tensorflow serving tensorflow python

draguitar 2020-12-31 13:29:39 ‧ 1682 瀏覽

分享至

在docker內使用TensorFlow Serving

image：tensorflow/serving:latest-gpu

GPU

docker run -t --runtime=nvidia -p 8501:8501
--name tf_serving_gpu
-v "$TESTDATA:/models/fashion_model"
-e MODEL_NAME=fashion_model
tensorflow/serving:latest-gpu &

當container啟動後GPU都一直完全滿載，停止後馬上釋放出memory

是否有辦法可以設定使用率

謝謝

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

dominichc

iT邦新手 5 級 ‧ 2021-01-04 18:55:25

最佳解答

https://docs.docker.com/config/containers/resource_constraints/

啟動container時可以透過 --gpus設定使用量

回應 1
分享
檢舉

draguitar iT邦新手 4 級 ‧ 2021-01-05 15:53:37 檢舉

十分感謝

登入發表回應

我要發表回答

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22195 篇

完賽人數

600 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙