iT邦幫忙

0

Docker TensorFlow Serving GPU 使用率

在docker內使用TensorFlow Serving

image:tensorflow/serving:latest-gpu

GPU

docker run -t --runtime=nvidia -p 8501:8501
--name tf_serving_gpu
-v "$TESTDATA:/models/fashion_model"
-e MODEL_NAME=fashion_model
tensorflow/serving:latest-gpu &

當container啟動後GPU都一直完全滿載,停止後馬上釋放出memory
https://ithelp.ithome.com.tw/upload/images/20201231/20119920ZTCcn1KRGE.jpg

是否有辦法可以設定使用率

謝謝

1 個回答

1
dominichc
iT邦新手 5 級 ‧ 2021-01-04 18:55:25
最佳解答

https://docs.docker.com/config/containers/resource_constraints/

啟動container時可以透過 --gpus設定使用量

draguitar iT邦新手 5 級 ‧ 2021-01-05 15:53:37 檢舉

十分感謝

我要發表回答

立即登入回答