• 在網路情境常以 API 請求服務，用於生產的機械學習亦可用 REST API 形式提供服務。在Day 20、Day 21、Day 22 介紹部署在算力有限的終端設備可採用的 TensorFlow Lite，本篇將使用 透過 TensorFlow Serving 部署您的模型作為網路服務可用的 REST API。
• 範例參考官方範例調整而成，Colab 。

使用 TensorFlow Serving 部署 REST API 實作

• 在此範例中，您將部署一個具有分類能力的 REST API 服務，流程為
  • 建立與訓練模型。
  • 安裝與啟動 TensorFlow Serving。
  • 以 Requests 向 TensorFlow Serving 提出請求。

1. 下載資料及訓練模型

• 由於重點在如何啟動一個TensorFlow Severing 服務，資料採用 keras.datasets.cifar10 進行示範，CIFAR10 為小型的影像分類資料集，具有 50,000 筆訓練資料集與 10,000 筆測試資料集，皆為 32X32 像素的彩色圖片。更多資訊參閱官方介紹， 10 種分類與描述如下:
  

• 建立簡易模型，程式碼參閱 Colab 。
  

2. 儲存模型

• 將模型保存為SavedModel格式，以便將模型加載到 TensorFlow Serving 中。

• TensorFlow Serving允許我們在發出推理請求時選擇要使用的模型版本或「可服務」版本。每個版本將導出到給定路徑下的不同子目錄。為此，需在目錄創建 protobuf 文件，並將包含一個版本號，此版本號碼也是後續 API 所使用的參數之一。

• 以下會在/tmp/建立版次版次version = 1之相關檔案。

  # Fetch the Keras session and save the model
  # The signature definition is defined by the input and output tensors,
  # and stored with the default serving key
  import tempfile
  
  MODEL_DIR = tempfile.gettempdir()
  version = 1
  export_path = os.path.join(MODEL_DIR, str(version))
  print(f'export_path = {export_path}')
  
  tf.keras.models.save_model(
      model,
      export_path,
      overwrite=True,
      include_optimizer=True,
      save_format=None,
      signatures=None,
      options=None
  )
  
  print('Saved model:')
  !ls -l {export_path}
  

  

3. 檢查我們的Saved model

• saved_model_cli 可以檢查前述SavedModel中相關資訊，這對理解模型相當有用，包含:
  • MetaGraphDefs（模型）
  • SignatureDefs（您可以調用的方法）
• SavedModel CLI的詳細說明可參閱TensorFlow 指南。

  !saved_model_cli show --dir {export_path} --all
  

  
  (以下略)

4. 建立 TensorFlow Serving 服務

• 依官方範例此為Colab環境所需設定內容，如使用本機端的 Notebook ，請注意相關提醒。

• 使用 Aptitude 安裝 TensorFlow Serving，因為 Colab 在 Debian 環境中運行，所以可以安裝 Debian 相關套件。將 tensorflow-model-server 以 Root 身分添加到 Aptitude 知道的套件列表中。

• 另外最簡單的方式是以 Docker 佈署 TensorFlow Serving，您可自行參考Docker 範例。

  
  !echo "deb http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | {SUDO_IF_NEEDED} tee /etc/apt/sources.list.d/tensorflow-serving.list && \
  curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | {SUDO_IF_NEEDED} apt-key add -
  !{SUDO_IF_NEEDED} apt update
  
  !{SUDO_IF_NEEDED} apt-get install tensorflow-model-server
  

5. 啟動 TensorFlow Serving

• 加載後，我們可以開始使用 REST 發出推理請求，相關參數:

  • rest_api_port： REST 請求的 Port。
  • model_name：您將在 REST 請求的 URL 中使用它。
  • model_base_path：保存模型的目錄的路徑。

  %%bash --bg 
  nohup tensorflow_model_server \
    --rest_api_port=8501 \
    --model_name=fashion_model \
    --model_base_path="${MODEL_DIR}" >server.log 2>&1
  
  

6. 向 TensorFlow Serving 提出請求

• 預設請求最新版本的 servable 。

  import requests
  headers = {"content-type": "application/json"}
  json_response = requests.post(
      'http://localhost:8501/v1/models/fashion_model:predict', 
      data=data, 
      headers=headers
      )
  
  predictions = json.loads(json_response.text)['predictions']
  
  show(0, 'The model thought this was a {} (class {}), and it was actually a {} (class {})'.format(
    class_names[np.argmax(predictions[0])], np.argmax(predictions[0]), class_names[int(test_labels[0])], test_labels[0]))
  

• 向伺服器請求指定版本version = 1 。

  # docs_infra: no_execute
  version = 1
  
  headers = {"content-type": "application/json"}
  json_response = requests.post(
      f'http://localhost:8501/v1/models/fashion_model/versions/{version}:predict', 
      data=data, 
      headers=headers
      )
  
  predictions = json.loads(json_response.text)['predictions']
  
  for i in range(0,3):
    show(i, 'The model thought this was a {} (class {}), and it was actually a {} (class {})'.format(
      class_names[np.argmax(predictions[i])], np.argmax(predictions[i]), class_names[int(test_labels[i])], test_labels[i]))
  
  

  

小結

• 由於提供網路服務的工程師相當熟悉 REST API 的溝通方式，以指定 URI 即可取得所需資訊相當便捷，您也會發現 TensorFlow Serving 簡化諸多部署 API 的設定細節。
• 截至此篇文章將實踐 MLOps 在範疇、資料、模型與部署的相關概念與做法介紹後，接連 2 篇將接紹用於生產的機械學習框架 TensorFlow Extended (TFX) ，謝謝您一路堅持至今，我們下篇見。
  

參考

• TensorFlow Serving 範例說明