大家好，在開始之前先祝大家中秋節快樂~~

監控 (Monitor)

最常見的監控方法為儀表板 (Dashboard)，依照專案可選擇適當的監控指標，而監控指標的決定則仰賴團隊集思廣益，想想哪些部份會出錯，並找出可以偵測到這些錯誤的統計值或指標，常見的指標如下：

• Software metrics：用來監控軟體面的健康度，確保產品順利運行。
  例如：
  • 記憶體
  • 運算量
  • Latency
  • Throughput
  • 伺服器負載
• Input/Output metrics：監控統計面的健康度，確保演算法表現良好，其中前者監控 X 的分佈是否改變 (Data drift)、後者監控演算法的輸出 Y 是否改變或使用者取得輸出後的行為是否改變 (Concept drift)。
  例如：
  • Input
    • 平均輸入長度 (NLP)
    • 平均輸入音量 (語音辨識)
    • 缺失值數量
    • 平均圖片亮度 (影像處理)
  • Output
    • 回傳 "" 的數量 (NLP)
    • 使用者重新搜尋的次數 (搜尋網站)
    • 使用者改為手動輸入的次數 (語音辨識)
    • CTR (推薦系統)

部署也是迭代的過程，因此一開始可以使用多種指標，隨時間慢慢挑出真的有幫助的就好。

維護 (Maintain)

藉由監控我們可以知道該如何維護系統，例如模型表現下降就得回到 Modeling 甚至 Data 階段來重新訓練或更新模型。

回到 Modeling 階段時可以選擇人工或自動化重新訓練，目前大部分應用都是採用人工，但某些應用 (如消費金融網路) 則更常採用自動重新訓練。

終於把理論的部分完成了，明天就讓我們開始實作簡單的模型部署，看看是甚麼感覺吧!

參考資料

• Monitoring ML Models
• Paleyes, A., Urma, R.-G., & Lawrence, N. D. (2020). Challenges in deploying machine learning: A survey of case studies.