iT邦幫忙

2021 iThome 鐵人賽

DAY 6
0
AI & Data

然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ)系列 第 6

[Day 06] 監控、維護 — 自己開一家徵信社吧!

大家好,在開始之前先祝大家中秋節快樂~~
/images/emoticon/emoticon61.gif

監控 (Monitor)

最常見的監控方法為儀表板 (Dashboard),依照專案可選擇適當的監控指標,而監控指標的決定則仰賴團隊集思廣益,想想哪些部份會出錯,並找出可以偵測到這些錯誤的統計值或指標,常見的指標如下:

  • Software metrics:用來監控軟體面的健康度,確保產品順利運行。
    例如:
    • 記憶體
    • 運算量
    • Latency
    • Throughput
    • 伺服器負載
  • Input/Output metrics:監控統計面的健康度,確保演算法表現良好,其中前者監控 X 的分佈是否改變 (Data drift)、後者監控演算法的輸出 Y 是否改變或使用者取得輸出後的行為是否改變 (Concept drift)。
    例如:
    • Input
      • 平均輸入長度 (NLP)
      • 平均輸入音量 (語音辨識)
      • 缺失值數量
      • 平均圖片亮度 (影像處理)
    • Output
      • 回傳 "" 的數量 (NLP)
      • 使用者重新搜尋的次數 (搜尋網站)
      • 使用者改為手動輸入的次數 (語音辨識)
      • CTR (推薦系統)

部署也是迭代的過程,因此一開始可以使用多種指標,隨時間慢慢挑出真的有幫助的就好。

維護 (Maintain)

藉由監控我們可以知道該如何維護系統,例如模型表現下降就得回到 Modeling 甚至 Data 階段來重新訓練或更新模型。

回到 Modeling 階段時可以選擇人工或自動化重新訓練,目前大部分應用都是採用人工,但某些應用 (如消費金融網路) 則更常採用自動重新訓練。

終於把理論的部分完成了,明天就讓我們開始實作簡單的模型部署,看看是甚麼感覺吧!
/images/emoticon/emoticon07.gif

參考資料


上一篇
[Day 05] 部署模式 — 我的模型叫崔弟
下一篇
[Day 07] 使用 fastAPI 部署 YOLOv4 (1/2) — 以內建 Client 進行互動
系列文
然後模型就死在 Jupyter Notebook 了 (ಥ﹏ಥ)30

尚未有邦友留言

立即登入留言