今天來分享一下前面提到的時間序列模型與分群模型當時我使用什麼方式來進行模型評估 ~

模型上線前

時間序列模型

評估 MSE, MAE, RMSE 看一下每個預測的結果的誤差是不是需求單位可接受的範圍。
同時也稍微使用 R-squared score 來進行評估。
監督式學習的模型還好處理，有標準等案可以對，接下來我們來看看非監督式學習吧。

分群模型

因為是非監督式學習，所以沒有標準答案可以對。
這時候，我看我想抓的那群的表現，在需求單位實際使用後的回饋情形。
由於那時的模型結果剛好與需求單位的 KPI 目標符合，所以容易取得每月的資料回饋。這時就可以針對回饋的內容進行成效的分析。如果發現回饋後的結果目標群中，部份資料點沒有準確或是有疑慮，這時就可以細查或訪談是否是資料、模型或是模型使用上的問題，再加以排除。

模型上線後

除了與需求單位的進一步溝通、訪談外，實際看預測的數據是否與實際值的結果在成效上與上線前的模型評估相同、進一步田野調查也是相當重要的。
想特別提到這點的部份也是過去經驗有發生訪談後發現預測資料串接上有些異常，所幸可以即時調整。

總之，為了模型可以符合實際需求，反覆查看、驗證自己做出來的模型結果，真的是相當重要的一環啊 ~