iT邦幫忙

第 12 屆 iT 邦幫忙鐵人賽

DAY 28
0
Elastic Stack on Cloud

一目了然的資訊保健系列 第 28

28- Elastic Stack中的機器學習

這章來介紹一下 Elastic Cloud 一直再推的機器學習功能,看起來應該是用離群值等方式做判斷,對這不是很熟,就照著介紹操作。

參考: Putting anomalies into context with custom URLs in Kibana
https://www.elastic.co/blog/putting-anomalies-into-context-with-custom-urls-in-kibana?fbclid=IwAR02n7umvijPeb20YQwHP51qJIQQZyGdfy4GE1aWEJKvFXnObPrlHHjNglo

異常檢測 (Anomaly detection)

在資料探勘中,異常檢測對不符合預期模式或資料集中其他專案的專案、事件或觀測值的辨識。 通常異常專案會轉變成銀行欺詐、結構缺陷、醫療問題、文字錯誤等類型的問題。異常也被稱為離群值、新奇、噪聲、偏差和例外。 特別是在檢測濫用與網路入侵時,有趣性物件往往不是罕見物件,但卻是超出預料的突發活動。

資料

用預設提供的Nginx Sample data來分析

Machine Learning

Machine Learning > Anomaly Detection > Create Job > Types

Index pattern選擇kibana_sample_data

一開始不知道該如何處理時,可以先點Data Visualizer
https://ithelp.ithome.com.tw/upload/images/20200928/20077752TppFdmvUxH.png

點選Advanced
https://ithelp.ithome.com.tw/upload/images/20200928/20077752i5GoOJub4u.png

Configure datafeed

https://ithelp.ithome.com.tw/upload/images/20200928/20077752GVlCsftyJ4.png

Pick fields

這邊選擇用high count
https://ithelp.ithome.com.tw/upload/images/20200928/20077752EVq7h650ji.png

Job details

https://ithelp.ithome.com.tw/upload/images/20200928/200777527WUx250wVS.png

Anomaly detection jobs

看到剛剛建立的Job 1 點,點Open 1 in Anomaly Explorer
https://ithelp.ithome.com.tw/upload/images/20200928/20077752vaGmnCpiQf.png

點進去可以看到學習判斷異常的時間點,點箭頭Single Meric viewer
https://ithelp.ithome.com.tw/upload/images/20200928/20077752QINkI0Wkwv.png

因為是用hight count做,這邊紅點標示異於平時該時間點的count次數
https://ithelp.ithome.com.tw/upload/images/20200928/20077752yEfQtQkeWm.png

Elastic Cloud 有Demo 可以參考
Anomaly Explorer
https://ithelp.ithome.com.tw/upload/images/20200929/20077752hvU9h582kI.png


上一篇
27-日誌分析挖掘
下一篇
29-效能測試
系列文
一目了然的資訊保健30

尚未有邦友留言

立即登入留言