iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 9
0
自我挑戰組

機械學習網域事件關聯分析系列 第 9

Day9 總之該準備分析工具了(2)

介紹

既然要做Log關聯分析,在訓練模型去學習自家網域前,需要一些工具來視覺化大量的Log,這邊採用Open Source的ELK,如果自家公司有錢的話,其實也可以用Splunk,畢竟這部份是Log分析,就算不是要做機器學習,靠分析Log也能發現一些改善網域的趨勢,例如某些時段經常會有一台AP的CPU飆高,分析後發現是特定IP有用NAT,後面還有一整個組織的人在連,像是這樣的分析結果就可以用在改善HA,強制讓NAT連過來的Request分到其他主機上(在網路與系統分開且溝痛不良的時候還蠻需要的)。

ELK

Elasticsearch、Logstash、Kibana統稱ELK,分別處理搜尋、Log管理、視覺化,除了可以自己架以外,花錢也可以使用AWS上的instance來快速佈建,因為是自己要架來輔助實驗的,就不採用花錢的方案,這邊全部自己鍵在自家。

不過因為已經有用Windows Event Collector收集Log,這部分就不靠Logstash,再來就是處理Windows Event,用Winlogbeat來將Event Log解析成結構化的資料,讓Elasticsearch能夠輕鬆的搜尋。

接下來就該安裝ELK了,這部分我會把Elasticsearch、Logstash、Kibana分別裝在不同主機上,Logstash會跟Winlogbeat一起裝在Log Server上,為了避免單一天講太多,詳細過程就分成幾天講。


上一篇
Day8 總之要先有PROXY SERVER啊
下一篇
Day10 總之該準備分析工具了(3)
系列文
機械學習網域事件關聯分析17
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言