iT邦幫忙

第 12 屆 iT 邦幫忙鐵人賽

DAY 26
0
Elastic Stack on Cloud

ES 新手,破門而入!!!系列 第 26

【ES新手,破門而入!】Day26 - 預防勝於治療!網路異常偵測觀念篇!

你可以學到?

原本打算要實作 Elastic Endpoint Security 的部分,但是不知道為什麼在練習的環境一直無法連線到指定的路徑,嘗試很久之後還是沒辦法只好先放棄,之後有機會再補上這個部分好了QQ

接下來兩天,我們將了解 Elastic machine learning 的功能來幫助建構網路安全的行為模型,藉此可以幫助我們找出異常的資料。

本篇的主題包含有:

  1. 異常偵測簡介

那我們就開始吧!

異常偵測簡介

機器學習 in 3 seconds

在機器學習中,有三大構成要素:方法、資料和問題,各又可以進一步細分成:

方法:

  • 監督式學習
  • 非監督式學習
  • (強化學習)

資料:

  • 時間序列
  • Cross section(?)
  • Panel(?)

問題:

  • 迴歸
  • 分類

而異常偵測的問題,就算是機器學習中,分類問題中的其中一種!

網路威脅分類

網路威脅的分類中,比較大種類的大致上可分為 7 種:

  • Abusive content
  • Malware
  • Availability attacks
  • Inoformation gathering
  • Intrusion
  • Intrusion attempts
  • Fraud

這邊我們將使用異常偵測模型於 Intrusion 這類型的威脅。

為什麼要用 ES 做網路異常偵測?

因為下列這些原因,我們不得不朝向自動化:

  • 系統和網路複雜度越來越高
  • 攻擊越來越複雜
  • 資料量越來越大
  • 人的精力有限

而使用 ES 做網路異常偵測的目的就在於:自動地偵測攻擊行為

異常偵測流程

在 Elatic 中,異常偵測的流程如下圖示,包含有:

  1. 時間序列資料的產生
  2. 送進 ES 做儲存、建立索引
  3. 使用機器學習模型分析、預測,並且把結果存進 ES
  4. 最後用 Kibana 做視覺化的呈現

如果再把中間的步驟,放大來看,可以看到:

  1. 先從 ES 取出資料和拿出機器學習的模型
  2. 預測結果,並把結果存在另外一個 ES 索引中
  3. 如果有需要的話,使用這些資料更新模型
  4. Kibana 把模型預測的結果做視覺化,同時若預測結果是異常的資料的話,產生警示

今日心得與短結

可惡,不得不說實作練習真的蠻容易遇到未知的問題,看來這就是 TENET 吧!(剛好今天去看完了哈哈哈)

今天我們了解了異常偵測的基本觀念,明天就來實際操作吧!(希望不要再遇到問題了ㄎㄎ)


上一篇
【ES新手,破門而入!】Day25 - Security 點線面,從安全的 Endpoint 出發!
下一篇
【ES新手,破門而入!】Day27 - 預防勝於治療!網路異常偵測保健篇!
系列文
ES 新手,破門而入!!!30

尚未有邦友留言

立即登入留言