iT邦幫忙

0

一個完善的log server需要考慮到哪些東西?

公司打算用ELK來建立log server,想請問各位先進,一個完善的log server需要考慮到哪些東西?

目前想到如下,若方向錯誤也請各位指點

1.確認收集目標
2.保存天數
3.訪問權限
4.負載平衡
5.Hot warm cold data的轉換
6.視覺化分析

謝謝

8
raytracy
iT邦大神 1 級 ‧ 2021-02-17 10:38:06
  1. 查詢語法
  2. 資料匯入匯出
  3. 效能(查詢/收集/轉換)
  4. 去識別化選項
  5. 災難復原能力

3.訪問權限 可能會太簡單, 應該至少要有 RBAC 的設定能力...
4和9或許可以合併

看更多先前的回應...收起先前的回應...

看起來好像有點在講 Database Server 哩...
/images/emoticon/emoticon25.gif

其實廣義來說 logserver也算是DB server的一種哈哈

raytracy iT邦大神 1 級 ‧ 2021-02-17 13:39:12 檢舉

因為大家都只想到把 log 存進去, 卻沒想好 log 要怎麼查詢?....當你一天會產生 10GB 的 Log 時, 全欄位檢索會是一個噩夢......

曾經沒考量LOG的容量問題,直到被放了將近100g的容量造成空間不足當站的人 留!!!!

想請問樓上後來怎麼解決此問題

raytracy iT邦大神 1 級 ‧ 2021-02-17 16:16:23 檢舉

TB/PB 級的文字類大數據索引, 近代已經有專用的 Storage 和查詢方法, 不會塞進傳統 RDBMS/RAID Storage 去操.....

像樓主提到的 ELK, 底層是用 Apache Lucene 鋪出 Storage 的, 其他開源的方案還有 Hadoop 等...

打雜工 iT邦新手 3 級 ‧ 2021-02-21 23:29:21 檢舉

建議加一個不可竄改性,以避免log被竄改

0
CyberSerge
iT邦好手 1 級 ‧ 2021-02-18 00:57:38

一個單純的log server
和一個SIEM或者SIEM+SOAR平台
考量會有所不同。

再者以功能性來說,你希望它用來監控、除錯(OPS focused);為了滿足法遵法規需求(Compliance Focused);或者是著重資安威脅偵測(security focused)。對於個別功能需求比重也會不一樣。

0
kikulu
iT邦研究生 4 級 ‧ 2021-02-20 09:45:16

可以去參考類似的平台服務,看他們有什麼功能,篩選一下選出自己要作的,從頭摸索會根據需求的演進一直調整,不如先看別人怎麼做

https://www.rizhiyi.com/

https://www.humio.com/

https://www.datadoghq.com.tw/log-manage/

我要發表回答

立即登入回答