iT邦幫忙

0

syslog轉發到ELK

  • 分享至 

  • xImage

各位前輩好,目前有幾個問題想求指教,麻煩各位了,十分感謝!

  • 目標:將設備的system log & service log送到ELK上
  • 環境:linux redhat 5.7數台(syslog)、ubuntu 20.04數台(rsyslog)、windows server 2012&2019數台、網通設備等,ELK&Logstash已有建置好

目前我的想法是架一台Rsyslog server(簡稱R主機),將主機上的syslog透過設定指向R主機後,以JSON格式送到Logstash,接下來再由負責ELK同事協助轉送。(或有其他建議也歡迎)
但在爬文過程中有點迷惘,想請前輩指點迷津,因為現有環境力求穩定(且都實體機沒有還原點用),我怕我搞不清楚會發生遺憾的事
Rsyslog看似為linux原生套件,在新版本內才有,大多數主機我用rpm -qa | grep rsyslog查都沒有使用,應是用原本的syslog

1.如果中間不裝R主機,直接將以下IP設定成ELK或Logstash可行嗎?(目前有些伺服器有Webui的,有從上面設定syslog server指向ELK,EX HP iLo)
2.可以修改redhat的/etc/sysconfig就好嗎?但這幾台不是使用Rsyslog
*.info;mail.none;authpriv.none;cron.none @R主機IP
(修改下圖第三行如上)
https://ithelp.ithome.com.tw/upload/images/20220602/20113084MEEdzM4fj5.png
3.ubuntu有rsyslog,client看似只要修改/etc/rsyslog.conf如下圖就可以使用?
https://ithelp.ithome.com.tw/upload/images/20220602/20113084VLVe3CjB4y.png
4.在Rsyslog官方有看到Window agent,但是還沒仔細研究可行性,有看到很多網友都有中文的問題,目前看似要裝agent進去才能用?
5.R主機可以收上面2~4不同來源及版本的嗎?
6.如果2~4的log都成功送到R主機,那在本機是否就不會寫入到/var/log/message等記錄檔內?
7.網通設備如思科,我設定以下指令就可以成功將log傳到ELK了嗎?還有LB及Router,應該是相同設定概念?

SW端
#conf t
#logging ELKIP
ELK端
修改/etc/syslog.conf
加入Log類型與寫入位置如下圖

https://ithelp.ithome.com.tw/upload/images/20220602/20113084caVDn8kHjS.png
8.如有運行程式,想收集服務log,也能用Rsyslog去收嗎?
9.關於收集log的空間問題,我這些設備雖然數目不多,五花八門各類加總也有個40台,想請問前輩們都是怎麼估算空間是否足夠的?

先跪下>< 問題真的好多,查網路資料大部分前輩都是將舊系統直接yum install rsyslog,但我的環境無外網,要裝東西十分困難,而且怕出錯造成log全不見或是直接塞爆硬碟,上來希望能明亮我眼前的迷霧

如看到此處,無論如何,先預祝您有美好健康的每一天!/images/emoticon/emoticon41.gif

圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

1 個回答

1
補覺鳴詩
iT邦高手 1 級 ‧ 2022-06-02 21:40:12
最佳解答

1.如果中間不裝R主機,直接將以下IP設定成ELK或Logstash可行嗎?(目前有些伺服器有Webui的,有從上面設定syslog server指向ELK,EX HP iLo)

首先 logstash 就可以是 syslog server
所有不需要額外一套 rsyslog server 在中間處理
https://www.elastic.co/guide/en/logstash/current/plugins-inputs-syslog.html

2.可以修改redhat的/etc/sysconfig就好嗎?但這幾台不是使用Rsyslog
*.info;mail.none;authpriv.none;cron.none @R主機IP
3.ubuntu有rsyslog,client看似只要修改/etc/rsyslog.conf如下圖就可以使用?

這問題首先要看你的 OS syslog 套件是什麼
你知道你用的是什麼套件後,自然就能在網路上找到設定方法
比較早的 OS 用的是 syslog 新的用的是 rsyslog
基本的設定會相通
跟 3 一樣,基本就是這樣設定

4.在Rsyslog官方有看到Window agent,但是還沒仔細研究可行性,有看到很多網友都有中文的問題,目前看似要裝agent進去才能用?

ELK 官方提供 beats 套件來轉送 log
不需要再找第三方的東西增加自己的難度

5.R主機可以收上面2~4不同來源及版本的嗎?

不管是哪個 syslog server, 都行

6.如果2~4的log都成功送到R主機,那在本機是否就不會寫入到/var/log/message等記錄檔內?

這看你的設定是什麼
可以只送一邊.或都送

7.網通設備如思科,我設定以下指令就可以成功將log傳到ELK了嗎?還有LB及Router,應該是相同設定概念?

這要放大一點去看
送 log 這件事情,有個標準的 protocol 叫 syslog
只要該設備支援 syslog 就能送

ELK端要設定 logstash, 不是 syslog 套件

前面講的 syslog 套件, 是把 log 發出去
不是收 log
logstash 負責收 log 所以你要設定他才對

8.如有運行程式,想收集服務log,也能用Rsyslog去收嗎?

用 ELK 官方提供 beats 套件來轉送 log

9.關於收集log的空間問題,我這些設備雖然數目不多,五花八門各類加總也有個40台,想請問前輩們都是怎麼估算空間是否足夠的?

這你一定要收收看才能知道量
因為不同的設備送的量差距會非常大

十分感激您詳細的解答!收益良多!
原本有點陷在盲點內><
/images/emoticon/emoticon41.gif

ELK 官方提供 beats 套件來轉送 log
不需要再找第三方的東西增加自己的難度

除使用原生syslog套件外,其餘想收額外log的主機再安裝ELK的Filebeat應該可以達成目的。

首先 logstash 就可以是 syslog server
所有不需要額外一套 rsyslog server 在中間處理

那我的期望架構應為:主機(安裝Filebeat)->logstash->ELK。

這看你的設定是什麼
可以只送一邊.或都送

然後我再研究下這個,有看到曙光的感覺

julia1304
iT邦見習生 ‧ 2022-06-03 10:11:48
【**此則訊息已被站方移除**】

我要發表回答

立即登入回答