iT邦幫忙

0

大量 web server log 大家都怎麼集中?

ARP 2017-05-10 16:24:246581 瀏覽

請問各位高手, 若有大量的web server 想要集中收集access log & error log
大家會怎麼做?
目前僅透過kiwi syslog server 收集網路設備的syslog,
但web server的log 量很大, 且web server非常多台,
大家都是怎麼收集LOG的呢?
謝謝

可以用 logstash
1
kiwiaa
iT邦研究生 3 級 ‧ 2017-05-11 08:56:42

我用一部 4-bay/4TB4 (RAID 5) 的 NAS 專門收集 log ,並定時每個月壓縮前一個月 LOG 檔存到磁帶機,每年初在刪掉二年前 (就是只留前一年)

1
raytracy
iT邦大神 1 級 ‧ 2017-05-11 11:25:25

你只是要收起來封存? 還是事後要分析?

若只是收起來的話, 上面的方案就可以用. 若要分析的話, 可能需要一整套的 Elasticsearch 架構才有辦法看那麼大的 Log:

https://www.linode.com/docs/databases/elasticsearch/visualizing-apache-webserver-logs-in-the-elk-stack-on-debian-8

https://logz.io/blog/apache-log-analyzer/

ARP iT邦新手 5 級 ‧ 2017-05-17 16:04:17 檢舉

ray 大您好!!目前試用ELK的環境, 感覺還不錯, 但想再請教一下, 若是我想將收進來的log 分解取我所以需要的欄位呈現在kibana上, 我該如何做會比較好!!上網爬了logstash的文, 還是無法理grok該如何使用!不知是否方便分享經驗呢? 另外我目前是把E'L'K都裝在同一台機器上沒有使用Redis, 這樣的環境是可以承受大量的LOG?還是有其他建議呢?謝謝

raytracy iT邦大神 1 級 ‧ 2017-05-18 00:50:32 檢舉

ELK 的架構設計有很多細節要處理, 他還有安全的問題, 以及效能調校等要處理. 請詳閱 ELK 官方的相關白皮書, 或是直接參加 ELK 官方舉辦的課程, 才會有詳細的資訊. 網路上的部落格大多不會把全部的細節都講出來.(因為太多細節講不完)

您現在安裝成 All-in-one 當然無法負荷大量的 Log, 但那也要看你如何定義「大量」, 最好一開始就把架構設計成 Cluster 的型態, 以後比較方便 Scale-out.

最近好像有個研討會會講 ELK 的初階入門問題, 我忘了是不是 COSCUP 2017? 只知道有位講師在準備 ELK 的簡報, 印象中是 3 小時課程.

ARP iT邦新手 5 級 ‧ 2017-05-18 11:45:41 檢舉

非常感謝雷大的經驗分享!!

1
runan5678
iT邦新手 2 級 ‧ 2017-05-11 14:49:26

Splunk
免費版 500MB/Day..
無論是收集或分析都很方便

kiwiaa iT邦研究生 3 級 ‧ 2017-05-21 10:03:04 檢舉

如何安裝 LOG 設備我覺得不是大問題,很多方案可處哩,重點是收集後的 LOG 檔如何處理,尤其如果已經有稽核制度的公司,更是重要,我目前一天所有的資訊設備 (主機 & 網通 & 備份 & 其他) (當然也要看收集時間點,我目前不包含網通的所有設備每 12 小時一次,網通設備每三小時一次) 加總約計在 480GB 上下,這對資訊單位事非常頭大的麻煩,所以我有二部專用 NAS 浮動儲存、一部 LTO 6 磁帶機 (4TB * 12),我後來學乖了,資訊單位最後不要主動提類似這樣的解決方案,因為這會累死自己、吃力不討好,LOG 環境在非金融業或科技業其實不是必要性 (當然必要的環境還是要)

我要發表回答

立即登入回答