大量 web server log 大家都怎麼集中?

syslog log server web log

ARP 2017-05-10 16:24:24 ‧ 12764 瀏覽

分享至

請問各位高手, 若有大量的web server 想要集中收集access log & error log
大家會怎麼做?
目前僅透過kiwi syslog server 收集網路設備的syslog,
但web server的log 量很大, 且web server非常多台,
大家都是怎麼收集LOG的呢?
謝謝

跑跑貓力歐 iT邦新手 5 級 ‧ 2017-05-11 07:52:49 檢舉

可以用 logstash

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

3 個回答

IT 癡

iT邦高手 1 級 ‧ 2017-05-11 08:56:42

我用一部 4-bay/4TB4 (RAID 5) 的 NAS 專門收集 log ，並定時每個月壓縮前一個月 LOG 檔存到磁帶機，每年初在刪掉二年前 (就是只留前一年)

回應
分享
檢舉

登入發表回應

Ray

iT邦大神 1 級 ‧ 2017-05-11 11:25:25

你只是要收起來封存? 還是事後要分析?

若只是收起來的話, 上面的方案就可以用. 若要分析的話, 可能需要一整套的 Elasticsearch 架構才有辦法看那麼大的 Log:

https://www.linode.com/docs/databases/elasticsearch/visualizing-apache-webserver-logs-in-the-elk-stack-on-debian-8

https://logz.io/blog/apache-log-analyzer/

回應 3
分享
檢舉

ARP iT邦新手 5 級 ‧ 2017-05-17 16:04:17 檢舉

ray 大您好!!目前試用ELK的環境, 感覺還不錯, 但想再請教一下, 若是我想將收進來的log 分解取我所以需要的欄位呈現在kibana上, 我該如何做會比較好!!上網爬了logstash的文, 還是無法理grok該如何使用!不知是否方便分享經驗呢? 另外我目前是把E'L'K都裝在同一台機器上沒有使用Redis, 這樣的環境是可以承受大量的LOG?還是有其他建議呢?謝謝

Ray iT邦大神 1 級 ‧ 2017-05-18 00:50:32 檢舉

ELK 的架構設計有很多細節要處理, 他還有安全的問題, 以及效能調校等要處理. 請詳閱 ELK 官方的相關白皮書, 或是直接參加 ELK 官方舉辦的課程, 才會有詳細的資訊. 網路上的部落格大多不會把全部的細節都講出來.(因為太多細節講不完)

您現在安裝成 All-in-one 當然無法負荷大量的 Log, 但那也要看你如何定義「大量」, 最好一開始就把架構設計成 Cluster 的型態, 以後比較方便 Scale-out.

最近好像有個研討會會講 ELK 的初階入門問題, 我忘了是不是 COSCUP 2017? 只知道有位講師在準備 ELK 的簡報, 印象中是 3 小時課程.

ARP iT邦新手 5 級 ‧ 2017-05-18 11:45:41 檢舉

非常感謝雷大的經驗分享!!

登入發表回應

runan5678

iT邦研究生 1 級 ‧ 2017-05-11 14:49:26

Splunk
免費版 500MB/Day..
無論是收集或分析都很方便

回應 1
分享
檢舉

IT 癡 iT邦高手 1 級 ‧ 2017-05-21 10:03:04 檢舉

如何安裝 LOG 設備我覺得不是大問題，很多方案可處哩，重點是收集後的 LOG 檔如何處理，尤其如果已經有稽核制度的公司，更是重要，我目前一天所有的資訊設備 (主機 & 網通 & 備份 & 其他) (當然也要看收集時間點，我目前不包含網通的所有設備每 12 小時一次，網通設備每三小時一次) 加總約計在 480GB 上下，這對資訊單位事非常頭大的麻煩，所以我有二部專用 NAS 浮動儲存、一部 LTO 6 磁帶機 (4TB * 12)，我後來學乖了，資訊單位最後不要主動提類似這樣的解決方案，因為這會累死自己、吃力不討好，LOG 環境在非金融業或科技業其實不是必要性 (當然必要的環境還是要)

登入發表回應