關於ELK - Elasticsearch index過大的問題 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

關於ELK - Elasticsearch index過大的問題

elk linux elasticsearch

shadowpeople 2020-08-03 07:04:12 ‧ 2239 瀏覽

分享至

小弟剛開始接觸 ELK，對這個系統不是很瞭解
目前依照網路上教學架設了一台Linux+ELK的機器專門收公司的所有設備LOG(Firewall, Server)
經過一年多的時間發現每個月的LOG檔(每個月會截斷一次index分割出來)都非常大，平均大概是25-30G左右
不知道有沒有ELK的前輩可以指導將現在及歷史的Elasticsearch index 壓縮方式？

非常感謝！！

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

Ray

iT邦大神 1 級 ‧ 2020-08-03 10:49:17

如果當初全部都用預設值去建置的話, 現在應該是要根據你們的使用情境, 設計好適合你們用的參數之後, 另外建一套新的把資料轉過去:
從 10 秒到 2 秒！ElasticSearch 效能調優

回應 3
分享
檢舉

shadowpeople iT邦新手 1 級 ‧ 2020-08-03 11:06:37 檢舉

是有打算重新再弄一台，然後把資料轉過去。因為現在使用的ELK不是我安裝的，設定什麼我不是很熟悉。
這篇文章我有看過，我也有找過可以拿掉系統預設的mapping不必要的項目來降低索引的大小。
現在設定是每個月都會自動截斷索引一次，並且把歷史資料清除。但是截斷索引前需要備份出來保留五年，現在看到光備份的資料就5xxGB了，才想說有沒辦法壓縮這些資料，或讓索引的檔案縮小。
因為小弟之前並未摸索過這個系統，所以對找到的文件看的其實有點吃力 .......

參考mapping壓縮網址
https://blog.csdn.net/xtjsxtj/article/details/49662089
http://blog.ideawand.com/2017/09/23/notes-on-elasticsearch-mappings-and-kibana/