iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 1
1
Elastic Stack on Cloud

ELK x SRE (沒時間了,你快變成賽亞人吧)系列 第 1

今夜,先來個開場,什麼是 ELK Stack?

  • 分享至 

  • xImage
  •  

你只聽過 ELK 而已嗎?

一句話粗淺表達 ELK Stack是什麼?

  • 為日誌的管理和分析,提供了一個簡單而強大的解決方案
  • Elasticsearch、Logstash、Kibana 和 Beats

https://ithelp.ithome.com.tw/upload/images/20200916/20109984kXvF8blM6z.png

https://ithelp.ithome.com.tw/upload/images/20200914/20109984leSBtxvcLW.png

ELK 的起源:Elasticsearch(NoSQL資料庫)

  • 作者(Shay Banon)為了他妻子不斷增長的食譜列表建立搜索引擎(真驚人!)。

  • 可以發現 Elasticsearch 已經 10 歲了!

  • Elasticsearch 是一個及時分散式的資料庫兼檢索引擎

  • 提供 REST API 方便大家操作

  • 可以用在任何需要把資料儲存並快速進行全文檢索

  • 搜尋引擎執行可以優化查詢的速度

https://ithelp.ithome.com.tw/upload/images/20200914/2010998465U8oN41cs.png

Elastic Stack 相關概念圖

ELK (Elasticsearch/Logstash/Kibana) 是一套完整的數據分析工具,
讓資料分析、統計更方便,
在了解 Elastic Stack 各元件功能後,
收集各來源數據,
並藉由事件管道將數據過濾及處理,
最後將數據轉換為最終所想要儲存的位置或格式。

下圖之後有機會再多加說明
https://ithelp.ithome.com.tw/upload/images/20200914/2010998410xCKdSK8L.png

ELK 近年來越來越受重視(與歡迎)的原因

面對大數據分析趨勢,
商業分析師、資料工程師、資料科學家等等,也可以很方便的利用 ELK LOG 分析工具,
建立視覺化數據分析,與客製化查詢想要的數據,
尤其是第一眼看到搭配精美的圖表,更是顯得親民呢。

各式異質性資料量(結構化、半結構化和非結構化)大幅增加,難以收集,
因此 Elasticsearch 的全文搜尋格外受到矚目與需要

很多實用的工具的發明,都是源自一個日常的剛性需求,然後發現大家都有這個需求,
販售量(軟體的下載量)就井噴了。

https://ithelp.ithome.com.tw/upload/images/20200914/20109984IoGh1iuQxv.png

https://ithelp.ithome.com.tw/upload/images/20200914/201099843uDti6SgjK.png

ELK 有競爭者嗎?當然有! 就是 Splunk......

  • 首先,ELK Stack 是開源的,方便組織可以更輕鬆地避免供應商鎖定和招募新人才。
  • ELK可能沒有Splunk的所有功能,但不需要那些分析性的東西
  • ELK是一個簡單但功能強大的日誌管理和分析平台,價格卻僅為其一小部分。

我公司的運維主管,透過快速的教學,已經能讓我的同事們(客服)都會觀看 Kibana 和 Grafana 惹

  • Splunk 長期以來一直是該領域的市場領導者。但是,其眾多功能越來越不值錢,特別是對於像SaaS產品和科技初創公司這樣的小型公司而言。
  • Splunk 大約有15,000個客戶,而 ELK在一個月內的下載次數超過了 Splunk 的總客戶數,而且是這一數字的許多倍

Splunk 在台灣也有總代理,那間公司在內科我去面試過.......

https://ithelp.ithome.com.tw/upload/images/20200914/20109984D4ftcJaZuv.png



回來這次 ELK Elastic Cloud

這次 ES 有提供 30 天的 free-trial 讓參賽者可以試用:
(雖然我覺得功能還是有點少 XD)

有 Machine Learning 的功能,這讓我蠻有興趣的,有機會來玩玩

可能我公司信箱收信的問題,最後我用別種方式註冊惹

ELASTICSEARCH SERVICE-3分鐘內部署 Elasticsearch 和 Kibana

https://ithelp.ithome.com.tw/upload/images/20200914/20109984zoPY3qecmJ.png

https://ithelp.ithome.com.tw/upload/images/20200914/20109984k7sVz8FMDa.png

https://ithelp.ithome.com.tw/upload/images/20200914/20109984USrkuqOHtR.png

https://ithelp.ithome.com.tw/upload/images/20200914/20109984ci53ZcMxVs.png


之後實作 ELK 的地方

官方提供了這些新手資源,我再斟酌服用喇:

  • 快速開始(Quick Starts)*5
  • 基本訓練(Fundamental Trainings) *11

Elastic Cloud

https://ithelp.ithome.com.tw/upload/images/20200914/20109984xiFKjqeVgj.png

流程圖用的 Logo

之後難免要畫流程圖,Logo 先準備好,個人喜好,這次統一色調黑白色~~

https://ithelp.ithome.com.tw/upload/images/20200914/20109984XwQIQCuhvE.png

第一天的文章應該得最快完成的,但寫完這篇,天空都已經魚肚白了......


下一篇
今夜,先來個視覺饗宴-初探 ELK Cloud & Kibana
系列文
ELK x SRE (沒時間了,你快變成賽亞人吧)9
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言