iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 7
0
Elastic Stack on Cloud

ES 新手,破門而入!!!系列 第 7

【ES新手,破門而入!】Day7 - 沒有觀察,宇宙就不會坍縮!Observability 基礎之趴特萬

你可以學到?

接下來兩天,我們將學到如何整合 logs、metrics 和 APM 資料在同一個資料儲存的地方,也是 Observability 所涵蓋的範疇。

本篇的主題包含的實作有:

  1. Observability with Elastic Stack
  2. Logs

那我們就開始吧!

動手實作 EP6:Observability 基礎 - Part 1

Observability 基礎的官方教學資源可以參考這邊:https://www.elastic.co/training/observability-fundamentals

  1. 一開始我們先來熟悉練習用的環境,按下 Start Course,稍等一下後就會出現練習用的 VM 視窗在新的瀏覽器分頁。

  2. 出現後,我們可以從齒輪的地方按一下,選擇 Machine Info 來看看目前開啟 VM 的資訊。

  1. 點開後,我們可以看到 Public DNS 的資訊,把這段位址複製後貼到瀏覽器網址列上,就可以看到這兩天會用到的 Lab 指令。

  1. 點選 Lab Instructions,就可以歡樂的開始今天練習的部分啦!

Observability with the Elastic Stack

實作目標:

  • 介紹 lab 環境還有簡單概述其架構

練習用的 VM 架構,如下圖示,是可以讓你直接 ssh 連接到 server1,上面已經有搭載好了 Elastic Stack 和 Kibana

  1. 在練習用的 terminal 畫面,我們可以先用 ssh 指令連接到 server1 上,然後可以看看我們連接到的伺服器環境,底下有些什麼樣的資料夾,包含了之後會用到的 APM server, Elasticsearch, Filebeat, Kibana 和 Metricbeat 等檔案:
ssh server1

  1. 若你想要多開 terminal 分頁,也可以按下

  1. 我們可以用的下面連結,快速開啟 Console 的應用,Console 是 Kibana 的一個應用,類似於 IDE 用來和 Elasticsearch 互動的,這裡我們就簡單試一個搜索的 query,按下右邊長得像播放鈕的按鍵,你能不能看出來這次搜索找到了幾個文件呢?
<Public_DNS>/app/kibana#/dev_tools/console?_g=()

Logs

實作目標:

  • 讀取 NGINX log 檔案,並用 Elasticsearch 建立索引,最後用 Kibana 儀表板來監看 NGINX log。
  1. 先來看已經準備好的 filebeat.yml 檔案是長什麼樣子吧:
cd filebeat
cat filebeat.yml

可以看到 Filebeat 被設置為傳送資料至 server1:9200,Kibana 是運行在 server1:5601 上,而 enable module 是從 modules.d 這個路徑下讀取。

  1. 再來看看 NGINX 的設置:
cat modules.d/nginx.yml

基本上就是告訴 Filebeat 從哪邊搜集 NGINX 的 access 和 error 的 logs。

  1. 接著,就把 ES 建立索引模板、Kibana 儀表板、ML 工作設置和讀取pipeline,用 setup 指令讀取進來,並且運行 Filebeat 開始蒐集 logs。
./filebeat setup
./filebeat -e

  1. 下一步我們回到儀表板,搜尋輸入 nginx,選到 Overview ECS

  1. 你會看到類似下面的頁面,點選上方 Nginx access and error logs,就可以看到 Filebeat 蒐集 NGINX logs 的情形囉!

今日心得與短結

進入 Fundamentals training 的部分了,原本看官網教學資源上寫的花費時間要 2~3小時,覺得很抖,不過這兩天的實作看起來都還蠻輕鬆寫意的(?),希望接下來都是這個節奏!

今天我們學到了 Observability 基礎中的一個元素: logs 的串接,使用到了 Elastic Stack,明天會接著用到 metrics 和 APM 的部分了!


上一篇
【ES新手,破門而入!】Day6 - 科南找不到的讓科科男來找吧!App Search!
下一篇
【ES新手,破門而入!】Day8 - 見微知著,見更微知更著!Observability 基礎之趴特吐
系列文
ES 新手,破門而入!!!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言