Filebeat

本篇介紹filebeat是什麼以及如何安裝及建置
下一篇瀏覽此篇建置完成的kibana dashboard

Overview

Filebeat是個輕量化的shipper(托運人)，用來forward(轉發)和集中log data，
在servers上安裝他，以agent(代理商)的角色監控指定的log files，
收集log events，然後forward(轉發)至es或Logstash來建立索引

Filebeat是Elastic Beat的其中一種，是奠基於 libbeat framework的

How Filebeat works

說明搭配下圖(取自官網)可更好理解
Filebeat可以包含一個或多個input，而每一個input可以指定多個log data locations，
filebeat針對每一個log都會有一個 harvester， harvester會讀取log的每一行，
如有新的內容，則會傳送至libbeat，libbeat會聚合data，然後再送至設定的output，
output可以是es或Logstash

Filebeat installation and configuration

如下是以我在自己的電腦的安裝步驟 (OS為 Windows 10)

前置作業
需要完成Elastic Cloud的部署，如未完成請先至 Elastic Stack第三重 完成部署

Step 1: Install Filebeat (安裝Filebeat)

1. 至 downloads page 下載

我下載的版本是 7.9.2 WINDOWS ZIP 64-BIT

2. 解壓縮至欲存放的目錄，然後把解壓縮的資料夾(filebeat-<version>-windows)改名為 Filebeat

3. 以系統管理員身分執行 Windows PowerShell

4. 至 Filebeat 目錄底下，然後執行指令 PowerShell.exe -ExecutionPolicy UnRestricted -File .\install-service-filebeat.ps1 ，會跳出安全性警告，選擇 [R] 執行一次(R) ，執行成功會出現以下圖示
   

也可以打開 服務 查看 (開始->搜尋"服務")

Step 2: Connect to the Elastic Stack (連線至Elastic Stack)
打開 Filebeat 目錄下的 filebeat.yml
有一區是 Elastic Cloud，
填入 cloud.id 和 cloud.auth 值，並把註解拿掉，
cloud.id 可至 Deloyments在點進詳目頁即可看到 Cloud ID字樣
cloud.auth 填入帳密，輸入值的格式為 <user>:<pass> ，此處的帳密為當初建立部署時彈跳視窗的帳密(詳見Elastic Stack第三重)

設定完成後，即可至 服務 啟動他

Step 3: Enable and configure data collection modules
Filebeat提供了很多模組可供用來收集和解析log data，有這些模組就不用自己再製造了，

1. 找出欲使用的modules，可使用指令

.\filebeat.exe modules list

即會列出有哪些modules是enabled和disabled的

2. enable欲使用的module
   以我為例，我想收集和解析的log data是apache的

.\filebeat modules enable apache

3. 在 Filebeat\modules.d 目錄下調整設定檔
   因為我enable的是apache module，所以我打開目錄下的 apache.yml 來修改
   官方會列出modules的設定檔有哪些參數可設定以及如何設定，
   以Apache為例，可參考 Apache module

apache.yml 修改前

apache.yml 修改後

[Note]
記得此處路徑的字串是用 ' (單引號) 包起來，使用 " (雙引號)的話會有錯誤

Step 4: Set up assets
Filebeat有自己欲先定義的assets，可用來解析、建立索引和視覺化data，
要載入他使用指令

.\filebeat.exe setup -e

這步驟會載入建議的 index template 為了寫入至es，
以及在kibana部署樣本dashboard來視覺化這些data

小小新手，如有理解錯誤或寫錯再請不吝提醒或糾正

Reference

Filebeat
filebeat installation and configuration