透過這些監控可以知道Logstash的效能瓶頸差不多在哪裡

安裝Metricbeat

curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.9.1-amd64.deb
sudo dpkg -i metricbeat-7.9.1-amd64.deb

編輯 /etc/metricbeat/metricbeat.yml

output.elasticsearch:
  hosts: ["10.111.0.17:9200, 10.111.0.18:9200] #elasticsearch機群列表
setup.kibana:
  host: "10.111.0.19:5601" #kibana機器host
  space.id: "test"

啟用 logstash-xpack

sudo metricbeat modules enable logstash-xpack

編輯 /etc/metricbeat/modules.d/logstash-xpack.yml

  - module: logstash
    metricsets:
      - node
      - node_stats
    period: 10s
    hosts: ["localhost:9600"]
    xpack.enabled: true

編輯 /etc/logstash/logstash.yml 打開metrics http server

http.host: "127.0.0.1"
http.port: 9600

Pipelines監控UI

點選左邊Stack Monitoring

選擇Pipelines

透過Pipelines監控可以查看比較耗時的步驟卡在哪裡