iT邦幫忙

1

關於Logstash獲取Kafka Log資訊的問題 (已自行解決)

  • 分享至 

  • xImage

之前小弟是自學ELK的時候,一直不斷的詢問相關訊息,也依序迎刃而解,雖然中途花費不少時間,之前都是針對nginx-access log去處理

關於 ELK 之 Logstash Script 撰寫和 Elasticsearch 欄位問題 (感謝 raytracy 協助解決)

現在開始,進行關於Kafka的log獲取了,Google了一些方式後仍然無果,想上來諮詢一些方向,請大家指教指教

透過 Kafka安装启动入门教程成功安裝完後,便進行發送資訊測試

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

接收資訊測試

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

https://ithelp.ithome.com.tw/upload/images/20191219/20114520cBLI6nkk5z.png
環境架構:

172.16.16.1 ELK Server
172.16.16.2 Kafka

logstash配置如下

input {
  beats {
    port => 10516
  }

     kafka {
        bootstrap_servers => ["172.16.16.2:9092"]
        group_id => "test"
        auto_offset_reset => "test"
        consumer_threads => 5
        decorate_events => true
        topics => ["test"]
        type => "bhy"
     }

}

output {
  elasticsearch {
    hosts => ["http://172.16.16.1:9200"]
    index => "dmservice-%{+YYYY.MM.dd}"
  }
}

其實我認為我的logstash配置是有錯誤的,但是因為功力不夠的關係,一時之間並不曉得是哪裡出了問題


logstash 新配置如下

input{
    stdin{}
}
output{
    kafka{
        topic_id => "hello"
        bootstrap_servers => "172.16.16.2:9092" # kafka的地址
        batch_size => 5
    }
    stdout{
        codec => rubydebug
    }
}

output {

    elasticsearch {

        hosts => ["172.16.16.1"]

    }
   stdout { }

}

結案

ccutmis iT邦高手 2 級 ‧ 2019-12-19 13:35:52 檢舉
good job!
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友回答

立即登入回答