問題是這樣的，小弟參考「Logstash收集Nginx日志」撰寫了 Logstash的腳本

腳本代碼：

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
    type => "nginx"
  }
}
filter {
    grok {
        match => { "message" => "%{IPORHOST:http_host} %{IPORHOST:clientip} - %{USERNAME:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:http_verb} %{NOTSPACE:http_request}(?: HTTP/%{NUMBER:http_version})?|%{DATA:raw_http_request})\" %{NUMBER:response} (?:%{NUMBER:bytes_read}|-) %{QS:referrer} %{QS:agent} %{QS:xforwardedfor} %{NUMBER:request_time:float}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    stdout { codec => rubydebug }
    elasticsearch {
        hosts => ["172.16.16.64:9200"]
        index => "nginx-text-%{+YYYY.MM.dd}"
  }
}

然後透過 Elasticsearch 查詢，可以查看到access.log傳輸過去的資訊

「問題一」

關於Elasticsearch 左下角欄位的部分，內容是透過Logstash腳本撰寫的內容新增進去的嗎？

「問題二」

因為小弟需要這個「request」欄位資訊，腳本上也有寫道，但在Elasticsearch中卻沒有這個欄位出現，下圖是小弟很久以前學長留下來的資料，剛好拿來參考，但是沒人可以詢問，所以只好自行摸索

也有參考了學長的代碼

filter {
        if [type] == "syslog" {
grok {
match => [ "message" , "%{HOSTNAME:http_host} %{COMBINEDAPACHELOG} %{DATA:rawrequest} \"(?<x_forwarded_for>%{IP:true_clientip},*.*)\""]
overwrite => [ "message" ]
}

mutate {
convert => ["response", "integer"]
convert => ["bytes", "integer"]
convert => ["responsetime", "float"]
rename => { "clientip" => "reverse-ip" }
rename => { "rawrequest" => "request_body" }
split  => { "x_forwarded_for" => ", " }
}

geoip {
source => "true_clientip"
target => "geoip"
add_tag => [ "nginx-geoip" ]
}

date {
match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]
timezone => "Etc/GMT-8"
remove_field => [ "timestamp" ]
}

useragent {
source => "agent"
}

        }
}

因為也有直接把學長的代碼照搬，但該欄位仍然沒有出現，nginx.conf配置是一樣的，所以想詢問，是否為Elasticsearch Server端有什麼部分的不同

「狀態一」

小弟ELK的設計方式是，一台 Elasticsearch Server 加 一台 nginx-API
因此是在 nginx-API 裝 Logstash 在/opt/logstash/bin底下寫腳本
透過path => "/var/log/nginx/access.log"方式蒐集Log，
在傳輸到Elasticsearch Server端

學長的ELK設計方式是，一台 Elasticsearch Server 加 一台 nginx-API
是在nginx.conf 中透過host => "Elasticsearch Server ip"
使用 Host的方式將Log傳輸到Elasticsearch+Logstash Server做蒐集，
然後再傳輸給本機自己的Elasticsearch:9200存放

但是學長腳本是寫在/etc/logstash/conf.d底下

因為我的執行方式是
/opt/logstash/bin/./logstash -f logstash.conf

關於/etc/logstash/conf.d底下的執行方式，我也有去Google過了，因為覺得兩種執行方式對上述兩個問題影響應該不大，所以暫時沒有處理的時間

主要是上述兩個問題，已經消耗了一天半的時間，可能是自己觀念上的問題，造成Google後也無法明確的解決問題，因為在IT邦看過 raytracy 大大 回答過關於ELK的問題，所以這邊擅自邀請您了，希望您不會介意

6/19 17:50 補充進度

目前用我的機器和學長的機器進行交叉比對
已經撇除Elasticsearch Server端的問題了，然後腳本的部分使用學長的代碼，也撇除掉了

使用學長的腳本，不管是丟資料到我的Elasticsearch Server還是學長的Elasticsearch Server，都是能正確顯示欄位的

因此判斷是nginx.conf的問題，已經將我的機器的nginx配置和學長的一樣了，我的機器傳輸Log至Elasticsearch Server端依然無法出現該欄位