iT邦幫忙

2021 iThome 鐵人賽

DAY 10
0
DevOps

玩耍開源k8s30天系列 第 10

day10 : 追蹤服務

昨天完成了log集中收攏的機,今天就來完成Observability的最後一塊拼圖tracing,tracing其實同樣是分為一個發送tracing資料的來源跟接收的server端,來源的做法有很多種,因為day 5的時候透過rancher的介面安裝好了istio+jaeger,今天就來配置管理這些tracing訊息的server。

管理工具有好幾種可以選擇像是opentelemetry、tempo等等...,因為grafana特別推出這個關於tracing的管理,所以我採用這個架構,以下就是來自官網上的架構圖
https://ithelp.ithome.com.tw/upload/images/20210910/201396612EVrdEyVo8.png
應該不難發現,這個架構跟loki非常的相似,所以可以透過幾乎同樣的配置方式做出來tempo的架構唷,那就先來一個小demo嘗試看看tempo吧,首先利用前幾天的介紹,創造一個新的cluster出來,並運行下面的指令。
https://github.com/grafana/tempo/tree/main/example/helm

helm repo add grafana https://grafana.github.io/helm-charts
helm repo update
helm upgrade --set traces.jaeger.thriftHttp=true --install tempo grafana/tempo-distributed
helm upgrade -f microservices-grafana-values.yaml --install grafana grafana/grafana
kubectl create -f microservices-extras.yaml

https://ithelp.ithome.com.tw/upload/images/20210910/20139661Y8OAt4DtkU.png
有沒有發現元件昨天的loki很相似,並且可以在comfigmap的設定中發現jaeger和storage的配置方法。

接著為了將使用rancher安裝的jaeger all-in-one連接到tempo,來簡單解釋一下jaeger的tracing機制,jaeger all-in-one的設計上會提供16686/TCP這個port做為觀看介面,收攏了tracing的資訊
https://ithelp.ithome.com.tw/upload/images/20210910/20139661EGfUCF7dqB.png
但是這個不是給tempo使用的,在這邊如果不使用tempo的話可以直接在grafana加入來源jaeger:16868的datasource來看資訊,但是因為缺少資料儲存設計,所以並沒有那麼優秀。

要改為給tempo使用的話,要些微的挑整一下deployment設定和tempo的service,要將deployment.apps/rancher-istio-tracing中加入env JAEGER_AGENT_HOST 調整為tempo的distributor元件,另外將service/tempo-tempo-distributed-distributor加入jaeger agent的default port 6381,這樣調整的概念會像是下面這樣,將原本丟到jaeger agent的線調整到tempo distributor。
https://ithelp.ithome.com.tw/upload/images/20210910/20139661xpJ29T4cAQ.png
接著調整storage的設定儲存到minio上(如下)

        backend: s3
        s3:
            bucket: tempo
            endppoint:minio_ip:port
            access_key: minioadmin
            secret_key: minioadmin

最後就是將tempo的tempo-tempo-distributed-query-frontend對外暴露出來,讓外部的grafana能夠設定為datasource,這樣在grafana上就可以將pod的metric、log、tracing都查詢的到囉。


上一篇
day9 : logging集中(下)
下一篇
day11 : argo gitops服務以及ingress (上)
系列文
玩耍開源k8s30天31

尚未有邦友留言

立即登入留言