前言

今天終於要結束「博大精深」的k8s了
這次的學習中，其實也google到一些好像很厲害的工具，
有些好像要coco、有些完全看不懂，有些則是建在某特定公有雲上面，所以就沒深入學習了
(例如:terraform)
個人覺得k8s是好東西，未來5年應該都會很劣
在薪水不變的前提下，但徵才的要求卻會一直跟上最新技術 = =
明年的面試可能就不再問docker了

建議把基礎打好

• 最基本的:瞭解k8s各元件
• 惡補網管知識，像:dns、proxy、load balancer、cni
• 各種憑證的安裝，甚至怎麼自動renew所有的憑證
  其他的就看到時候公司用什麼公有雲再google就好了

因為只是初學，短時間做做筆記，傷了大家的眼睛，很不好意思~
倒數的時候真怕哪一天忘了PO文，科科~
文章都打完了，來欣賞大大們寫的文章~
(去年的都還沒看完咧)
今年年底小弟最想學CSS切版、dot net core，各位大大呢?

除了kubernetes官網文件外，還有一些中文資訊可參考

• Kubernetes Handbook
  https://jimmysong.io/kubernetes-handbook/concepts/concepts.html
• istio
  https://jimmysong.io/istio-handbook/
  https://istio.io/zh/
• Envoy 官方文档中文版
  http://www.servicemesher.com/envoy/
• native cloud
  https://jimmysong.io/kubernetes-handbook/cloud-native/cloud-native-definition.html

再來就把其餘的談一談吧，明天開始回到ansible的介紹囉~

Raspberry PI(網路設定)

參考:

• Kubernetes建置與執行，附錄A
  這部分算擷取書裡的內容較多，若有問題再麻煩告知
  也推初學者可以買1本參考，畢竟我們有問題的點都不同
• https://www.hanselman.com/blog/HowToBuildAKubernetesClusterWithARMRaspberryPiThenRunNETCoreOnOpenFaas.aspx
• https://blog.hypriot.com/post/setup-kubernetes-raspberry-pi-cluster/
  PI一個一千多元，買2張就能建最簡單的cluster，
  很適合學校買來教學，自己買也是負擔得起，也不怕筆電溫度太高
  因為一個PI就代表獨立的computer
  所以個人覺得非常適合拿來練習k8s

詳細的安裝方式就不介紹了，重點放在網路的設定
希望對網路不好的人有點幫助

Master Node的網路設定

1、wifi設定檔(用wifi連外網，cluster裡的Node的連線用網路線)

# 設定ssid、password，然後reboot
# /boot/divice-init.yaml 

2、網路線的網卡 eth0，用static ip
cluster裡的Node的連線用網路線

# /etc/network/interfaces.d/eth0
allow-hotplug eth0
iface eth0 inet static
    address 10.0.0.1
    netmask 255.255.255.0 # /24 
    broadcast 10.0.0.255
    gateway 10.0.0.1

3、在Master Node上，安裝DHCP
用來分配IP給其他Node

$ apt-get install isc-dhcp-server
# 設定domain，內部使用可以隨意設
option domain-name "cluster.home"

# 外網的DNS
option domain-name-servers 8.8.8.8, 168.95.1.1

# 子網路(cluster 內部 Node 在用的子網路)
subnet 10.0.0.0 netmask 255.255.255.0{
    range 10.0.0.1 10.0.0.10;
    option subnet-mask 255.255.255.0;
    option broadcast-address 10.0.0.255;
    option routers 10.0.0.1;
}
default-lease-time 600;
max-lease-time 7200;
authoritative;
# sudo systemctl restart dhcp 
# 這樣其他Node應該就能跟Master Node上面的DHCP Server要到IP了
# 可查看/var/lib/dhcp/dhcpd.leases
# 其他Node的名字要改一下，每個Node都不同，/boot/divice-init.yaml
# 例如:k8s-m1、k8s-n1、k8s-n2

4、設定NAT

• 編輯/etc/sysctl.conf
  net.ipv4.ip_forward=1
• 編輯/etc/rc.local

$ iptables -t nat -A POSTROUTING -o wlan0 -j MASQUERADE
$ iptables -A FORWARD -i wlan0 -o eth0 -m state
    --state RELATED,ESTABLISHED -j ACCEPT
$ iptables -A FORWARD -i eth0 -o wlan0 -j ACCEPT

5、可以每個Node的/etc/hosts，也加一份ip : domain name(或host name)

10.0.0.1 k8s-m1
10.0.0.2 k8s-n1
10.0.0.3 k8s-n2

6、設定ssh

• 假設我們用Master Node(k8s-m1)來ssh連線到其他 worker node(k8s-n1、k8s-n2)
• 把Master Node的publice key加到各Worker Node的authorized_key

$HOME/.ssh/id_rsa.pub # Master Node(k8s-m1)的publice key，是字串
加到 Worker Node(k8s-n1、k8s-n2)的/home/private/.ssh/authorized_keys

7、kubelet kubeadm kubectl kubernetes-cni的安裝就略過囉
8、用kubeadm建cluster(關鍵步驟喔~)

• Master Node

$ kubeadm init --pod-network-cide 10.244.0.0/16 \ # 要分配給pod的網段
    --api-advertise-address # 類似佈告欄吧、API、控制窗口
# 成功的話會有 kubeadm join --token=xxxx 的指定，抄下來喔

• Worker Node(加入cluster)

$ kubeadm join --token=<token> 10.0.0.1

9、安裝CNI(設定cluster在用的網路，這樣pod與pod間才能互通有無)

$ curl https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 把所有的"amd64"換成"amd" # PI的架構，如果你是用PC就不用改
# 把所有的"vxlan"換成"host-gw" # 路由模式改用host-gw

# 存檔後，跑起來
$ kubectl apply -f kube-flannel.yaml

# 會多出2個Ojbect
# ConfigMap 放資料、放設定檔的地方
$ kubectl describe --namespace=kube-system configmaps/kube-flannel-cfg
# Daemonsets 常駐 Flannel 的服務
$ kubectl describe --namespace=kube-system daemonsets/kube-flannel-ds

===

Dashboard UI(Web UI)

minikube就有dashboard可以玩了

# 建一個proxy/tunner
$ kubectl proxy
$ minikube dashboard 
$ minikube dashboard --url

在自建的k8s安裝Dashboard UI

$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/master/src/deploy/recommended/kubernetes-dashboard.yaml

建個ServiceAccount

• addServiceAccount.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kube-system

$ kubectl create -f addServiceAccount.yaml
$ kubectl -n kube-system get secret | grep admin-user
Name:    admin-user-token-9t284
Namespace:  kube-system
Labels:   <none>
Annotations: kubernetes.io/service-account.name=admin-user
       kubernetes.io/service-account.uid=8c9dac3b-d85b-11e8-850e-08002779c3bb

Type: kubernetes.io/service-account-token

Data
====
ca.crt:  1066 bytes
namespace: 11 bytes
token:   eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLTl0Mjg0Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiI4YzlkYWMzYi1kODViLTExZTgtODUwZS0wODAwMjc3OWMzYmIiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZS1zeXN0ZW06YWRtaW4tdXNlciJ9.YV6gdyibPgdpaFRU42qGkH-G4up6b6ftal3RXD2Ntue2RsMfvcB9-ytPpvqHAR6guTCquzADj4r2o3d6bSj16yMk64zOlccqwl8IKwDJry7KQkffnkJ4G291xbAxfEwYrCXvtdDh7tVvv1QslYNlNhlC7c23xiNJGTfSivULPh_WorlUwDvHmLlTvnXS3R1fLWIkBqANJAT1aW7aTMzfJO0m92FC111KGccAJEYuHsJxORwvg0cxZv0CUTlktZdX0v5-HRuqdpQ3bxvHQJ9k1eTcdTdeef2B1I9rRpfxr8nmAuBzni2VCSqgRS8UPkBJZnFhLYaBdhLAdSB6kTJEFA

這個token可以拿來login

# 如果被問密碼，可能會有admin的密碼(我的minikube是放ca跟key，沒有密碼)
$ kubectl config view

# 我在macOS的Docker CE 有含 minikube，所以在macOS底下的:
~/.kube/config # 也有minikube的ca、key，不知道能不能用?

# 用開browser
http://localhost:8001/ui
或
http://localhost:8001/api/v1/namespaces/kube-system/services/kubernetes-dashboard/proxy

Dashboard UI只有一個replica，也是透過deployment管理，名字叫:kubernetes-dashboard

$ kubectl get deployments --namespace=kube-system kubernetes-dashboard
# 為dashboard提供load balancer
$ kubectl get services    --namespace=kube-system kubernetes-dashboard

===

Resource Monitor

Resource Monitor有很多工具

• minikube內建的heapster
  $ minikube addons enable heapster
  $ minikube addons open heapster

官網文件也有收錄幾個工具，在TASK/Monitor,Log,and Debug底下
https://kubernetes.io/docs/tasks/debug-application-cluster/resource-usage-monitoring/

• Kubelet(蠻簡單的，建議大家使用)
  https://kubernetes.io/docs/tasks/debug-application-cluster/monitor-node-health/
  靠著kubelet闖天下

• cAdvisor(也可以用在docker喔)
  https://github.com/google/cadvisor
  在cluster跑一個agent
  預設的port是4194
  官方說明文件
  https://github.com/google/cadvisor/tree/master/deploy/kubernetes

• Prometheus(也可以用在docker喔)
  https://prometheus.io/docs/prometheus/latest/getting_started/
  https://github.com/prometheus/prometheus/
  好像不好裝，但功能強大

• kubernetes-job-monitor
  讓管理員看正在跑的jobs
  https://github.com/pietervogelaar/kubernetes-job-monitor
  這個比較好裝

# 把Master裡的admin.conf放在secrets
$ cat /etc/kubernetes/admin.conf | base64 | tr -d '\n'

# 建secret.yaml
---
apiVersion: v1
kind: Secret
metadata:
  name: kubeconfig
type: Opaque
data:
  config: thebase64encodedlinehere # 把 admin.conf的base64編碼放這裡
  
$ kubectl apply -f secret.yaml

# deploy kubernetes-job-monitor
$ kubectl apply -f https://raw.githubusercontent.com/pietervogelaar/kubernetes-job-monitor/master/.kubernetes/kubernetes-job-monitor.yaml

• Kubernetes monitoring integration(這是要買license的)
  好像不能灌在local??就給大家參考囉
  https://docs.newrelic.com/docs/integrations/host-integrations/host-integrations-list/kubernetes-monitoring-integration
  支援AKS(Azure Kubernetes Service)、GKE(Google Kubernetes Engine)

Heapster(有美美的網站)

(Container Cluster Monitoring and Performance Analysis)
官網安裝手冊
https://github.com/kubernetes/heapster/blob/master/docs/influxdb.md

# grafana-service.yaml
# influxdb-service.yaml
# 如果沒用 addon，要把kubernetes.io/cluster-service:'true'註解掉
$ kubectl create -f deploy/kube-config/influxdb/
$ kubectl create -f deploy/kube-config/rbac/heapster-rbac.yaml

• Grafana預設向Load Balancer請求。 如果你的cluster沒有Load Balancer，更改為NodePort。
  (grafana-service.yaml裡的type)
• 使用Grafana的外部IP訪問Grafana。 預設帳密 admin。
• 登入Grafana後，加InfluxDB datasource。
  InfluxDB的URL是http://INFLUXDB_HOST:INFLUXDB_PORT
  資料庫名稱:k8s，預設帳密root

$ minikube service monitoring-grafana --namespace=kube-system --url

資料庫使用influxDB
每個node的Pod ->cAdvisor
每個node的kubelet --> Heapster Pod--> influxDB Pod --> Grafana Pod

Kubernetes Metrics Server

https://github.com/kubernetes-incubator/metrics-server
安裝

$ kubectl create -f deploy/1.8+/

使用

$ kubectl top node # 可以看到CPU、Memroy使用率

The Metrics API
api路徑: /apis/metrics.k8s.io/

===

憑證管理 Cert-manage

這是很重要的議題，到底要怎麼自動化更新憑證，我也是搞不懂
可能如果家裡有光世代固定ip的，可以註冊個免費的domain後，再試試Let's encrypt

當機器一多的時候，憑證的還要安裝、展期，就會很燒時間
所以我們要好好的「管理SSL/TLS憑證」

• 管理憑證
• 簡化發憑證

私底下我們可以用免費的Let's encrypt來練習

• Let's encrypt的憑證可以用在app或website
• 你要先買domain name
  免費的:www.dot.tk
  付費的:namecheap.com
• 然後證明你是這個domain name的owner
• Cert-manager支援對Let's encrypt來自動化驗證程序
  不用手動去更新啦，憑證快到期前再去要新的憑證
  renew certificates(大概3個月吧)

架構大概會像這樣

Issuers(發憑證的CA們) <--(require)-- cert-manager --> yourdomain.com(裝憑證) --> Kubernetes Secrets(Signed keypair)

安裝helm分為2個部分:

• Helm Client side(helm)
• Helm Serivce side(Tiller)

安裝helm

• macOS

$ brew install kubernetes-helm

• 用Script裝

$ curl https://raw.githubusercontent.com/kubernetes/helm/master/scripts/get > get_helm.sh
$ chmod 700 get_helm.sh
$ ./get_helm.sh

或者

$ curl https://raw.githubusercontent.com/kubernetes/helm/master/scripts/get | bash

init helm

先準備rbac-config.yml
參考:https://github.com/helm/helm/blob/master/docs/rbac.md

apiVersion: v1
kind: ServiceAccount
metadata:
  name: tiller
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: tiller
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
  - kind: ServiceAccount
    name: tiller
    namespace: kube-system

• 餵kubectl吃這個rbac-config.yml

$ kubectl create -f rbac-config.yml
serviceaccount "tiller" created
clusterrolebinding "tiller" created
$ helm init --service-account tiller
# --service-account # 使用RBAC,Role-based access control
# https://kubernetes.io/docs/reference/access-authn-authz/rbac/#service-account-permissions
$HELM_HOME has been configured at /home/xxx/.helm
Tiller (the Helm server-side component) has been installed into your Kubernetes Cluster.

# 看Tiller有沒有在跑
# kubectl get pods --namespace kube-system

# 升級Tiller
$ helm init --upgrade

# 重置Tiller
helm reset

為了實驗，通常你的k8s cluster要有1個ingress跟application

(例如一個web server，上面放一個網站)

helm install --name my-nginx-ingress stable/nginx-ingress \
  --set controller.kind=DaemonSet \
  --set controller.service.type=NodePort \
  --set controller.hostNetwork=true

• 然後再開一個pod

$ kubectl create -f  xxx.yml # 略

cert-manager

參考:
官方文件
https://cert-manager.readthedocs.io/en/latest/

$ helm install \
    --name cert-manager \
    --namespace kube-system \
    stable/cert-manager

• 如果要刪掉的話

$ helm del --purge cert-manager

Kubernetes v1.8以前是用kube-lego，v1.8以後改用cert-manager囉
異動好快，要花大量時間update知識，但薪水卻不會upgrade

再來就是重頭戲啦，怎麼自動更新Let's Encrypt憑證
爬文時發現Ken Chen大大了一篇，寫得非常棒，所請大家直接看K大的文章喔:
-在kubernetes上使用cert-manager自動更新Let’s Encrypt TLS憑證
https://medium.com/@kenchen_57904/在kubernetes上使用cert-manager自動更新lets-encrypt-tls憑證-834b65d43c96

Google-managed SSL certificates

google最近也推出了憑證管理，不過應該只能用在自家的GKE上面，供大家參考
https://cloud.google.com/load-balancing/docs/ssl-certificates?fbclid=IwAR3knNBV1mFi5s6PU9wve7HsZpJCqI9UK2L3K4h4rvoTbizwz642lXX-Usg#managed-certs

===

External DNS(工具)

推薦Kyle Bai大大的這一篇，再延伸閱讀喔

• 以 ExternalDNS 自動同步 Kubernetes Ingress 與 Service DNS 資源紀錄
  https://kairen.github.io/2018/07/19/kubernetes/k8s-external-dns/

工具External DNS
幫助自動建立需要的DNS records，在你的 external DNS server

例如: Amazon Route 53
把你的Domain Name給Route 53管理，
Route 53會把你的Domain Name轉換成IP，
讓user可以DNS Query找到你的主機
http://www.runpc.com.tw/content/content.aspx?id=109820
https://aws.amazon.com/tw/getting-started/tutorials/get-a-domain/

工具External DNS

支援Google CloudDNS、Route53、AzureDNS、DigitalOcean...

例如:
ingress rules:
host1.example.com => pod1
host2.example.com => pod1

Pod
External DNS ===> AWS Route53
External DNS會把上面的對應傳到AWS Route53，
Amazon再利用他一堆的DNS，這樣以後user就可以直接對到正確的pod

• 官方GitHub
  https://github.com/kubernetes-incubator/external-dns
• 可以用helm安裝
  https://github.com/helm/charts/tree/master/stable/external-dns

運用在內部網路

利用自架的DNS Server，CoreDNS，適合架在公司內部，for kubernetes專用

另外，Kyle Bai大大有寫一篇，建議大家參考喔
以 ExternalDNS 自動同步 Kubernetes Ingress 與 Service DNS 資源紀錄
CoreDNS專案:
https://github.com/coredns/coredns

===

Auditing

就是記錄吧，可以用來除錯、查內鬼、計費

用來查發生什麼事(人事時地物，怎麼發生的，作了哪些事)
kube-apiserver 依據 Audit Policy 把記錄送到 Audit beckends後端

• 詳細請參考官網
  https://kubernetes.io/docs/tasks/debug-application-cluster/audit/
• 簡中!!(不過翻得不太好，可能是自動翻譯的吧?)
  https://kubernetes.io/zh/docs/tasks/debug-application-cluster/audit/
  https://kubernetes.io/docs/tasks/debug-application-cluster/audit/
• kube-apiserver 也有一堆audit的options
  https://kubernetes.io/docs/reference/command-line-tools-reference/kube-apiserver/

我們來看最重要的2個部分

Audit Policy

建議用minikube試看看(minikube版本不能太舊)

• audit-policy.yaml

# 把這個檔案copy到 ~/.minikube/addons/
$ cp audit-policy.yaml ~/.minikube/

# Log all requests at the Metadata level.
# 記錄Metadata層級的所有requests
# (最簡單的audit policy)
apiVersion: audit.k8s.io/v1beta1
kind: Policy
rules:
- level: Metadata

$ minikube stop # 先停掉
$ minikube start  --extra-config=apiserver.Authorization.Mode=RBAC --extra-config=apiserver.Audit.LogOptions.Path=/var/logs/audit.log   --extra-config=apiserver.Audit.PolicyFile=/etc/kubernetes/addons/audit-policy.yaml

$ minikube ssh
$ cat /var/logs/audit.log # 上面設定的存放地方，會看到一堆json的東西全部擠在一起
# 推一個在shell底下看json的指令: jq
https://stedolan.github.io/jq/download/
Ubuntu安裝:
$ sudo apt-get install jq
macOS安裝:
$ brew install jq
# 使用方式
$ cat /var/logs/audit.log | jq .      # PIPE給jq處理

有關jq詳細的用方，在2013年的鐵人賽就有大大寫過囉，感恩m(.)m

-觀看 JSON 的新工具：jq
https://ithelp.ithome.com.tw/articles/10130071

如果上跑有成功跑起來
更多的policy，可參考官網的，視需要的再加到rules:

apiVersion: audit.k8s.io/v1beta1 # This is required.
kind: Policy
# Don't generate audit events for all requests in RequestReceived stage.
omitStages:
  - "RequestReceived"
rules:
  # Log pod changes at RequestResponse level
  - level: RequestResponse
    resources:
    - group: ""
      # Resource "pods" doesn't match requests to any subresource of pods,
      # which is consistent with the RBAC policy.
      resources: ["pods"]
  # Log "pods/log", "pods/status" at Metadata level
  - level: Metadata
    resources:
    - group: ""
      resources: ["pods/log", "pods/status"]

  # Don't log requests to a configmap called "controller-leader"
  - level: None
    resources:
    - group: ""
      resources: ["configmaps"]
      resourceNames: ["controller-leader"]

  # Don't log watch requests by the "system:kube-proxy" on endpoints or services
  - level: None
    users: ["system:kube-proxy"]
    verbs: ["watch"]
    resources:
    - group: "" # core API group
      resources: ["endpoints", "services"]

  # Don't log authenticated requests to certain non-resource URL paths.
  - level: None
    userGroups: ["system:authenticated"]
    nonResourceURLs:
    - "/api*" # Wildcard matching.
    - "/version"

  # Log the request body of configmap changes in kube-system.
  - level: Request
    resources:
    - group: "" # core API group
      resources: ["configmaps"]
    # This rule only applies to resources in the "kube-system" namespace.
    # The empty string "" can be used to select non-namespaced resources.
    namespaces: ["kube-system"]

  # Log configmap and secret changes in all other namespaces at the Metadata level.
  - level: Metadata
    resources:
    - group: "" # core API group
      resources: ["secrets", "configmaps"]

  # Log all other resources in core and extensions at the Request level.
  - level: Request
    resources:
    - group: "" # core API group
    - group: "extensions" # Version of group should NOT be included.

  # A catch-all rule to log all other requests at the Metadata level.
  - level: Metadata
    # Long-running requests like watches that fall under this rule will not
    # generate an audit event in RequestReceived.
    omitStages:
      - "RequestReceived"

Audit backends

-Log backend:把事件寫到disk
--audit-log-path 存放路徑
--audit-log-maxage 保留audit log最大天數
--audit-log-maxbackup 保留audit log最大數量
--audit-log-maxsize 保留audit log最大size(單位:MB,megabytes)
-Webhook backend:把事件送到外面的api
--audit-webhook-config-file 設定檔的路徑
--audit-webhook-initial-backoff 第1次失敗後重發的等待時間

哇哈哈，k8s真是博大精深，而且新工具層出不窮
這幾天一直google下來，
深覺官網文件非常完整，實務上要不時查閱

但如果要掌握k8s，真的要花很多去實際操作才行