2023 iThome 鐵人賽

DAY 25

DevOps

從Software Developer的角度一起認識 Kubernetes系列第 25 篇

Day-25-CI/CD pipeline 建置-小節-完整的 CI/CD 部署流程

15th鐵人賽

luciferstut

2023-10-07 00:04:11

370 瀏覽

分享至

Day-25-CI/CD pipeline 建置-小節-完整的 CI/CD 部署流程

前言

經過前三天的介紹，我們完成了

安裝 GitLab agent 到 EKS cluster，讓 GitLab Runner 能部署/操作 Kubernetes
配置 Manifest repo，透過 Manifest 管理 Kubernetes yaml，透過此 repo 發動 CD pipeline 來部署服務上 EKS cluster，實現 push 模式的 GitOps。
配置 Applcation repo，是個存放業務邏輯的應用程序，當原始碼改動時並 git push 到 main/develop 分支時，自動編譯、打包、推送至 Container Image registry。

今天我們走一次完整的 CI/CD 部署流程流程，從服務開發好到部署上 EKS Cluster。

部署範圍

假設我想部署一套服務，名稱為 app-backend，使用的 cotainer image 為 Day24 上傳至 ECR 的 Image，並使用 ingress 與 service 使其對外服務。

我們至少要配置以下 kubernetes 資源

development
service
ingress

另外我們也一併部署 configMap 與 secret(sealed-secret) 讓 demo 在完整一點

configMap
secret

前置作業

安裝 `nginx-ingress-controller`

為了縮短篇幅與方便讀者實作，直接透過 helm 安裝 nginx-ingress-controller

helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx

helm install nginx-ingress-controller ingress-nginx/ingress-nginx \
-n nginx-ingress --create-namespace \
--set controller.metrics.enabled=true \
--set-string controller.metrics.service.annotations."prometheus\.io/port"="10254" \
--set-string controller.metrics.service.annotations."prometheus\.io/scrape"="true" --dry-run

安裝 sealed-secrets

為了縮短篇幅與方便讀者實作，直接透過 kubectl apply 安裝

kubectl apply -f https://github.com/bitnami-labs/sealed-secrets/releases/download/v0.24.0/controller.yaml

準備 Application container image

依照 Day24 的流程，對 application repo 進行 commit 或 MR 合併至 main 分支，透過 pipeline 進行編譯/打包 Image/ 推送 Image。

通常會依循以下流程

開 feature 分支，進行開發
commit 並 push feature 分支，提出 MR 合併回 develop or main
code reviewer 對 MR 進行審查，通過後合併
合併後自動觸發 pipeline
1. 編譯
2. build image
3. push image 到 container image registry

因為昨天實作時，已經執行準備好 Container Image 了，我們直接使用 Day24 產生的 Image tag 來部署

# 找 repositoryUri
$ aws ecr describe-repositories

{
    "repositories": [
        {
            "repositoryArn": "arn:aws:ecr:ap-northeast-1:958069133531:repository/ithome-app-backend",
            "registryId": "958069133531",
            "repositoryName": "ithome-app-backend",
            "repositoryUri": "958069133531.dkr.ecr.ap-northeast-1.amazonaws.com/ithome-app-backend",
            "createdAt": "2023-09-25T01:44:18+08:00",
            "imageTagMutability": "MUTABLE",
            "imageScanningConfiguration": {
                "scanOnPush": false
            },
            "encryptionConfiguration": {
                "encryptionType": "AES256"
            }
        }
    ]
}


# 找 imageTag
$ aws ecr describe-images --repository-name ithome-app-backend

{
    "imageDetails": [
        {
            "registryId": "958069133531",
            "repositoryName": "ithome-app-backend",
            "imageDigest": "sha256:93ba576c881fa6a8fa571731a18588b8c0a30d0977902139d8cdde6a6e678ade",
            "imageTags": [
                "6a7be12a"
            ],
            "imageSizeInBytes": 114506053,
            "imagePushedAt": "2023-09-27T00:04:50+08:00",
            "imageManifestMediaType": "application/vnd.docker.distribution.manifest.v2+json",
            "artifactMediaType": "application/vnd.docker.container.image.v1+json",
            "lastRecordedPullTime": "2023-09-27T00:06:14.575000+08:00"
        }
    ]
}

拿到 repositoryUri 與 imageTag，用來配置到 deployment，以上述例子

repositoryUri: 958069133531.dkr.ecr.ap-northeast-1.amazonaws.com/ithome-app-backend
imageTag: 6a7be12a
部署時使用的 image 為: 958069133531.dkr.ecr.ap-northeast-1.amazonaws.com/ithome-app-backend:6a7be12a

配置 app-backend 用的 manifest

開啟 Day23 建置的 Manifest repo
開啟新分支，例如：release/app-backend (可選)

團隊協作時，建議開新分支來改 yaml，後續用 MR 進行 code review

配置 deployment 與 service

這裡直接下載預先寫好的 yaml

mkdir kubernetes_config/ithome-demo/apps/ithome/app-backend

curl -o kubernetes_config/ithome-demo/apps/ithome/app-backend/app-backend.yaml "https://gitlab.com/ithome2/cicd-playground/-/raw/main/kubernetes_config/ithome-demo/apps/ithome/app-backend/app-backend.yaml?ref_type=heads"

調整 app-backend.yaml 中 deployment 用的 image name 為你的 container image。

配置 configMap 與 secret

建立 secret

# 建立暫存的 secret file 供 kubeseal 加密
echo "
apiVersion: v1
data:
  APP.TOKEN: ZHVtbXktdG9rZW4=
kind: Secret
metadata:
  creationTimestamp: null
  name: demo-secret
  namespace: ithome
  labels:
    deploy-priority: '1'
" > tmp-secret.yaml

# 加密為 SealedSecret
kubeseal -o yaml < tmp-secret.yaml > kubernetes_config/ithome-demo/apps/ithome/configs/demo-secret.yaml

# 移除 暫存的 secret file
rm tmp-secret.yaml

注意！若 Secret 儲存的是真實的機敏資訊，務必將 Secret 加密為 SealedSecret 之後，再上傳至 git，避免機敏資訊外洩，使用方式能參考 Day 14

建立 configMap

echo "
apiVersion: v1
data:
  APP.ENV: kind
  APP.WELCOME.MESSAGE: Hello, ConfigMap
kind: ConfigMap
metadata:
  creationTimestamp: null
  name: demo-config
  namespace: ithome
  labels:
    deploy-priority: '1'
" > kubernetes_config/ithome-demo/apps/ithome/configs/demo-config.yaml

commit 並 push 上 GitLab

git add kubernetes_config/ithome-demo/apps/ithome
git commit -m 'added app-backend
git push

提出 MR (merge requests) 合併到 main 分支 (可選)

能在此關卡透過 code review 檢查更改的範圍是否符合部署計畫。
(自動觸發) 執行 CD pipeline

檢查是否部署成功

$ kubectl get deployments.apps,pod,svc,cm,secrets 

NAME                          READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/app-backend   1/1     1            1           10h
deployment.apps/nginx         1/1     1            1           10h

NAME                               READY   STATUS    RESTARTS   AGE
pod/app-backend-6646955fcb-9p4d7   1/1     Running   0          10h
pod/nginx-ff6774dc6-96k24          1/1     Running   0          10h

NAME                  TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE
service/app-backend   ClusterIP   10.100.248.199   <none>        80/TCP    10h
service/nginx         ClusterIP   10.100.82.219    <none>        80/TCP    10h

NAME                         DATA   AGE
configmap/demo-config        2      10h
configmap/kube-root-ca.crt   1      10h

NAME                 TYPE     DATA   AGE
secret/demo-secret   Opaque   1      10h

能看到服務已經部署上 EKS cluster，Pod 的 STATUS 與 READY 也正確。

配置 ingress

配置 ingress 將服務曝露到外部

開啟 Day23 建置的 Manifest repo
開啟新分支，例如：release/app-backend (可選)

新增 ingress yaml

mkdir kubernetes_config/ithome-demo/infra/ingress

echo "
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: demo-ingress
  namespace: ithome
  annotations:
    kubernetes.io/ingress.class: nginx
spec:
  rules:
  - host: ithome-demo.ingress.com
    http:
      paths:
      - pathType: Prefix
        path: /        
        backend:
          service:
            name: app-backend
            port:
              number: 80
" > kubernetes_config/ithome-demo/infra/ingress/demo-ingress.yaml

提出 MR (merge requests) 合併到 main 分支 (可選)

能在此關卡透過 code review 檢查更改的範圍是否符合部署計畫。
(自動觸發) 執行 CD pipeline

檢查是否部署成功

$ kubectl get ingress

NAME                                     CLASS    HOSTS                     ADDRESS   PORTS   AGE
ingress.networking.k8s.io/demo-ingress   <none>   ithome-demo.ingress.com             80      6m11s

能看到也部署成功了。

測試-訪問該服務

先找到 nginx-ingress-controller 的外部存取位址

$ kubectl get svc -n nginx-ingress nginx-ingress-controller-ingress-nginx-controller

NAME                                                          TYPE           CLUSTER-IP       EXTERNAL-IP                                                                   PORT(S)                      AGE
nginx-ingress-controller-ingress-nginx-controller             LoadBalancer   10.100.104.184   abbbd283855x84e3da9d4ba0f711fc0d-552512304.ap-northeast-1.elb.amazonaws.com   80:32234/TCP,443:32557/TCP   14h

將 EXTERNAL-IP 的值複製出來，例如上例: abbbd283855x84e3da9d4ba0f711fc0d-552512304.ap-northeast-1.elb.amazonaws.com

使用 curl 訪問服務
因為 ingress 基於 Host 來分配流量，所以需要添加 http header "Host: ithome-demo.ingress.com"

生產環境建議使用 DNS 服務，如 Amazon Route 53
1. 訪問 root path
```
curl -i -H "Host: ithome-demo.ingress.com" http://abbbd283855x84e3da9d4ba0f711fc0d-552512304.ap-northeast-1.elb.amazonaws.com

HTTP/1.1 200 
Date: Wed, 27 Sep 2023 05:58:04 GMT
Content-Type: text/plain;charset=UTF-8
Content-Length: 16
Connection: keep-alive

Hello, ConfigMap
```
  能看到正常返回了 Http 200，Http body 也返回 demo-configMap 中配置的 message，而不是原始碼中的預設訊息，代表 Pod 有正常注入 configMap 到環境變數
2. 訪問 token path
```
$ curl -i -H "Host: ithome-demo.ingress.com" http://abbbd283855x84e3da9d4ba0f711fc0d-552512304.ap-northeast-1.elb.amazonaws.com/token

HTTP/1.1 200 
Date: Wed, 27 Sep 2023 06:09:41 GMT
Content-Type: text/plain;charset=UTF-8
Content-Length: 11
Connection: keep-alive

dummy-token
```
  一樣返回了 Http 200，Http body 也返回 demo-secret 中配置的 token，而不是原始碼中的預設 token，代表 Pod 有正常注入 secret 到環境變數

總結

今天我們已經完整的執行了一次服務發布的流程，從原始碼發動 CI pipeline(編譯/打包/推送 Image) 到配置 Manifest repo 觸發 CD pipeline(deploy to EKS)，流程中都能透過 MR(merge request) 的關卡來進行 review，保持產品穩定。

清理環境

因為 nginx ingress controller 會建立 AWS Load balancers，會產生 AWS 費用，當實作完成後，能執行以下指令將 nginx ingress controller uninstall。

刪除 nginx namespace，使其自動刪除

kubectl delete namespace nginx-ingress

檢查 ELB 是否已刪除

aws elbv2 describe-load-balancers

Day-24-CI/CD pipeline 建置-配置 Application repo

Day-26-Observability 實現-logging

系列文

從Software Developer的角度一起認識 Kubernetes 共 30 篇

RSS系列文訂閱系列文

17 人訂閱

完整目錄

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

尚未有邦友留言

立即登入留言

參賽組數

1064 組

團體組數

40 組

累計文章數

22195 篇

完賽人數

600 人

15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js

IT邦幫忙

從Software Developer的角度一起認識 Kubernetes系列 第 25 篇