前幾天我們看了 Pod 怎麼擴縮、節點從哪裡來、prefill 和 decode 怎麼分到兩台機器上。這三件事的重心都放在負載來了之後。
今天講的是 AI ga...
Day 20 我們介紹了 Pod 擴縮,HPA 和 KEDA 負責決定要開幾個副本。
但副本數只是一個數字。HPA 把它從 1 改成 5,Kubernetes...
Kubernetes 維運:服務故障排查流程
前面的文章已經介紹過 Deployment、Service、Ingress、NetworkPolicy 等 Kub...
前面我們已經成功把 FastAPI 部署到 Kubernetes,現在整個系統還非常單純:
Client
↓
API
使用者送出 Request,Kube...
Day 16:K8s 大門地圖看板 Ingress,一個網域分流到多個服務
Ingress 忙什麼?
有五個服務要對外。開五個 NodePort,就是五個難記的...
延續「Namespace、Quota 與多團隊治理」,這篇聚焦「GPU Sharing:Time-Slicing、MPS 與 MIG 的取捨」:先定義變因與停止...