前一篇處理「先把推論服務容器化:AI Serving 的 Image 應該怎麼做」,這篇進一步討論「把 vLLM 部署到 Kubernetes:從單 Pod 到...
本篇環境
元件
版本
Kubernetes
v1.35
kind
最新 stable
Gateway API
v1.5(Standard...
今日目的
Tekton 尚未部署,終點無法是「產生 PipelineRun」。本文的目的是在 Tekton 到位之前,先把 Gitea 側的投遞能力單獨驗過:...
Day 14: 自癒能力:Liveness 與 Readiness Probes 的設計思維
讓 K8S 知道何時該重啟服務,何時該引導流量。
1. 為什麼服務...
前兩天都在 vLLM 上打轉:開機吃掉 91.4% 的記憶體、用分頁管 KV cache、用量化把權重壓到 5.20 GiB。
今天換一個引擎玩玩,SGLang...
前言
昨天,我們用 cert-manager 自動簽發了 TLS 憑證,也實際看到了 Custom Resource、Controller 與 Secret 之...