前言
今年 AI 的蓬勃發展,特別是大型語言模型 (LLM) 的興起,對運算資源的需求大幅提升。執行像 Mixtral-8x7B 等複雜模型的推論(Infer...
昨天的章節,我們實作了 Recreate,Rolling update 兩個部署策略。今天來繼續實作剩下的策略。
實作: Canary
在 Kubernetes...
Day-24 服務的部署策略 - Ingress NGINX Controller
前言
昨天初步介紹了各種服務部署策略,其中有兩項是 Kubernetes D...
這個文章將用 kind 帶領大家探索 Layered cgroup
步驟
創建 kind
在設定檔中指定 worker node
進入 worker...
Day-23 服務的部署策略 - 介紹
前言
在軟體開發中,唯一不變的就是改變,如何在軟體更新迭代中降低服務中斷的風險,是一個重要的課題。
接下來幾天會介紹 服...
前言
前一章節,介紹了 Kueue 配置,經常在機器學習的訓練領域使用到。而本章將深入探討如何在 Google Kubernetes Engine (GKE)...