鐵人檔案
身為開發 AI agent 與負責地端/雲端服務的維運者, 記錄實際踩雷過的 K8s 學習之路, 從「Agent 為什麼與 K8s 有關」視角出發的個人學習筆記.
內容:
1) 為什麼 AI agent 需要知道 K8s,
2) AI infra（的資源規劃,
3) 沒碰過 K8s 的 AI 工程師該怎麼起步,
4) 部署一個 AI app 到底該選哪種雲端 K8s (GCP, Azure, 以及其他雲端該怎麼取捨）.
其中幾篇會以採用 OpenAB 自架的 agent 團隊為實例, 試著記錄 AI 工程師從「初探」到「能架設/觀察」的過程.
[前言]寫這篇的那個早上，我的開發機又重開了一次。 那是台 GCP 上的 Spot VM，上面跑了 10 幾個 containers: Discord bot,...
昨天提過，我的開發機上跑了十幾個 container。 最一開始其實很單純，就只有一隻 Discord bot：Discord WebSocket ->...
POV：你的機器才剛剛被無預警重開，10 幾隻 bot 在 22 秒內自己回復，但 tmux session 掛了，裡面有紀錄你相關監控的討論跟工作。 昨天講...
POV：free -h 跑出來 available 逼近見底、swap 全滿，你等著看 kernel 會不會挑人開刀，而且十有八九不是你以為的那個容器。 昨天...
POV：手上那份 20 行的 docker compose，第一次要「翻譯」成 K8s，卻不知道 Pod、Deployment、Service 哪一個對應哪一...
第二週開始談資源。這是我覺得 AI 工程師學 K8s 時，最容易被一般教學帶偏的地方：大部分教學用的範例是 web app，但 web app 的資源特性跟...
今天用一個實際的 stack 來聊資源上限。這個叫 devstack 的環境是我研究 RAG 用的，目前跑在 Docker Compose 上。它是我第一次認...
今天談 GPU 推論。這是三種工作負載裡我踩最多坑、也最沒把握說「我懂了」的一類。這篇比較像事故報告，結論的部分請當成「這是我目前的理解」來讀。 背景：我為什...
Day 04 記錄了那次記憶體壓力事件的「現場」，今天把它翻譯成 K8s 的語言。目的不是說「上了 K8s 就不會再發生」，而是搞清楚：同樣的事在 K8s 裡...
第二週最後一篇。先聲明：這篇是概念篇，而且刻意寫得淺。 我自己沒有在 K8s 上跑過正式的 training pipeline，這裡寫的是從 inferenc...
