前兩天都在 vLLM 上打轉:開機吃掉 91.4% 的記憶體、用分頁管 KV cache、用量化把權重壓到 5.20 GiB。
今天換一個引擎玩玩,SGLang...
K8s Secret 預設只是 base64——防禦從加密 etcd 開始,再到 Token 最小化。
防禦總覽
攻擊
防禦措施
層級
S2...
十五、十六、十七篇聚焦的是網站架構進入 AI 原生時代後的最新演進。前者從 AI 原生應用架構與 Agent Infra 出發,說明雲原生不再只是承載服務,而是...
Day 18:中場總覽,一張圖追完封包從大門到 Container 的旅程
請求的旅程
十七天下來認識了一堆角色,但如果有人現在問「一個請求進來到底經過哪些人」...
Day 16 的 api-a-test NodePort 讓 API Client 可以從電腦呼叫 api-a。接下來想用瀏覽器驗證前端畫面呼叫 API。
首先...
前面提過 Pod 被刪除後,容器裡的暫存檔案可能一起消失。這次我們用 PVC 掛載 /data,實際測試換一個新 Pod 後,原本寫入的檔案能不能留下來。
1....