鐵人檔案
能啟動模型，不代表能長期營運 AI 平台。本系列從地端生成式 AI 平台的實際維運問題出發，探討 GPU、CPU、記憶體與儲存資源競爭，並延伸至服務監控、效能量測、容量規劃、故障處理、備份與災難復原。透過實際指標、故障情境與復原測試，建立從 PoC 邁向多人穩定服務所需要的 SRE 與平台工程方法。
前一篇討論「故意把 GPU 撐爆：一次 OOM 事故演練」，這篇聚焦「GPU 沒爆，CPU／RAM 還是能拖垮你」，並沿用同一組輸入、環境與判讀規則，避免只做名...
前一篇處理「GPU 沒爆，CPU／RAM 還是能拖垮你」，這篇進一步討論「模型載入其實是 Storage 問題」。共同的量測條件是前後比較的基礎。 今天要回答的...
完成「模型載入其實是 Storage 問題」後，下一個問題是「磁碟為什麼會越跑越滿：模型、Log、Cache 與資料庫」能否重跑、否定並留下失敗原因。這就是今天...
延續「磁碟為什麼會越跑越滿：模型、Log、Cache 與資料庫」，這篇聚焦「服務依賴與網路延遲：模型不是唯一故障點」：先定義變因與停止線，再由實驗結果檢驗原本的...
前一篇討論「服務依賴與網路延遲：模型不是唯一故障點」，這篇聚焦「排隊、背壓與 Admission Control」，並沿用同一組輸入、環境與判讀規則，避免只做名...
前一篇處理「排隊、背壓與 Admission Control」，這篇進一步討論「Health Check 不只是 HTTP 200」。共同的量測條件是前後比較的...
完成「Health Check 不只是 HTTP 200」後，下一個問題是「Metrics、Logs、Traces 要如何拼成同一個事故」能否重跑、否定並留下失...
延續「Metrics、Logs、Traces 要如何拼成同一個事故」，這篇聚焦「告警不是越多越安全：從訊號到可行動告警」：先定義變因與停止線，再由實驗結果檢驗原...
前一篇討論「告警不是越多越安全：從訊號到可行動告警」，這篇聚焦「寫一份真的能用的 AI 平台 Postmortem」，並沿用同一組輸入、環境與判讀規則，避免只做...
前一篇處理「寫一份真的能用的 AI 平台 Postmortem」，這篇進一步討論「容量規劃：下一個使用者來之前要先知道什麼」。共同的量測條件是前後比較的基礎。...
