能啟動模型,不代表能長期營運 AI 平台。本系列從地端生成式 AI 平台的實際維運問題出發,探討 GPU、CPU、記憶體與儲存資源競爭,並延伸至服務監控、效能量測、容量規劃、故障處理、備份與災難復原。透過實際指標、故障情境與復原測試,建立從 PoC 邁向多人穩定服務所需要的 SRE 與平台工程方法。
完成「容量規劃:下一個使用者來之前要先知道什麼」後,下一個問題是「備份什麼才算 AI 平台備份」能否重跑、否定並留下失敗原因。這就是今天的範圍。 今天要回答的問...
延續「備份什麼才算 AI 平台備份」,這篇聚焦「PostgreSQL/Supabase:備份很簡單,還原才是重點」:先定義變因與停止線,再由實驗結果檢驗原本的直...
前一篇討論「PostgreSQL/Supabase:備份很簡單,還原才是重點」,這篇聚焦「物件與檔案資料:一致性比複製更難」,並沿用同一組輸入、環境與判讀規則,...
前一篇處理「物件與檔案資料:一致性比複製更難」,這篇進一步討論「模型與 Cache 要備份嗎?重建策略的取捨」。共同的量測條件是前後比較的基礎。 今天要回答的問...
完成「模型與 Cache 要備份嗎?重建策略的取捨」後,下一個問題是「RPO/RTO 不是名詞:轉化為可測量目標」能否重跑、否定並留下失敗原因。這就是今天的範圍...
延續「RPO/RTO 不是名詞:轉化為可測量目標」,這篇聚焦「災難復原演練:從空機到重新提供 AI 服務」:先定義變因與停止線,再由實驗結果檢驗原本的直覺。 今...
前一篇討論「災難復原演練:從空機到重新提供 AI 服務」,這篇聚焦「升級與回滾:模型服務更新怎麼不把平台一起帶走」,並沿用同一組輸入、環境與判讀規則,避免只做名...
前一篇處理「升級與回滾:模型服務更新怎麼不把平台一起帶走」,這篇進一步討論「Secret、權限與營運邊界:SRE 也要管安全」。共同的量測條件是前後比較的基礎。...
完成「Secret、權限與營運邊界:SRE 也要管安全」後,下一個問題是「Game Day:一次把 GPU、DB、磁碟與模型服務都當成會壞」能否重跑、否定並留下...