iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
IT Operation

地端生成式 AI 平台 SRE 實戰:GPU 資源治理、可觀測性與災難復原 系列

能啟動模型,不代表能長期營運 AI 平台。本系列從地端生成式 AI 平台的實際維運問題出發,探討 GPU、CPU、記憶體與儲存資源競爭,並延伸至服務監控、效能量測、容量規劃、故障處理、備份與災難復原。透過實際指標、故障情境與復原測試,建立從 PoC 邁向多人穩定服務所需要的 SRE 與平台工程方法。

參賽天數 29 天 | 共 29 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day 21|備份什麼才算 AI 平台備份

完成「容量規劃:下一個使用者來之前要先知道什麼」後,下一個問題是「備份什麼才算 AI 平台備份」能否重跑、否定並留下失敗原因。這就是今天的範圍。 今天要回答的問...

2026-10-05 ‧ 由 jackwu 分享
DAY 22

Day 22|PostgreSQL/Supabase:備份很簡單,還原才是重點

延續「備份什麼才算 AI 平台備份」,這篇聚焦「PostgreSQL/Supabase:備份很簡單,還原才是重點」:先定義變因與停止線,再由實驗結果檢驗原本的直...

2026-10-06 ‧ 由 jackwu 分享
DAY 23

Day 23|物件與檔案資料:一致性比複製更難

前一篇討論「PostgreSQL/Supabase:備份很簡單,還原才是重點」,這篇聚焦「物件與檔案資料:一致性比複製更難」,並沿用同一組輸入、環境與判讀規則,...

2026-10-07 ‧ 由 jackwu 分享
DAY 24

Day 24|模型與 Cache 要備份嗎?重建策略的取捨

前一篇處理「物件與檔案資料:一致性比複製更難」,這篇進一步討論「模型與 Cache 要備份嗎?重建策略的取捨」。共同的量測條件是前後比較的基礎。 今天要回答的問...

2026-10-08 ‧ 由 jackwu 分享
DAY 25

Day 25|RPO/RTO 不是名詞:轉化為可測量目標

完成「模型與 Cache 要備份嗎?重建策略的取捨」後,下一個問題是「RPO/RTO 不是名詞:轉化為可測量目標」能否重跑、否定並留下失敗原因。這就是今天的範圍...

2026-10-09 ‧ 由 jackwu 分享
DAY 26

Day 26|災難復原演練:從空機到重新提供 AI 服務

延續「RPO/RTO 不是名詞:轉化為可測量目標」,這篇聚焦「災難復原演練:從空機到重新提供 AI 服務」:先定義變因與停止線,再由實驗結果檢驗原本的直覺。 今...

2026-10-10 ‧ 由 jackwu 分享
DAY 27

Day 27|升級與回滾:模型服務更新怎麼不把平台一起帶走

前一篇討論「災難復原演練:從空機到重新提供 AI 服務」,這篇聚焦「升級與回滾:模型服務更新怎麼不把平台一起帶走」,並沿用同一組輸入、環境與判讀規則,避免只做名...

2026-10-11 ‧ 由 jackwu 分享
DAY 28

Day 28|Secret、權限與營運邊界:SRE 也要管安全

前一篇處理「升級與回滾:模型服務更新怎麼不把平台一起帶走」,這篇進一步討論「Secret、權限與營運邊界:SRE 也要管安全」。共同的量測條件是前後比較的基礎。...

2026-10-12 ‧ 由 jackwu 分享
DAY 29

Day 29|Game Day:一次把 GPU、DB、磁碟與模型服務都當成會壞

完成「Secret、權限與營運邊界:SRE 也要管安全」後,下一個問題是「Game Day:一次把 GPU、DB、磁碟與模型服務都當成會壞」能否重跑、否定並留下...

2026-10-13 ‧ 由 jackwu 分享