iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Engineering

Learning SRE for the AI Era:從 SRE Lab 到 Production AI Reliability 系列

本系列以概念+實作,從 SRE 基礎打造 AI SRE Lab。使用 FastAPI、Docker、Prometheus、Grafana、Loki、OpenTelemetry 與 LLM Tracing,實作 SLI/SLO、Error Budget、可觀測性、告警、事故處理與 CI/CD。

並探討 LLM、RAG、Agent 的 TTFT、檢索失敗、語意品質、安全與成本。Production AI 不會取代 SRE,而是將可靠性從 API 延伸到 Workflow、Model Behavior 與使用者任務成功。

參賽天數 3 天 | 共 44 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 3

Day 15(上)|Availability:不是把 200 數一數

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:availability 要以有效使用者請求的結果計算;只...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 15(下)|Availability:不是把 200 數一數

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:availability 不能只看 28 天的長期比率,也...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 16(上)|平均 Latency 為什麼會騙人?請看尾端

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:平均 latency 能掩蓋少數非常慢的請求;互動服務要同...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 16(下)|平均 Latency 為什麼會騙人?請看尾端

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:histogram 埋對了只是起點,dashboard 要...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 17(上)|好的 SLI 與 FastAPI SLO:量得到不代表該量

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:好的 SLI 靠近使用者結果、能驅動動作,且不需要為了好看...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 17(下)|好的 SLI 與 FastAPI SLO:量得到不代表該量

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:規格寫得再漂亮,沒有查詢跟反例驗證過,都只是紙上的承諾;這...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 18(上)|LLM Application SLI:把「慢」拆到能修的位置

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:LLM application 要同時定義 system...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 18(下)|LLM Application SLI:把「慢」拆到能修的位置

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:事件契約定義好只是起點;真正決定值班工程師能不能在深夜迅速...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 19(上)|Task Success、Quality、Safety SLO:不能只由模型幫自己打分

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:AI 的 task success、quality 與 s...

2026-10-05 ‧ 由 dstjustin 分享
DAY 3

Day 19(下)|Task Success、Quality、Safety SLO:不能只由模型幫自己打分

GitHub:darkstar1227/learning-sre-for-ai-era 結論先說:把 task success、quality、safety...

2026-10-05 ‧ 由 dstjustin 分享