iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Engineering

Backend 工程師的 Azure GenAI 實戰 系列

本系列以 Backend 工程師視角,使用 Python、FastAPI 與 Azure AI 生態,實作一個 production-minded GenAI backend。內容從 Azure OpenAI 整合、RAG 到 Agent 架構,並涵蓋 API 設計、測試、觀測性與成本控管等 production 議題,聚焦怎麼把 GenAI 從 demo 做成能在真實場景長期運作的系統。

鐵人鍊成 | 共 35 篇文章 | 6 人訂閱 訂閱系列文 RSS系列文
DAY 21

Day 21:Prompt Injection 與 Tool Abuse——把安全防線拆進三欄記帳,才知道自己守不守得住

Prompt injection 的文章大多長一個樣:別人家的攻擊案例,加一張防禦清單,清單上每條看起來都一樣重。這篇不從理論開始,從一個我在自己 repo 裡...

2026-08-21 ‧ 由 Kehao 分享
DAY 22

Day 22:Audit Log——一筆終端事件、四條 exit path,還有兩條刻意不發

到 Day 21 為止,這個 backend 有了身分(Day 19)、預算(Day 9)、內容層的安全邊界(Day 21),但「誰在什麼時候做了什麼、結果如何...

2026-08-22 ‧ 由 Kehao 分享
DAY 23

Day 23:Docker 化 FastAPI GenAI Backend——build 會綠,容器起不來

這個 repo 的 docker/Dockerfile 從第一天就在:單 stage、root 執行、沒有 HEALTHCHECK、uv 留在最終 image...

2026-08-23 ‧ 由 Kehao 分享
DAY 24

Day 24:部署到 Azure Container Apps:「沒寫」不等於「預設」

Day 23 結尾開了兩張支票:把 image 放上 Azure Container Apps,和償還「8 秒 cleanup 預算、2 秒 margin」這兩...

2026-08-24 ‧ 由 Kehao 分享
DAY 25

Day 25:用 GitHub Actions 建立 CI/CD:每道防線都比它的名字窄

Day 24 收尾時,部署是一支 operator 手跑的 script:十一個 stage、每步讀回驗證、順序即契約。那十一個 stage 是首次建置——建...

2026-08-25 ‧ 由 Kehao 分享
DAY 26

Day 26:CLI scripts first,Bicep later:轉換是兩個軸,不是一個開關

這個 lab 的 infra 目前是 24 支 bash 腳本加一片 Bicep 模板,這個比例很容易被讀成技術債——都 2026 年了,怎麼還在寫 shell...

2026-08-26 ‧ 由 Kehao 分享
DAY 27

Day 27:用 Application Insights 追一次 LLM request:缺的自己補,多的自己關

configure_azure_monitor() 的官方宣傳是一行搞定:裝上套件、呼叫一次,request 與 dependency 就出現在 Applica...

2026-08-27 ‧ 由 Kehao 分享
DAY 28

Day 28:GenAI Evaluation:exit code 只發給重跑會給同一個答案的那一層

模型版本換了、prompt 改了一行、chunk 參數動了一格——CI 全綠。這個系列寫到現在,這棵樹上有近兩千個 unit test 與 behave 的 3...

2026-08-28 ‧ 由 Kehao 分享
DAY 29

Day 29:Production Readiness Checklist:標籤是主張,會失敗的指令才是檢查

上線前的 checklist 幾乎都死於同一種方式——每一條後面是一個勾,而打勾是一個主張,不是一個檢查。這個系列寫了 28 天的 code 與文件,Day 2...

2026-08-29 ‧ 由 Kehao 分享
DAY 30

Day 30:從 Demo 到 Platform:能搬走的,只有立過合約的那條邊界

「下一步走向 platform」這句話,我看過的版本多半被實作成加東西:加一個 model gateway、加一個 workflow engine、加一個治理平...

2026-08-30 ‧ 由 Kehao 分享