iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Engineering

AI 的駕馭之道:一個 AI Code Reviewer 的養成、評測與邊界實錄 系列

今年五月,我請 AI 整理一份設定檔。它把資料庫密碼找出來、填進去,然後準備 commit。它沒有做錯任何一步:我叫它整理設定,而密碼是設定的一部分。
這個系列不教你怎麼建構出 Agent。分享的是 Agent 蓋好之後的那題:當 AI 產出的速度超過人審查的速度,要怎麼確保它沒把專案帶歪,而且你知道它確實沒有。
前半段把 Code Review 判準寫成一份 Skill,後半段替它蓋一個關得住的環境,最後搬上瀏覽器。
大家的環境肯定不會跟我一樣,所以每一天都會提到「我的做法」跟「這個做法在解什麼問題」。工具會換,但那些問題不會。

鐵人鍊成 | 共 30 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 11|第一份 Skill:交由 LLM 開工!Claude Code 26 分鐘生出整份 Skill

簡短回顧 在前面幾天,我把我的 Code Review Skill 全部拆解,同時也把內部流程分享給大家。今天,我們要將過去幾天寫的內容當成素材,交由 LLM...

2026-08-19 ‧ 由 nathanfhh 分享
DAY 12

Day 12|AI Code Review Skill:首戰實錄,並公開 Repo

簡短回顧 我們在前一天已經完成 Skill 的建立。 Repo 從今天起公開:nathanfhh/30-days-ironman。 先說一件事免得對不上:這個...

2026-08-20 ‧ 由 nathanfhh 分享
DAY 13

Day 13|Skill 怎麼測試?用 LLM Judge 當回歸防線

簡短回顧 前一天我們走過實際測試並且進行整體的優化。 同時也針對 Skill 內部的 Scripts 寫了 單元測試,確保後續異動時能有所保護。 今天目標 為這...

2026-08-21 ‧ 由 nathanfhh 分享
DAY 14

Day 14|Skill 的評測(上):竟在 Benchmark 實測中拿了最後一名 😱

簡短回顧 前面幾天,除了 Script 的單元測試,我們也補上針對 Skill 本身的 Eval,作為後續異動時的回歸防線。 花費 Day 12 那場單一 MR...

2026-08-22 ‧ 由 nathanfhh 分享
DAY 15

Day 15|Skill 的評測(下):盲測放榜,等等!標準答案好像不對勁 🤔

簡短回顧 昨天我們把 50 個案例全部跑完,原始分數拿了最後一名;然後把 1,395 條 claim(人寫的 golden comments + 六個工具沒命中...

2026-08-23 ‧ 由 nathanfhh 分享
DAY 16

Day 16|Skill 的疤痕生命週期:規則什麼時候該拿掉?

簡短回顧 前兩天我們拿外部的 Benchmark 量了自己一次,跑完之後最實際的收穫不是名次,是抓到自己的算法一直在替自己加分。 到今天為止,這個系列一直在做同...

2026-08-24 ‧ 由 nathanfhh 分享
DAY 17

Day 17|Dev Container:先縮小出事範圍,再決定要不要放寬煞車

本日對應公開 Repo:dev-container/ 本文依實作當時的建置順序,從最初版 Dockerfile 開始;上方資料夾則是經過後續實戰調整後的目前版...

2026-08-25 ‧ 由 nathanfhh 分享
DAY 18

Day 18|憑證不進 Session:NGINX 反向代理幫 AI 蓋 GitLab token 的章

本日對應公開 Repo:gitlab-proxy/ 本文描述的是單機版 NGINX 代理;公開 repo 的目前版本保留了完整白名單、TLS 驗證、限流與已...

2026-08-26 ‧ 由 nathanfhh 分享
DAY 19

Day 19|讓 AI Agent 借得到簽名,拿不到印鑑:ssh-agent

本日對應公開 Repo:dev-container/ 簡短回顧 昨天我們讓一台 NGINX 擋在 GitLab 前面替 AI Agent 蓋憑證的章,順便...

2026-08-27 ‧ 由 nathanfhh 分享
DAY 20

Day 20|容器的網路邊界:iptables 白名單,與少寫兩個引號留下的漏洞

簡短回顧 昨天我們把 host 的 ssh-agent socket 轉發進容器,交出去的是「幫我簽這段 bytes」的能力,私鑰從頭到尾沒有離開 host。...

2026-08-28 ‧ 由 nathanfhh 分享