經過前面的經驗,我們寫的 Skill 終於能在對的時候被叫出來了。
流程寫得清楚、硬規則也定好了,用起來很順。
然後我又會開始想:既然這麼好用,那乾脆把更多東西寫進去吧。
但這樣又會出現什麼問題?
references/ 是這支的附錄,獨立目錄才是知識庫
膽小狗英雄裡出現的胡蘿蔔:
以排查 Skill 為例,它一開始很單純,就是幾個步驟:
但實際用下去,你會忍不住一直補東西:
結果三個月後,這份 SKILL.md 從 80 行變成 800+ 行。
而這時候會出現三個問題:
Skill 一旦被觸發,SKILL.md 是整份載入的。
所以你排查一個單純的 timeout,AI 也得先把「iOS 模擬器的已知問題」「三年前那次 DB 遷移」等等通通讀一遍。
這個比燒 token 更麻煩,因為資訊量太多太雜了,一個全部都是重點的文件其實就會變成沒重點了
AI 要在裡面自己判斷哪些跟這次有關,而它判斷錯的機率,會隨著雜訊增加而上升。
所以寫得越多,反而越不準。
800+ 行的東西,你要新增一條規則之前,得先確認它跟前面有沒有衝突
SKILL.md 通常盡量控制在 500 行內,細節搬到外面的檔案。
而這件事的關鍵,是拆的標準。
我自己的判斷很簡單:
Skill 裝的是「不太會變的方法」,拆出去的是「會一直長大的素材」。
同樣講排查:
| 內容 | 放哪 | |
|---|---|---|
| 方法 | 失敗了要查哪幾個來源、什麼順序 | 留在 Skill |
| 素材 | 這個 log 怎麼看、那次踩過什麼雷 | 拆出去 |
拆完之後,Skill 本體可能會長這樣:
## 流程
3. **查 log** — 依平台選對應的排查方式
- API 的 log → 見 [api-troubleshooting.md](api-troubleshooting.md)
- Web 的 log → 見 [web-troubleshooting.md](web-troubleshooting.md)
Skill 只說「這一步要查 log,以及該去哪裡查」。
至於 API log 有哪些常見陷阱、哪個欄位要特別看,全部在外面那份檔案裡,AI 真的走到這一步才會去讀。
(現實中也不會只有一個檔案就放了全部踩雷經驗!通常還是會依照類型去區分 ex. 401 相關可看 401.md、timeout 可看 timeout.md 諸如此類)
這裡有一個分界,我覺得比前面都重要。
拆出去的檔案有兩種放法:
| 放哪 | 誰用得到 | 什麼時候選它 |
|---|---|---|
Skill 資料夾底下的 references/ |
只有這支 Skill | 內容只服務這支,例如它自己的輸出格式規範 |
| 專案的獨立目錄 | 所有 Skill 都指得到 | 好幾支 Skill 都需要的東西 |
可以再進一步問問自己:
當發生了同一份經驗,三支 Skill 都需要。
如果它放在排查 Skill 的 references/ 底下,另外兩支就吃不到,最後你只能複製三份,這樣最後就容易讓精準度就會開始漂移。
所以判斷很單純:
一份內容只要被兩支以上的 Skill 用到,就可以搬出來獨立放。
那個位置,就是知識庫。
附上 Claude 官方的推薦 Skill 設計供參考,實際還是可以自行調整的,重點是「設計原則」清楚即可
brand-guidelines/
├── SKILL.md
├── scripts/ # Optional: executable code
├── references/ # Optional: additional documentation
└── assets/ # Optional: templates, images, data files
它單純就是一批寫下來、AI 讀得到、而且不綁在任何一支 Skill 底下的檔案。
以 QA 的工作來說,我覺得值得存的有這幾類:
1. 排查路徑
測試 timeout → 先看歷史穩定度 → 穩定才往產品端查 → 不穩定才往腳本查2. 踩過的雷
間歇性 timeout 曾誤判為 Flaky,真因是後端寫入順序沒鎖
3. 環境與架構
4. 規格與測試案例
5. 產品業務邏輯
問「這個測試失敗是什麼原因」
回覆會是這樣:
這個症狀在知識庫中 xxx.md 有相似紀錄:三個月前同樣是間歇性 timeout,當時初判 Flaky,實際真因是後端寫入順序未鎖定
建議先確認這支測試的歷史穩定度,再決定往哪個方向查
重點在於它把「應該先確認什麼」講出來了
這件事沒辦法一次到位,通常就是靠實務經驗一次次的堆疊出來的。
不是二選一,是分工:
| Skill | 知識庫 | |
|---|---|---|
| 裝什麼 | 方法:怎麼做、什麼順序 | 素材:以前發生過什麼 |
| 會不會變 | 低,定案後很少改 | 高,每次任務都可能長出新的 |
| 誰在用 | 這支 Skill 自己 | 所有需要的 Skill |
只有 Skill 沒有知識庫,AI 會照著正確的流程,但每次都從零開始判斷。
只有知識庫沒有 Skill,AI 手上一堆資料,卻不知道該按什麼順序用。
兩個合起來,才會出現「流程不漏、判斷又準」的效果,也能達到高品質的產出
不過講到這裡,有件事必須講清楚。
把經驗存起來、把面向補滿,確實能讓 AI 的判斷準很多。
但實際上真正在用 AI 的人是我們,我們還是本身要具備足夠專業度,才能真正靈活運用 AI
這也是我以前常常在判定是否具備 Senior 其中之一標準