iT邦幫忙

2026 iThome 鐵人賽

DAY 21
1
AI 自動化

《從聊天到規格書:我如何把 AI 訓練成報告產線員工》系列 第 21

【Day 21】除錯指南:格式跑掉、內容遺漏、語氣不對該怎麼修?

  • 分享至 

  • xImage
  •  

前言
昨天的壓力測試,大概率會讓你發現一些不如預期的結果——這是正常的,甚至是好事,因為代表測試真的有效。今天要做的事,是把這些問題系統化地分類、定位,並且針對性地修正,而不是憑感覺東改西改。

一、除錯的第一步:對照品質檢查清單,不要憑印象
回顧 Day 5,我們建立過一份品質檢查清單(完整性、準確性、格式一致性、語氣風格)。今天除錯的核心方法,就是把昨天測試的輸出結果,逐項對照這份清單,具體標出哪一項沒通過,而不是模糊地說「感覺怪怪的」。
這一步很關鍵,因為「格式跑掉」「內容遺漏」「語氣不對」這三種常見問題,分別對應到清單的不同面向,而它們的修正方式也完全不同——先分類,才能對症下藥。
二、狀況一:格式跑掉
症狀:章節順序錯亂、標題層級不一致、條列符號忽然變成數字編號、佔位符沒有被正確替換。
通常的根本原因:對照 Day 8 談過的內容,這通常代表 Response 規則寫得不夠具體——你可能用了形容詞描述格式(例如「請保持格式一致」),而不是直接給出結構骨架。
修正方式:

  1. 回頭檢查 Day 18 設計的模板骨架,是否有清楚標示每個章節的固定順序與標題層級
  2. 加一條明確規則:「必須完全依照上述章節順序輸出,不得增減、調換章節,標題層級須與範本一致」
  3. 如果佔位符沒被正確替換,檢查佔位符的命名是否清楚(例如 {已結案數} 比 {數字1} 更不容易被誤解)
    三、狀況二:內容遺漏
    症狀:某個章節內容空白或過於簡略、資料裡明明有的事件沒有被寫進報告、待辦事項漏掉了某幾筆。
    通常的根本原因:可能有兩種——一種是 Day 14 談過的 Token 額度問題,資料太長導致後半部分被截斷;另一種是規則裡沒有明確要求「所有資料都要被涵蓋」,AI 誤以為只需要挑重點寫。
    修正方式:
  4. 先確認是不是額度問題:如果輸出明顯在某處突然變簡略或中斷,回頭檢查 Day 14、15 的資料量與預處理是否有落實
  5. 如果不是額度問題,加一條明確規則:「輸入資料中的每一筆事件,都必須在報告中有對應呈現,不得省略或僅挑選部分事件撰寫」
  6. 針對「待辦事項漏掉」這類具體遺漏,可以在規則裡加上具體的篩選邏輯說明,確認 AI 判斷「該不該列入待辦」的標準跟你的預期是否一致
    四、狀況三:語氣不對
    症狀:又出現了「值得注意的是」這類 AI 味用語、語氣太過禮貌或太過情緒化、跟提供的範例風格不像。
    通常的根本原因:對照 Day 9、10,可能是禁用清單不夠具體,或是 Few-shot 範例的引導效果被其他規則的衝突訊號蓋過去了。
    修正方式:
  7. 把這次測試中實際出現的「不對勁」用語,逐字加進禁用清單裡——用真實出現過的案例修正規則,比憑空猜測要加什麼禁用詞更精準
  8. 確認 Few-shot 範例有沒有真的放進 System Prompt,還是不小心遺漏了
  9. 檢查有沒有其他規則,無意間跟語氣要求互相矛盾(例如某條規則要求「詳細說明」,卻跟「精簡」的語氣要求打架,讓 AI 無所適從)
    五、除錯時的核心紀律:一次只改一個地方
    呼應 Day 20 結尾提到的原則,這裡要再次強調:發現問題後,先鎖定最可能的那一條規則做修改,重新測試同一個情境,確認問題解決之後,再處理下一個問題。 不要一次把所有懷疑的地方都改掉——如果同時改了三個地方,而問題剛好解決了,你永遠不會知道到底是哪個改動真正有效,未來遇到類似問題時也無法快速複製修正經驗。
    六、今天的行動練習
    拿出昨天壓力測試的紀錄,把每一個發現的問題,依照今天的三種分類(格式、遺漏、語氣)整理成一張表格,並針對每一項寫下你打算怎麼修正。完成修正後,針對同樣的測試情境,重新測試一次,確認問題是否真的解決。

小結
除錯不是憑感覺東修西改,而是要先分類問題、定位根本原因,再針對性地做最小幅度的修正。今天整理的三種常見狀況——格式跑掉、內容遺漏、語氣不對——各自對應到不同的根本原因,也對應著前面不同天數建立的規則,這也是為什麼從 Day 1 開始,我們一直強調系統化架構的重要性:架構清楚,除錯時才知道該往哪裡找問題。
下一篇,我們要退後一步,建立一個貫穿長期維護的習慣——為什麼你的 Prompt 範本,需要跟程式碼一樣被認真地做版本控制?


上一篇
【Day 20】實戰演練 (二):用一週的真實資料進行壓力測試
下一篇
【Day 22】Prompt 的版本控制:為什麼我們需要紀錄「修改日誌」?
系列文
《從聊天到規格書:我如何把 AI 訓練成報告產線員工》27
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言