iT邦幫忙

2026 iThome 鐵人賽

DAY 17
0
AI 自動化

《從聊天到規格書:我如何把 AI 訓練成報告產線員工》系列 第 17

【Day 17】進階推理技術 (下):讓 AI 幫你判斷「本週事件趨勢與嚴重性」

  • 分享至 

  • xImage
  •  

前言
昨天我們建立了 Chain-of-Thought 的概念:要求 AI 先攤開推理過程,再下結論。今天要把這個技巧實際套用在一個具體、也是整個第三階段裡風險最高的任務上——判斷本週事件的趨勢與嚴重性。
之所以說這是風險最高的一天,是因為「趨勢判斷」這件事,天生就需要「比較基準」——而比較基準,恰好是最容易資料不足的地方。今天要花大部分篇幅,處理這個任務裡最容易踩雷的環節。

一、先誠實面對一個問題:AI 真的有能力判斷「趨勢」嗎?
「趨勢」這個詞,本質上是一種跨時間的比較——沒有比較對象,就沒有趨勢可言。如果你每次只丟給 AI「這一週」的資料,卻要求它判斷「趨勢是上升還是下降」,它手上根本沒有可以比較的東西。
在這種情況下,如果沒有明確的防呆規則,AI 很可能會做兩件危險的事:

  1. 用「這週資料本身聽起來的語氣」去猜一個趨勢(例如看到幾個高風險事件,就直接下結論「風險升高」,卻沒有真的跟上週比較)
  2. 利用它訓練時學到的「一般性資安知識」去補充一個聽起來合理的趨勢描述——這正是 Day 11 談過的幻覺類型之一
    二、正確做法:先確保「比較基準」真的存在
    在要求 AI 做趨勢判斷之前,你得先確認一件事:這次的 User Prompt 裡,有沒有實際提供可以拿來比較的歷史資料?(例如上週或過去幾週的關鍵數據摘要)
    如果沒有提供,正確的處理方式不是讓 AI「盡力猜一個」,而是要求它誠實承認資料不足以做判斷。這裡示範一個完整的 CoT + 防呆的組合句型:

請針對本週事件趨勢進行評估,依照以下步驟:

  1. 確認本次提供的資料中,是否包含可供比較的歷史資料(例如上週或過去統計數據)。
  2. 若「無」歷史資料可供比較,請直接說明:「本次資料未提供歷史比較基準,無法判斷趨勢,建議提供至少前一週的數據以進行比較」,並停止後續趨勢分析,不得自行推測方向。
  3. 若「有」歷史資料,才進行以下步驟:列出本週與比較期間的關鍵數據(事件總數、風險等級分布、平均處理時間),說明具體差異,並依據差異方向下結論。
  4. 結論必須明確指出是基於哪些具體數字做出的判斷,不得使用「感覺上」「大致而言」等模糊描述。
    這個句型的關鍵在第 2 步——明確給 AI 一個「資料不足時該做的具體動作」,而不是含糊地說「請謹慎判斷」。這正是 Day 11 談過的「禁止行為 + 明確替代行為」句型,在趨勢判斷這個場景的具體應用。
    三、「嚴重性」判斷的額外注意事項
    除了趨勢,「本週整體嚴重性如何」也是常見的判斷需求。這個任務的風險稍微不同——它不一定需要跨時間比較,但需要明確的分級標準,否則 AI 對「嚴重」的認定,可能跟你們部門的實際標準不一致。
    處理方式是在 Context 裡(呼應 Day 7),明確定義嚴重性的分級邏輯,例如:「嚴重性判斷依據公司既定的風險分級標準:凡涉及外部資料外洩疑慮或核心系統中斷者,列為『高』;其餘依照個案影響範圍列為『中』或『低』。」把分級標準講清楚,AI 才不會用它自己「猜」的標準去分類。
    四、驗證這個任務有沒有做對的方法
    延續 Day 11 提過的「故意測試」概念,針對趨勢判斷這個任務,建議做兩種測試:
  5. 故意不提供歷史資料,確認 AI 是否誠實回報「無法判斷」,而不是硬湊一個趨勢方向
  6. 提供一份明確的歷史資料,確認 AI 的結論,是否真的能對應回它列出的具體數字,而不是結論和數據對不太起來
    如果這兩種測試都通過,代表這個任務的防呆設計是可靠的;如果任何一項沒通過,回頭補強 CoT 步驟或防呆句型,直到通過為止。
    五、今天的行動練習
    如果你的資料來源目前還沒有累積足夠的歷史資料可供比較,先把今天的「資料不足時誠實回報」規則寫進範本——這比急著讓 AI「生出一個趨勢判斷」重要得多。如果已經有歷史資料,實際測試一次完整的 CoT 趨勢判斷流程,檢查結論是否真的站得住腳。

小結
今天處理的,是整個第三階段裡最容易「看起來很厲害,實際上很危險」的任務。趨勢判斷天生需要比較基準,而 AI 沒有能力無中生有地創造出這個基準——你的責任,是確保它在缺少基準時,誠實地說「不知道」,而不是用一段聽起來很專業的文字,包裝一個沒有根據的猜測。
第三階段接下來只剩最後一天:我們要把前面學到的所有規則整合起來,正式設計佔位符,打造一份真正「即插即用」的 Markdown 報告模板。


上一篇
【Day 16】進階推理技術 (上):Chain-of-Thought (思維鏈) 概念解析
下一篇
【Day 18】設計佔位符 (Placeholder):打造即插即用的 Markdown 報告模板
系列文
《從聊天到規格書:我如何把 AI 訓練成報告產線員工》27
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言