iT邦幫忙

2026 iThome 鐵人賽

DAY 15
0
AI 自動化

《從聊天到規格書:我如何把 AI 訓練成報告產線員工》系列 第 15

【Day 15】資料預處理技巧:餵給 AI 前,我們該幫資料做什麼「瘦身」?

  • 分享至 

  • xImage
  •  

前言
昨天我們談到,當資料量爆表時,其中一個策略是「先做摘要式壓縮,再交給 AI」。今天要把這個策略展開成一套完整的資料預處理方法——在資料進入 AI 之前,你可以先動手做哪些「瘦身」與「整理」,讓後續的判斷更準確、篇幅更精簡。
這一步的角色分工很關鍵:機械性的資料整理,盡量讓程式或人工先做掉,把 AI 的力氣留給真正需要判斷力的部分。

一、為什麼「先整理再交給 AI」比「整包丟給 AI 自己處理」更好
回顧 Day 1 拆解「寫報告」三步驟(收集資料 → 判斷整理 → 排版),我們談過只有中間這步真正需要判斷力。但實務上,原始資料常常混雜著大量「不需要判斷、只需要整理」的雜訊——例如重複的欄位、無關的系統紀錄、格式不一致的日期。
如果把這些雜訊原封不動丟給 AI,你等於是在讓它同時做兩件事:先自己把資料整理乾淨,再做真正的分析判斷。這樣不但浪費 Token 額度(呼應昨天的主題),也增加了它「整理過程中順便誤解資料」的風險。你越早把機械性的整理工作攔截掉,AI 犯錯的機會就越少。
二、四種常見的預處理技巧
技巧一:去除明顯無關的欄位
原始匯出檔案裡,常常包含一些跟報告內容完全無關的系統欄位(例如內部資料庫的流水號、系統時間戳的技術格式)。在丟給 AI 之前,先篩掉這些欄位,只留下報告真正需要的資訊。
技巧二:統一格式,減少 AI 需要「猜」的空間
如果日期格式、狀態欄位的用詞不一致(例如有時候寫「已結案」,有時候寫「Closed」),建議先統一成固定格式。這一步雖然簡單,但效果直接——格式越一致,AI 誤判的機率越低,這跟 Day 8 談的「結構化輸出」是同一套邏輯,只是這次套用在輸入端,而不是輸出端。
技巧三:對重複性高的資料先做分組彙總
延續昨天提到的策略,如果同類型、同風險等級的事件大量重複出現,可以先用程式或表格工具做初步分組統計(例如「本週共 12 起低風險異常登入事件,均已自動阻擋」),而不是把 12 筆逐條細節都丟給 AI。這樣不只省篇幅,也讓 AI 更容易掌握「這批資料的整體樣貌」,而不是被大量重複細節淹沒。
技巧四:標記出「需要特別注意」的項目
如果你(身為人類)已經知道某幾筆資料特別重要、需要在報告中特別強調(例如高風險且尚未結案的事件),可以在資料進入 AI 之前,先手動或用簡單規則標記出來(例如加上一個「⚠️重點」欄位)。這樣可以確保 AI 不會因為資料量大,而不小心把重點淹沒在其他資訊裡。
三、預處理該由「程式」做,還是「人工」做?
這個問題的判斷原則很直接:只要是「規則明確、可以寫成固定邏輯」的整理工作,就適合交給程式做(這也會直接對應到 Day 26 要談的 Python 自動化串接);如果需要一點主觀判斷(例如哪些事件算「特別需要注意」),則暫時由人工標記,等你對規則越來越有把握之後,再考慮能不能也寫成固定邏輯,交給程式接手。
現階段(還在第三階段,還沒進入自動化串接),你可以先用手動整理或簡單的試算表工具做預處理,不需要一開始就寫程式——先確定「該做哪些整理」比「用什麼工具做」更重要,等流程穩定之後,再回頭把重複性高的整理步驟自動化。
四、預處理不是要「幫 AI 做完所有工作」
這裡要提醒一個容易走偏的方向:預處理的目的,是移除雜訊和重複性的機械工作,而不是把 AI 該做的判斷工作也搶過來做掉。例如「本週事件是否呈現上升趨勢」這種需要綜合判斷的問題,不該在預處理階段就先下結論——這仍然是 AI(或你)在後續章節該做的分析工作,預處理只負責把原始資料整理乾淨、方便判斷,不代替判斷本身。
五、今天的行動練習
拿一份實際的原始匯出資料,對照今天的四個技巧,實際動手做一次預處理:篩掉無關欄位、統一格式、對重複項目做分組彙總、標記重點項目。比較預處理前後,資料的篇幅跟可讀性差異有多大。

小結
今天的核心心法呼應 Day 1 最初的拆解:收集資料、判斷整理、排版產出,這三步只有中間一步真正需要判斷力。資料預處理做的,正是把「收集資料」跟「機械性整理」這兩塊工作,盡量在 AI 開始判斷之前就先處理乾淨,讓 AI 能專注在真正需要它發揮價值的地方。
第三階段的最後三天,我們要正式進入「AI 該怎麼做判斷」這個核心問題——先從 Chain-of-Thought(思維鏈)這個進階推理技術的概念開始談起。


上一篇
【Day 14】Token 限制與上下文長度:當一週資料量爆表時怎麼辦?
下一篇
【Day 16】進階推理技術 (上):Chain-of-Thought (思維鏈) 概念解析
系列文
《從聊天到規格書:我如何把 AI 訓練成報告產線員工》27
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言