收到！各位打火弟兄注意，我是今天的資料分析兼 AI 戰術教官。裝備檢查完畢，全部給我集中精神進入狀況！

今天的救援任務是推進 「Day 8：識別『髒資料』與銀行 10 大數據清洗情境實戰」。

在信用卡風控與資料分析的火場中，未經處理的「髒資料（Dirty Data）」就像隨處飄散的有毒氣體與易燃毒物。如果我們直接把這堆格式錯亂、存在重複扣款與缺值的信用卡流水帳拋進風控模型或 Tableau 視覺化圖表裡，只會引發致命的 Garbage In, Garbage Out（垃圾進，垃圾出） 災難，導致風險評估完全失效！

以下依照我們的「救災標準作業程序 (S.O.P)」進行詳盡的剖析與實務演練：

🚨 1. 災情評估與風險控制 (Size-up & Problem Analysis)

在信用卡交易監控與風控報表的數據火場中，髒資料是摧毀信任度的最大盲點：

• 數據火場的致命盲點：原始交易系統吐出來的流水帳，往往因為系統介面更換、填寫規範不一或跨平台拋接，產生欄位位移、系統重複扣款、日期格式混亂等「污染源」。若未經清理就直接計算刷卡金額總和或進行卡友消費行為分析，會得出極度扭曲的風控結論。
• 打火弟兄最常犯的致命迷思：
  1. 迷思一：「認為資料庫下載下來的 Excel/CSV 檔案一定是乾淨的，直接拉樞紐分析表做圖。」 —— 錯！許多無意義空白、文字型數字或隱藏重複列，會在視覺化聚合時自動算出錯誤的總和。
  2. 迷思二：「遇到缺值或格式錯誤時，直接手動逐筆刪除整行資料。」 —— 錯！未經評估就刪除資料會破壞樣本完整性（Completeness），甚至將正常的交易紀錄誤刪。

🧯 2. 戰術下達與核心原理 (Tactical Strategy)

為了精準排除信用卡資料中的有毒障礙物，我們必須建立 「銀行 10 大數據清洗戰術」，將雜亂的非結構化流水帳轉化為標準的結構化資料：

1. 切割（Split）：拆分複合欄位（如將「特店名稱-交易代碼」拆為兩欄）。
2. 修剪（Trim）：剔除字串前後無意義的隱藏空白。
3. 補值（Append/Imputation）：對遺失的金額或屬性進行合理推估補值。
4. 排序與篩選（Sort/Filter）：快速抽查異常高額或涉詐刷卡交易。
5. 合併（Merge）：將分散的欄位（如姓氏與名字、區碼與地址）組合成完整字串。
6. 取代（Replace）：字串轉碼（如將風險文字代號轉換為數字等級）。
7. 格式轉換（Format）：統一民國年與西元年，標準化日期時間。
8. 移除重複列（Remove）：消滅系統異常導致的重複刷卡與扣款紀錄。
9. 轉置（Pivot）：將橫向跨月扣款欄位轉置為直向結構化資料。
10. 萃取（Extract）：從長篇備註摘要中提取授權碼或特店統編。

🚒 3. 黃金救援步驟 (Actionable S.O.P)

事前佈線（Data Preparation - 原始信用卡交易流水帳）

我們勘查一份來自信用卡營運中心發出的「髒資料」交易流水帳（原始數據包含空白、重複刷卡、混亂時間格式與未拆分欄位）：

深入火場（Analysis & Modeling - 10 大數據清洗情境實戰）

教官帶著大家逐一執行 10 大救援動作：

1. 移除重複列（Remove）：
   • 救援情境：TX1001 因系統異步導致重複寫入資料庫。
   • 處置：利用 Excel 「移除重複項」或 Python df.drop_duplicates() 消除重複刷卡列，避免重複計算交易金額。
2. 修剪（Trim）：
   • 救援情境："張 大明 " 包含多餘空白，導致系統無法比對顧客身份。
   • 處置：套用 =TRIM(B2) 函數清除首尾多餘空格。
3. 切割（Split）：
   • 救援情境：特店與交易碼 複合在同一欄位 (遠東百貨-MCD01)。
   • 處置：以連字符 - 為分隔符執行資料剖析（Split），切割為 特店名稱 與 交易代碼。
4. 格式轉換（Format）：
   • 救援情境：交易時間混雜民國年 (115年08月01日) 與西元年 (2026/08/02)。
   • 處置：運用 AI 生成函數將民國年轉為西元格式 YYYY/MM/DD，確保可聚合分析。
5. 補值（Imputation）：
   • 救援情境：TX1002 授權金額缺失 (Null)。
   • 處置：依據交易摘要或近三月平均刷卡金額進行合理推估補值（如補入中位數或同類特店均額），並標記補值來源。
6. 取代（Replace）：
   • 救援情境：風險標記為文字 (High, Low)，無法直接投入數值模型。
   • 處置：將 High 取代轉碼為 3，Low 取代轉碼為 1。
7. 合併（Merge）：
   • 救援情境：清理後的卡友姓名與修剪後的卡號需組合為唯一識別鍵。
   • 處置：套用 =CONCATENATE() 或 & 符號將 卡號 與 姓名 合併為單一欄位。
8. 萃取（Extract）：
   • 救援情境：授權碼藏在長篇文字摘要中 ("授權碼:AUTH882193成功")。
   • 處置：使用文字萃取函數 =MID(H2, FIND("AUTH", H2), 10) 提煉出乾淨授權碼 AUTH882193。
9. 排序與篩選（Sort/Filter）：
   • 救援情境：監控金額大於 100,000 元或高風險等級之涉詐疑慮交易。
   • 處置：啟用篩選器過濾出特定風險等級，優先送交風控小組簽核。
10. 轉置（Pivot）：
    • 救援情境：近三月扣款紀錄呈橫向排列，不符合單列一筆交易的結構化規範。
    • 處置：透過逆樞紐/轉置（Unpivot）將橫向月份欄位轉為縱向列，呈現正規結構化數據。

殘火處理與儀表板（Visualization & Quality Inspection）

1. 數據品質殘火檢查：
   依據六大資料品質維度驗證清洗結果：
   • 完整性（Completeness）：無未授權的空白欄位。
   • 有效性（Validity）：日期與金額皆符合標準型態。
   • 獨特性（Uniqueness）：消除所有重複扣款紀錄。
2. 指揮中心匯報（Dashboard）：
   將清洗完成的乾淨資料匯入樞紐分析表或 Tableau，建構「信用卡異常交易風險視覺化儀表板」，即時呈現各特店風險等級分佈與每月刷卡金額趨勢。

🛡️ 4. 隊長的精神訓話 (Takeaway)

「進火場先排有毒氣體，分析前先清髒資料；十招數據技法齊，Garbage Out 永遠遠離！」