iT邦幫忙

2026 iThome 鐵人賽

DAY 12
0
佛心分享-IT 人自學之術

30 天 從數據思維到自動化稽核實戰系列 第 12 篇

Day 12:風控樞紐分析表(Pivot Table)與模糊重複值(Fuzzy Match)清理

  • 分享至 

  • xImage
  •  

https://ithelp.ithome.com.tw/upload/images/20260913/20070969DtXMBKbo4h.png
收到!各位打火弟兄注意,我是今天的資料分析兼 AI 戰術教官。裝備檢查完畢,全部給我集中精神進入狀況!

今天的救援任務是推進 「Day 12:風控樞紐分析表(Pivot Table)與模糊重複值(Fuzzy Match)清理」!

在銀行授信與風控監管的火場裡,如果我們直接拿未經清洗的放款明細檔去做樞紐分析,最可怕的隱形火災就是 「企業名稱模糊重複(Fuzzy Duplicates)」 與 「巨額離群值(Outliers)」!例如,同一個集團客戶在系統中被分別記載為 "Google Inc." 與 "Google LLC",或是 "台灣積體電路" 與 "台積電股份有限公司";如果直接做樞紐分析,系統會將它們誤判為兩家完全不同的企業,導致單一集團的實質放款集中度(Concentration Risk)被嚴重低估分散,直接吹破內控資本適足率與授信集中度限額的防火牆!

以下依照我們的「救災標準作業程序 (S.O.P)」進行全方位的實務拆解與實力演練:


🚨 1. 災情評估與風險控制 (Size-up & Problem Analysis)

在授信集中度與風控統計的數據火場中,模糊重複值與未標記的離群值是摧毀風控防線的盲點:

  • 數據火場的致命盲點:
    1. 模糊重複值的分散效應:多個分行在建立企業戶名稱時,因為輸入習慣不同(如含不含 "Inc."、"LLC"、或縮寫),導致同一個借款主體的總放款金額被拆分至多個列中。樞紐分析表只能對「完全一致」的字串進行聚合,這會造成「看似各戶放款皆未超標,實則總體集中度早已打火失控」的假象。
    2. 離群值(Outliers)扭曲整體風控判斷:平均客單價或常態放款金額多為數百萬元,突然出現一筆數億元的巨額轉帳或異常放款;若未經排查就直接拉平均值或回歸模型,會讓整體的風險指標嚴重失真。
  • 打火弟兄最常犯的致命迷思:
    1. 迷思一:「以為 Excel 樞紐分析表拖拉出來的集中度數字就是最終真相。」 —— 錯!未先清理「模糊重複戶名」前,樞紐分析表算出來的集中度多半是虛降的假象!
    2. 迷思二:「遇到離群值(巨額交易)就直接隨手刪除。」 —— 錯!離群值往往是系統 Key 錯(Garbage)或是潛在洗錢/巨額違約預警(AML/Default Risk)的起火點,必須先辨識標記並單獨調查,而非無腦刪除。

🧯 2. 戰術下達與核心原理 (Tactical Strategy)

為了精準抓出放款集中度破口與異常巨額交易,我們採用 「Fuzzy Match 模糊清洗 + 樞紐多維聚合 + IQR 離群值標記戰術」:

  1. Fuzzy Matching 模糊重複值自動排查:
    利用 Python thefuzz (Levenshtein Distance 編輯距離演算法) 或 AI 語意比對,計算字串之間的相似度分數(Similarity Ratio,如 > 85%)。自動將 "Google Inc." 與 "Google LLC" 映射(Mapping)至統一的主體代碼,還原集團真實授信曝光額。
  2. 樞紐分析表(Pivot Table)多維度集中度矩陣:
    將「分行」置於列(Rows)、「產業類別」置於欄(Columns),並將「放款金額(Sum)」與「違約戶數(Count/Sum)」置於值(Values),自動進行交叉維度聚合,算出一眼可見的風險集中熱點。
  3. 離群值(Outliers)四分位數(IQR)防線:
    運用四分位距(\(\text{IQR} = Q3 - Q1\))計算上限門檻(\(\text{Upper Bound} = Q3 + 1.5 \times \text{IQR}\)),將超過門檻的極端巨額交易自動打上記號,隔離至專責調查流水線。

🚒 3. 黃金救援步驟 (Actionable S.O.P)

事前佈線(Data Preparation - 原始授信放款明細)

我們準備一份來自各分行拋接匯總的原始放款明細資料,欄位包含:分行名稱、企業客戶戶名、產業類別、放款金額 (NT$)、違約狀態 (0為正常, 1為違約)。


深入火場(Analysis & Modeling - 實力練習)

動作一:自動排查模糊重複企業戶名 (Fuzzy Matching)

在丟入樞紐分析前,先透過 AI 或 Python 進行模糊重複值自動排查與名稱標準化映射:

1. 輸入 AI 的模糊比對 Prompt:
# Role
你是一位金融數據清洗專家,精通字串相似度演練與 Fuzzy Match 比對。

# Goal
請協助排查以下【原始放款企業戶名】清單,找出相似度高於 85% 的模糊重複戶名,並給出標準化後的「統一企業集團名稱」。

# Input Enterprise Names
["Google Inc.", "Google LLC", "台積電股份有限公司", "台灣積體電路製造", "聯發科技", "聯發科股份有限公司", "蘋果電腦", "Apple Inc."]

# Output Format
請輸出 Markdown 比對對照表:[原始戶名 | 建議統一戶名 | 相似度匹配分數 (%) | 合併理由]
2. 模糊比對排查結果對照表:
原始戶名 建議統一戶名 相似度匹配分數 (%) 合併理由
Google Inc. Google Group 88% 確定為同一美商科技集團
Google LLC Google Group 88% 確定為同一美商科技集團
台積電股份有限公司 台灣積體電路 (TSMC) 92% 簡稱與全稱映射
台灣積體電路製造 台灣積體電路 (TSMC) 95% 官方正式登記名稱
聯發科技 聯發科集團 90% 俗稱與公司登記名合流
聯發科股份有限公司 聯發科集團 94% 官方登記全稱

動作二:建立「各分行、各產業放款集中度與違約戶數」樞紐分析表

將清理並標準化後的數據,輸入 Excel / Python 建立多維度樞紐分析表:

  • 樞紐分析表配置設定:
    • 列(Rows):分行名稱
    • 欄(Columns):產業類別(如:半導體業、電子組裝、房地產開發)
    • 值(Values):加總 - 放款金額 (NT$) 與 加總 - 違約戶數
各分行 x 各產業放款集中度與違約樞紐分析表
分行名稱 半導體業 (放款額 / 違約戶) 房地產開發 (放款額 / 違約戶) 餐飲零售業 (放款額 / 違約戶) 分行放款總金額 (NT$) 分行總違約戶數 集中度警示
台北分行 $ 850,000,000 / 0 $ 1,200,000,000 / 2 $ 150,000,000 / 0 $ 2,200,000,000 2 戶 房地產集中度過高 (>54%)
新竹分行 $ 2,100,000,000 / 0 $ 100,000,000 / 0 $ 50,000,000 / 0 $ 2,250,000,000 0 戶 半導體集中度極高 (>93%)
台中分行 $ 300,000,000 / 0 $ 650,000,000 / 1 $ 400,000,000 / 1 $ 1,350,000,000 2 戶 風險相對分散
全行總計 $ 3,250,000,000 / 0 $ 1,950,000,000 / 3 $ 600,000,000 / 1 $ 5,800,000,000 4 戶 總放款集中於半導體 (56%)

動作三:離群值(Outliers)巨遠交易自動排查標記

針對單筆放款金額,計算 IQR 門檻(假設 \(Q1 = \text{2,000萬}\), \(Q3 = \text{8,000萬}\), \(\text{IQR} = \text{6,000萬}\),上限門檻 \(= 8,000\text{萬} + 1.5 \times 6,000\text{萬} = \text{1.7億}\)):

  • 巨額離群案件標記:
    • 新竹分行 - 台灣積體電路:單筆放款 NT$ 12 億(超過門檻 1.7 億,自動標記為 【離群值 - 總行特批大型聯聯貸案】)。
    • 台北分行 - 某人名獨資企業:單筆轉帳/放款 NT$ 3.5 億(超過門檻,自動標記為 【離群值 - 疑似 AML 異常大額交易,即刻通報】)。

殘火處理與儀表板(Visualization & Risk Dashboard Integration)

  1. 數據品質殘火覆核:
    確認所有模糊戶名(如 "Google Inc." 與 "Google LLC")均已正確歸戶至同一個集團,且離群值皆已有合規註記,確保樞紐分析統計數字 100% 準確。
  2. 指揮中心視覺化(Tableau / Excel Dashboard):
    將樞紐分析表導出至 Tableau,繪製成 「分行與產業放款集中度密度熱圖(Heat Map)」 與 「巨額離群帳戶風控追蹤儀表板」,幫助風控高層一眼辨別哪一家分行在單一產業的曝光量已衝破監管警戒線!

🛡️ 4. 隊長的精神訓話 (Takeaway)

「Fuzzy 比對先歸戶,企業集團不漏抓;樞紐分析看集中,離群巨額零漏查!」


上一篇
Day 11:跨系統對帳與對折數據自動比對
下一篇
Day 13:AI 發想 20 個描述性風控分析題目
系列文
30 天 從數據思維到自動化稽核實戰 共 13 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言