
收到!各位打火弟兄注意,我是今天的資料分析兼 AI 戰術教官。裝備檢查完畢,全部給我集中精神進入狀況!
今天的救援任務是推進 「Day 12:風控樞紐分析表(Pivot Table)與模糊重複值(Fuzzy Match)清理」!
在銀行授信與風控監管的火場裡,如果我們直接拿未經清洗的放款明細檔去做樞紐分析,最可怕的隱形火災就是 「企業名稱模糊重複(Fuzzy Duplicates)」 與 「巨額離群值(Outliers)」!例如,同一個集團客戶在系統中被分別記載為 "Google Inc." 與 "Google LLC",或是 "台灣積體電路" 與 "台積電股份有限公司";如果直接做樞紐分析,系統會將它們誤判為兩家完全不同的企業,導致單一集團的實質放款集中度(Concentration Risk)被嚴重低估分散,直接吹破內控資本適足率與授信集中度限額的防火牆!
以下依照我們的「救災標準作業程序 (S.O.P)」進行全方位的實務拆解與實力演練:
在授信集中度與風控統計的數據火場中,模糊重複值與未標記的離群值是摧毀風控防線的盲點:
"Inc."、"LLC"、或縮寫),導致同一個借款主體的總放款金額被拆分至多個列中。樞紐分析表只能對「完全一致」的字串進行聚合,這會造成「看似各戶放款皆未超標,實則總體集中度早已打火失控」的假象。為了精準抓出放款集中度破口與異常巨額交易,我們採用 「Fuzzy Match 模糊清洗 + 樞紐多維聚合 + IQR 離群值標記戰術」:
thefuzz (Levenshtein Distance 編輯距離演算法) 或 AI 語意比對,計算字串之間的相似度分數(Similarity Ratio,如 > 85%)。自動將 "Google Inc." 與 "Google LLC" 映射(Mapping)至統一的主體代碼,還原集團真實授信曝光額。我們準備一份來自各分行拋接匯總的原始放款明細資料,欄位包含:分行名稱、企業客戶戶名、產業類別、放款金額 (NT$)、違約狀態 (0為正常, 1為違約)。
在丟入樞紐分析前,先透過 AI 或 Python 進行模糊重複值自動排查與名稱標準化映射:
# Role
你是一位金融數據清洗專家,精通字串相似度演練與 Fuzzy Match 比對。
# Goal
請協助排查以下【原始放款企業戶名】清單,找出相似度高於 85% 的模糊重複戶名,並給出標準化後的「統一企業集團名稱」。
# Input Enterprise Names
["Google Inc.", "Google LLC", "台積電股份有限公司", "台灣積體電路製造", "聯發科技", "聯發科股份有限公司", "蘋果電腦", "Apple Inc."]
# Output Format
請輸出 Markdown 比對對照表:[原始戶名 | 建議統一戶名 | 相似度匹配分數 (%) | 合併理由]
| 原始戶名 | 建議統一戶名 | 相似度匹配分數 (%) | 合併理由 |
|---|---|---|---|
| Google Inc. | Google Group | 88% | 確定為同一美商科技集團 |
| Google LLC | Google Group | 88% | 確定為同一美商科技集團 |
| 台積電股份有限公司 | 台灣積體電路 (TSMC) | 92% | 簡稱與全稱映射 |
| 台灣積體電路製造 | 台灣積體電路 (TSMC) | 95% | 官方正式登記名稱 |
| 聯發科技 | 聯發科集團 | 90% | 俗稱與公司登記名合流 |
| 聯發科股份有限公司 | 聯發科集團 | 94% | 官方登記全稱 |
將清理並標準化後的數據,輸入 Excel / Python 建立多維度樞紐分析表:
分行名稱
產業類別(如:半導體業、電子組裝、房地產開發)加總 - 放款金額 (NT$) 與 加總 - 違約戶數
| 分行名稱 | 半導體業 (放款額 / 違約戶) | 房地產開發 (放款額 / 違約戶) | 餐飲零售業 (放款額 / 違約戶) | 分行放款總金額 (NT$) | 分行總違約戶數 | 集中度警示 |
|---|---|---|---|---|---|---|
| 台北分行 | $ 850,000,000 / 0 | $ 1,200,000,000 / 2 | $ 150,000,000 / 0 | $ 2,200,000,000 | 2 戶 | 房地產集中度過高 (>54%) |
| 新竹分行 | $ 2,100,000,000 / 0 | $ 100,000,000 / 0 | $ 50,000,000 / 0 | $ 2,250,000,000 | 0 戶 | 半導體集中度極高 (>93%) |
| 台中分行 | $ 300,000,000 / 0 | $ 650,000,000 / 1 | $ 400,000,000 / 1 | $ 1,350,000,000 | 2 戶 | 風險相對分散 |
| 全行總計 | $ 3,250,000,000 / 0 | $ 1,950,000,000 / 3 | $ 600,000,000 / 1 | $ 5,800,000,000 | 4 戶 | 總放款集中於半導體 (56%) |
針對單筆放款金額,計算 IQR 門檻(假設 \(Q1 = \text{2,000萬}\), \(Q3 = \text{8,000萬}\), \(\text{IQR} = \text{6,000萬}\),上限門檻 \(= 8,000\text{萬} + 1.5 \times 6,000\text{萬} = \text{1.7億}\)):
新竹分行 - 台灣積體電路:單筆放款 NT$ 12 億(超過門檻 1.7 億,自動標記為 【離群值 - 總行特批大型聯聯貸案】)。台北分行 - 某人名獨資企業:單筆轉帳/放款 NT$ 3.5 億(超過門檻,自動標記為 【離群值 - 疑似 AML 異常大額交易,即刻通報】)。"Google Inc." 與 "Google LLC")均已正確歸戶至同一個集團,且離群值皆已有合規註記,確保樞紐分析統計數字 100% 準確。「Fuzzy 比對先歸戶,企業集團不漏抓;樞紐分析看集中,離群巨額零漏查!」