iT邦幫忙

2026 iThome 鐵人賽

DAY 4
0
自我挑戰組

Medical Data Cleaner系列 第 11 篇

檢查資料一致性與標準化建議

  • 分享至 

  • xImage
  •  

前幾天已經完成缺失值、格式、數值範圍和重複資料的檢查,今天則開始處理另一個資料品質問題:資料的一致性。
有些資料本身不一定是錯的,但如果同一個欄位使用不同的表示方式,之後進行統計或分析時就可能造成問題。
一、檢查性別資料
在測試資料中,刻意放入了不同的性別表示方式:
*男
*男性
*M
雖然這些資料可能代表相同的意思,但如果系統只認得男和女,其他寫法就可能無法被正確分類。
因此這次除了找出不一致的資料,也讓系統提供標準化的修正建議。
例如:

格式不一致:P003 → gender = 男性 → 建議修正為:男
格式不一致:P004 → gender = M → 建議修正為:男

這樣使用者就能直接知道原本的資料是什麼,以及之後可以統一成什麼格式。
二、檢查日期格式
除了性別之外,日期也很容易出現不同的寫法。
例如測試資料中原本大部分使用:
2026-09-05
但P009使用:
2026/09/05
這兩種寫法代表的日期相同,但格式並不一致。
因此這次也讓 PHP 找出這種情況,並提供標準化建議:

格式不一致:P009 → visit_date = 2026/09/05 → 建議修正為:2026-09-05

三、從「檢查」開始走向「清理」
今天和前幾天比較不一樣的地方,是程式不只是告訴我資料有問題,而是開始提供可以採取的修正方式。
目前的流程已經慢慢變成:
讀取資料
↓
找出問題
↓
判斷問題類型
↓
提供修正建議
之後就可以進一步讓系統直接套用這些修正,而不需要使用者自己一筆一筆修改 CSV。


上一篇
使用PHP檢查重複資料
下一篇
整合醫療資料品質檢查功能
系列文
Medical Data Cleaner 共 16 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言