iT邦幫忙

2026 iThome 鐵人賽

DAY 4
0
自我挑戰組

Medical Data Cleaner系列 第 5

建立有問題的資料

  • 分享至 

  • xImage
  •  

如果所有資料都是完全正確的,就很難確認之後製作的工具能不能找到資料中的問題。因此這次先在原本的正常資料中,刻意加入一些常見的資料錯誤,模擬實際資料處理時可能遇到的情況。
這次加入的問題如下。

  • 缺失值
P002,25,,165,52,115/75,82,外科,2026-09-01

這筆資料的 gender 欄位就是空白。

  • 格式錯誤
P003,abc,男,172,68,120/80,75,家醫科,2026-09-02

age 原本應該是年齡數字,卻變成了 abc

  • 格式不一致
男
男性
M

這些資料可能代表相同的意思,但如果沒有統一格式,在進行資料統計時可能會被當成不同的項目。

  • 不合理數值
    加入明顯不合理的數值,例如將心跳設定成 999,用來測試工具能不能找出異常資料。
  • 重複資料
P004,28,女,158,48,108/68,80,內科,2026-09-02
P004,28,女,158,48,108/68,80,內科,2026-09-02

這樣就可以測試之後的工具是否能夠找到重複資料。
今天透過刻意加入這些問題,完成了第一份可以用來測試資料品質檢查功能的資料。之後製作程式時,就可以利用這些錯誤確認工具是否能正確找到問題。

目前的資料流程如下:
正常資料 → 加入錯誤 → 使用工具檢查 → 清理資料 → 輸出清理後的資料


上一篇
建立模擬醫療資料
下一篇
使用PHP讀取CSV
系列文
Medical Data Cleaner6
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言