如果所有資料都是完全正確的,就很難確認之後製作的工具能不能找到資料中的問題。因此這次先在原本的正常資料中,刻意加入一些常見的資料錯誤,模擬實際資料處理時可能遇到的情況。
這次加入的問題如下。
P002,25,,165,52,115/75,82,外科,2026-09-01
這筆資料的 gender 欄位就是空白。
P003,abc,男,172,68,120/80,75,家醫科,2026-09-02
age 原本應該是年齡數字,卻變成了 abc。
男
男性
M
這些資料可能代表相同的意思,但如果沒有統一格式,在進行資料統計時可能會被當成不同的項目。
999,用來測試工具能不能找出異常資料。P004,28,女,158,48,108/68,80,內科,2026-09-02
P004,28,女,158,48,108/68,80,內科,2026-09-02
這樣就可以測試之後的工具是否能夠找到重複資料。
今天透過刻意加入這些問題,完成了第一份可以用來測試資料品質檢查功能的資料。之後製作程式時,就可以利用這些錯誤確認工具是否能正確找到問題。
目前的資料流程如下:
正常資料 → 加入錯誤 → 使用工具檢查 → 清理資料 → 輸出清理後的資料