Ɖ29-布朗尼/ Pandas 的缺失值處理與應用

2022 iThome 鐵人賽

DAY 29

AI & Data

先別急著學 Python | The Secret to Success in Python系列第 29 篇

14th鐵人賽 kaggle python excel 數據分析

juck30808

2022-10-13 00:34:47

709 瀏覽

分享至

處理缺失數據

真實的數據很少是乾淨的。更常見的情況是，很多有意思的數據集都有很多的數據缺失。更複雜的是，不同的數據源可能有著不同指代缺失數據的方式，我們會將這些缺失數據標示為 null、 NaN 或 NA。

None: Pythonic missing data 缺失值

第一個種缺失值是 None，很多情況下它都作為 Python 代碼中缺失值的標誌。None 不能被任意的 NumPy 或Pandas 數組中使用，當使用聚合操作如sum()或min()的時候，如果碰到了None值，那就會產生錯誤：

import numpy as np
vals1 = np.array([1, None, 3, 4])
vals1

NaN: Missing numerical data 缺失值

另外一個缺失的數據表現形式NaN（非數字的縮寫），NumPy 使用原始的浮點類型來存儲這個數組：這個數組支持使用編譯代碼來進行快速運算。你應該了解到 NaN 就像一個數據的病毒，它會傳染到任何接觸到的數據。不論運算是哪種類型，NaN 參與的算術運算的結果都會是另一個 NaN，請記住NaN是一個特殊的浮點數值，就像是任何數值乘上零都是零。

1 + np.nan 會得到 nan
0 * np.nan 會得到 nan

import numpy as np
vals1 = np.array([1, np.nan, 3, 4])
vals1

Operating on Null Values 空值處理

Pandas將None和NaN看成是可以互相轉換的缺失值或空值。與此同時，Pandas還提供了一些很有用的方法用來在數據集中發現、移除和替換空值。這些方法包括：

isnull()：生成一個布爾遮蓋數組指示缺失值的位置
notnull()：isnull()相反方法
dropna()：返回一個過濾掉缺失值、空值的數據集
fillna()：返回一個數據集的副本，裡面的缺失值、空值使用另外的值來替代

isnull() - Detecting null values 檢測空值

data = pd.Series([1, np.nan, 'hello', None])
data.isnull()

notnull() - Detecting null values 檢測空值

data = pd.Series([1, np.nan, 'hello', None])
data[data.notnull()]

dropna() - Dropping null values 去除空值

data = pd.Series([1, np.nan, 'hello', None])
data.dropna()

isnull() - Filling null values 填充空值

data = pd.Series([1, np.nan, 'hello', None])
data.fillna(0)  # fill NA entries with a single value
data.fillna(method='ffill') # 向前填充  forward-fill
data.fillna(method='bfill') # 向後填充 back-fill