Chap4

資料預處理：建立優質的訓練數據集

資料的質量及其所包含的有用信息量是決定機器學習算法學習效果的關鍵因素。因此，在將資料餵給機器學習演算法之前，檢查和預處理數據集是至關重要的。

在這章，我們將討論幾種常見的資料預處理技術，這些技術有助於我們構建良好的機器學習模型：

• 移除和補全資料集中的遺漏值
• 將類別型數據轉換成機器學習算法可接受的形式
• 選擇構建模型的相關特徵

處理遺漏值

在實際應用中，我們經常遇到某些訓練示例缺失一個或多個值的情況，原因可能有很多。例如，資料收集過程中的錯誤、某些測量結果不適用，或者在調查中某些欄位可能被遺漏。這些遺漏值通常表現為資料表中的空白或佔位符（例如NaN或NULL），這些數值對許多計算工具是無法處理的，或者會導致不可預期的結果。因此，在進行分析之前，處理這些遺漏值是必須的。

常見的遺漏值處理方法：

1. 刪除有遺漏值的樣本或特徵：直接移除包含遺漏值的資料行或列，這是一種簡單的策略，但可能會導致信息損失，特別是在資料集中遺漏值的比例較大時。
2. 補全遺漏值：使用資料集中其他數據推測遺漏值的替代值。這可以是填充平均值、中位數或最頻繁的值，甚至可以基於更為複雜的回歸模型或 kNN 方法進行預測。

類別型數據的處理

機器學習演算法通常要求輸入的資料為數值型，因此，對於類別型資料（例如顏色、國家等）必須進行編碼。常見的方法包括：

1. 類別標籤編碼：將類別型特徵轉換為整數標籤。例如，將「紅色」、「藍色」、「綠色」分別編碼為0、1、2。這種方法適用於有序的類別。
2. 獨熱編碼（One-Hot Encoding）：對無序的類別型特徵進行編碼，每個類別生成一個二元向量。例如，對「紅色」、「藍色」和「綠色」進行編碼後，它們可能會表示為[1, 0, 0]、[0, 1, 0]、[0, 0, 1]。

特徵選擇

在構建機器學習模型時，並非所有特徵對模型的構建都是有用的。冗餘特徵可能會降低模型的效能，因此，我們需要挑選出與目標變數最相關的特徵。這些方法包括：

1. 正則化方法（L1/L2）：通過給模型添加懲罰項來減少不必要的特徵，L1正則化會使得某些特徵的權重變為零，從而起到特徵選擇的作用。
2. 隨機森林特徵重要性評估：通過訓練隨機森林模型，並根據樹的分裂過程來評估每個特徵的重要性，選出對預測結果最有影響的特徵。

延伸說明

當資料集經過良好的預處理後，機器學習算法可以更高效地從中學習並進行預測。以下是一些進一步的延伸討論：

1. 資料清洗的重要性：資料清洗是資料預處理中最基礎但最重要的一步。實際數據集通常會包含噪音、錯誤數據、遺漏值等，這些問題若不解決，會嚴重影響模型的效能。

2. 特徵工程與特徵選擇的平衡：特徵工程能夠讓模型獲取更多的有用信息，但同時可能會引入不必要的特徵。因此，找到合適的特徵選擇策略，去除冗餘特徵，才能夠提高模型的表現。

3. 資料縮放與正規化：不同的機器學習演算法對於特徵的尺度非常敏感，像是支援向量機（SVM）和k近鄰（KNN）這樣的模型，需要對特徵進行縮放到相同的尺度範圍內（如0到1）才能保證模型的穩定性與準確度。

這些預處理技術和深入討論，能夠幫助你更好地理解如何為機器學習模型構建良好的訓練數據集，從而提升模型的準確性和效率。