前言

決策樹(DecisionTree)如果leaf太多的話容易overfitting

若leaf太少的話則容易underfitting

但是隨機森林(Random Forests)演算法 可以解決這個問題

並且隨機森林(Random Forests)預設的參數就可以表現得很好了

範例

import pandas as pd
    
# 讀取資料
melbourne_file_path = './Dataset/melb_data.csv'
melbourne_data = pd.read_csv(melbourne_file_path) 
# 處理缺失值
melbourne_data = melbourne_data.dropna(axis=0)
# 選擇目標以及特徵
y = melbourne_data.Price
melbourne_features = ['Rooms', 'Bathroom', 'Landsize', 'BuildingArea', 
                        'YearBuilt', 'Lattitude', 'Longtitude']
X = melbourne_data[melbourne_features]

from sklearn.model_selection import train_test_split

# 切分資料成訓練資料和驗證資料，feature和target都要切分
# 這是使用隨機切分的，設定random_stated可以確保每次切分的資料都是一樣的 
train_X, val_X, train_y, val_y = train_test_split(X, y,random_state = 0)

在scikit-learn中，建立隨機森林演算法的方法和決策樹的方法是很像的

只是我們用的是RandomForestRegressor而不是DecisionTreeRegressor

from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error

forest_model = RandomForestRegressor(random_state=1)
forest_model.fit(train_X, train_y)
melb_preds = forest_model.predict(val_X)
print(mean_absolute_error(val_y, melb_preds))

191669.7536453626

DecisionTree的誤差平均(mean error)約為250,000

而Random Forest則為191,669

以這樣的比較來看，已經獲得了很大的進步