決策樹(DecisionTree)如果leaf太多的話容易overfitting
若leaf太少的話則容易underfitting
但是隨機森林(Random Forests)演算法 可以解決這個問題
並且隨機森林(Random Forests)預設的參數就可以表現得很好了
import pandas as pd
# 讀取資料
melbourne_file_path = './Dataset/melb_data.csv'
melbourne_data = pd.read_csv(melbourne_file_path)
# 處理缺失值
melbourne_data = melbourne_data.dropna(axis=0)
# 選擇目標以及特徵
y = melbourne_data.Price
melbourne_features = ['Rooms', 'Bathroom', 'Landsize', 'BuildingArea',
'YearBuilt', 'Lattitude', 'Longtitude']
X = melbourne_data[melbourne_features]
from sklearn.model_selection import train_test_split
# 切分資料成訓練資料和驗證資料,feature和target都要切分
# 這是使用隨機切分的,設定random_stated可以確保每次切分的資料都是一樣的
train_X, val_X, train_y, val_y = train_test_split(X, y,random_state = 0)
在scikit-learn中,建立隨機森林演算法的方法和決策樹的方法是很像的
只是我們用的是RandomForestRegressor
而不是DecisionTreeRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_error
forest_model = RandomForestRegressor(random_state=1)
forest_model.fit(train_X, train_y)
melb_preds = forest_model.predict(val_X)
print(mean_absolute_error(val_y, melb_preds))
191669.7536453626
DecisionTree的誤差平均(mean error)約為250,000
而Random Forest則為191,669
以這樣的比較來看,已經獲得了很大的進步