將多個單獨模型的預測結果取平均值作為最終的預測結果～

白話來說多個模型合併在一起可以減小模型的變異數，提升模型的穩定性和泛化能力～對於複雜問題使用多個模型進行平均可以提升預測性能

平均法用於回歸問題和分類問題可以分為兩種類型：

• 簡單平均法：
  對於回歸問題，簡單平均法直接將多個模型的預測值取平均作為最終預測結果。
  對於分類問題，簡單平均法可以使用硬投票（取多數類別）或軟投票（取平均概率）來進行平均。

• 加權平均法：
  對於回歸問題，加權平均法將多個模型的預測值按照一定的權重進行加權平均。
  對於分類問題，加權平均法可以基於模型的性能表現來分配權重。

from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加載數據
data = load_iris()
X = data.data
y = data.target

# 劃分訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定義多個模型
model1 = RandomForestClassifier()
model2 = LogisticRegression()
model3 = SVC(probability=True)

# 訓練模型
model1.fit(X_train, y_train)
model2.fit(X_train, y_train)
model3.fit(X_train, y_train)

# 獲取模型的預測結果
y_pred1 = model1.predict(X_test)
y_pred2 = model2.predict(X_test)
y_pred3 = model3.predict(X_test)

# 使用簡單平均法進行模型融合
y_avg = (y_pred1 + y_pred2 + y_pred3) / 3

# 計算準確度
accuracy_avg = accuracy_score(y_test, y_avg)
print(f'簡單平均法準確度: {accuracy_avg}')

我們使用了隨機森林、邏輯回歸和支持向量機三個不同的分類器，並使用簡單平均法將其預測結果取平均，可以適用於任何類型的模型，但通常選擇性能相對獨立的模型，以確保模型之間的多樣性，可以嘗試不同的加權方案來進一步優化模型融合的效果。