演算法定義:一系列定義清楚地計算指令，當執行指令時能從一個初始狀態經過一系列的處理，而最終產生輸出的狀態。

演算法模式選擇的其他重要原則

1. 簡單容易解釋

• 傳統機器學習法例如決策樹、SVM較易於了解與解釋(深度學習不具這個特性)。

2. 異質資料的處理能力

• KNN、SVM、迴歸分析都需要資料是連續的數據；決策樹、ANN則容易處理各種非連續的資料；深度學習具備更大彈性。

3. 問題特徵的數量

• 問題特徵的維度越高，複雜程度越高，就需要像是SVM、Navie Bayesian或深度學習這類更具彈性的演算法；KNN因為需要計算點與點間的距離所以有維度詛咒問題，需透過降為度的PCA或嚴謹特徵選擇演算法解決。

4. 特徵的相關性與互動性問題

• 共線性的存在(樣本存在許多重疊類似的特徵)➜演算法會不穩定(ex.線性迴歸)
• 以距離為導向沒有這個問題、SVM、決策樹、深度學習。

5. 問題的複雜度與樣本數

• 遇到問題是複雜的:特徵很多、彼此部獨立且互動關係很複雜➜需要用樣本大、彈性度高(ex.深度學習、集成學習法)
• 遇到問題是簡單的:特徵少、相關特徵明確、獨立且簡單的分類或預測問題➜需要小樣本(ex.傳統迴歸分析、貝是推理、SVM、KNN)

6. 所需要的精確度問題

• 問題或預測需要非常高的精確度:深度學習、集成學習法(ex.醫療診斷)
• 問題只需要大概範圍:簡單預測演算法(ex.天氣預報)

7. 模式的定型問題

• 一個模型訓練從開始到穩定所需要的時間。
• 定型較快:迴歸分析、決策樹、SVM
• 定型較慢:深度學習、Boosting

8. 線性與非線性的問題

• 線性導向的演算法:線性迴歸、SVM、貝式推理、PCA、K-Means
• 非線性導向的演算法:決策樹、隨機森林、類神經網路

9. Overfitting的問題

• 當資料為度太多、樣本太少，模式只fit訓練資料且無法概化來推測其他數據，使模式預測能力準確度非常低。
• 簡單模型:迴歸、決策樹、KNN、K-Means➜比較容易產生Overfitting問題
• 集成學習法較無此問題Boosting、Random Forest

參考來源:人工智慧:概念應用與管理 林東清