前言

在訓練模型時，有時會被一些專有名詞搞混，像一個參數就有分「參數」和「超參數」，今天我們要來搞清楚這兩個名詞的差異啦 ~

參數 Parameters

在機器學習中，「參數」常指模型中需要透過訓練，從資料中學習得到的可調整的數值。這些參數決定了模型的預測表現，通常會根據訓練數據進行調整，以最小化預測誤差。

常見的參數

• 權重 & 偏差（Weights & Biases）： 在訓練模型時會不斷進行向前傳遞 ( Forward Propagation ) 與向後傳遞 ( Backward Propagation ) 來學習出最佳的權重與偏差，在神經網路中每個神經元之間的連接權重和偏差是需要通過訓練學習得到的
• 斜率 & 截距（Slope & Intercept）： 對線性回歸的任務，模型函數的斜率和截距決定了其預測的表現
• 分類閾值（Classification Threshold）： 在二元分類中，決定將預測的概率轉換為類別的閾值。
• 決策樹的分支條件： 在決策樹中，每個節點的分支條件（例如特徵和閾值）是需要從數據中學習得到的。
• 分類閾值（Classification Threshold）： 在二元分類中，用於決定模型的預測結果是屬於哪一個類別。如果模型輸出的分數或概率超過閥值時，預測為正 ( Positive )，否則預測為負 ( Negative )
• 支持向量機的核函數參數： 對於支持向量機，核函數的參數會影響模型的複雜度和性能
• 決策樹的分支條件： 對於決策樹，需要從資料中學習到每個節點的分支條件（特徵和閾值）

超參數 Hyperparameters

「超參數」是在機器學習模型中需要手動設置的參數，超參數是在訓練模型之前需要手動設定的參數，通常不在模型的內部進行學習，因此不能通過訓練過程自動學習得到，而是需要通過方法調整來找到最佳的值。超參數的設置會直接影響模型的性能，因此在建立模型過程中通常會預設一組超參數，之後再慢慢調整。

常見的超參數

• 學習率（Learning Rate）： 在梯度下降等優化算法中控制更新模型參數的步幅大小
• 正則化參數（Regularization Parameter）： 控制模型的複雜度，避免模型過擬合
• 決策樹的深度： 決定決策樹的最大深度，避免過度擬合
• K近鄰數量（K Neighbors）： KNN算法中指定最近鄰居的數
• 隱藏層的神經元數量 ( Hidden Units )： 神經網路中每個隱藏層的神經元數
• 隱藏層的數量 ： 神經網路中的層數決定了模型的性能表現與複雜度
• 批次大小（Batch Size）： 為了避免太多的資料一次給模型訓練，因此會把資料先分批好讓模型可以分批訓練
• 迭代次數（Epochs）： 模型訓練過程中的迭代次數
• 卷積核的大小和數量： 在卷積神經網絡中決定卷積核的大小和數量
• Dropout 比例： 神經網路中在 Dropout 層中丟棄神經元的比例
• RNN 時間步長： 在循環神經網路中每個序列的時間步長

關於優化

參數的優化會在模型訓練中，經模型的優化算法逐步學習出最佳的參數解。

至於超參數，選擇最合適的超參數組合對於模型的性能和訓練速度極其重要，而這往往需要特殊方法來找到最佳的超參數值，這過程通稱超參數調整 Hyperparameter Tuning，常見的包括網格搜索 ( Grid Search )、隨機搜索 ( Random Search ) 方法，這些方法可稱作超參數調整器 Hyperparameter Tuner，細節明天會再提到。

小結

今天我們了解到了參數與超參數之間的差異，並且用不同的方法為了找出各自的最佳解，一個好的超參數組合與參數組合能夠使模型有更好的泛化能力 ( Generalization )，對於模型泛化能力的評估，我們通常會用到交叉驗證 ( Cross-Validation ) 的方法來實現，這部分在明天會和各位介紹，還有超參數調整的部分也是，那我們就下篇文章見咯 ~

參考資料

https://www.javatpoint.com/model-parameter-vs-hyperparameter