iT邦幫忙

第 11 屆 iT 邦幫忙鐵人賽

DAY 6
0

定義

在梯度下降演算法中,求代價函數最小值時,是通過求導數來獲得。因此對於代價函數的每個參數,我們都需要分別求出各自的偏微分,如果參數越多,也就是特徵越多的問題,我們可以用矩陣運算的方式來取代求導函數。

這種方式就稱為正規方程,其定義如下:
https://ithelp.ithome.com.tw/upload/images/20190921/20120698LJXd7QNnI0.png

X代表特徵向量矩陣
X^T為矩陣X的轉置矩陣
(X^T*X)^-1為X的轉置矩陣和X矩陣相乘後的逆矩陣。
Y是訓練數據中的結果矩陣。

使用時機

一般來說,特徵的數量決定了我們求解時是用梯度下降法或是正規方式,當n<1000時正規方式的效率較佳,但是當n>1000時,使用梯度下降法的方案會更好。

比較

梯度下降 正規方程
需要學習率α 不需要學習率
需求進行疊代運算 不需要疊代
對多特徵值的問題適應性較好 時間複雜度為O(n^3),不適合特徵數量n>1000的問題
可以應用到更複雜的演算法,如邏輯回歸 特徵向量的逆矩陣不存在時無法使用

上一篇
梯度下降
下一篇
多項式迴歸
系列文
30天鍊成機器學習30

尚未有邦友留言

立即登入留言