在模型訓練中，權重（weight,w）代表的是輸入和輸出之間的影響，而偏值（bias,b）則是當輸入皆為零時的輸出值。w代表線性比例，資料同乘某一數值來達到現行調整，以及b相加常數，使用加法加上的常數。
w和b的解釋
若我們有三項商品的銷售量百分比(x)以及營收 (y)
x1 |x2 | x3 | y
------------- | -------------
0.45| 0.31| 0.24| 8
0.56| 0.21| 0.23| 9
0.64| 0.1| 0.26| 13

那麼我們可以大致寫成
x1w1 + x2w2 + x3w3 = y
然後可以把b當作成本
x1w1 + x2w2 + x3w3 + b= y
這樣什麼都沒賣出去的時候營收可能是負值
在訓練過程中，我們會通過調整權重和偏值，找到能夠最接近實際數據的模型參數，以便在未見過的數據上進行準確的預測。
＊所謂學習就是在估算參數＊
若這兩者的梯度相差非常大時，這表示這兩個數字目前為不同級數，若b是w的幾十倍，這就表示對b來說大小適中的參數對於w來說已經過大了，相反的對w適中的對b來說太小了。這種情況發生時，對於過小的那個來說已經無法繼續優化並產生新的參數更新，此時我們就可以使用正規化來解決這個問題。
正規化就是讓數字落在固定範圍中，但是保有原先的比例差距，然後我剛開始會和正規化搞混的就是標準化，標準化是讓資料平均為零標準差為一，所以雖然都是數據處理的一部份，但要求上還是有些不相同。