用Feature Crosses讓我們的樣本放入十字表格中,讓模型更容易出來。
教學文章:Feature Crosses
根據網路的文章(特徵組合&特徵交叉 (Feature Crosses)),Feature Crosses是特徵組合(synthetic feature)的一種。並且提到:
合成特徵 (synthetic feature)
一種特徵不在輸入特徵之列,是從一個或多個輸入特徵衍生而來。通過標準化或縮放單獨建立的特徵不屬於合成特徵。合成特徵包括以下型別:
- 將一個特徵與其本身或其他特徵相乘(稱為特徵組合)。
- 兩個特徵相除。
- 對連續特徵進行分桶,以分為多個區間分箱。
特徵組合 (feature cross):對非線性規律進行編碼
通過將單獨的特徵進行組合(相乘或求笛卡爾積)而形成的合成特徵。特徵組合有助於表示非線性關係。
聽起來很玄,但是拿Google說明的圖就很好理解。
我們只看Y>0
,也就是圖表的上半部,很容易看得出來藍色點和紅色點可以用X
做區分。所以我們的模型就可以是X=0
做切分。
但如果加上下面圖型,也就是完整的圖,就無法直接用一條線去做切分。這時候就是需要「特徵十字」,現在就會從Y=a(b+W'X'+W''X'')
變成更多參數:Y=a(b+W'X'+W''X''+W'''X''')
和X'''=X' * X''
(因為藍色的點在一和三象限)。
看到這邊是不是有概念呢?我們可以用線性函數很如容易的分成兩個部分,輕易的分出兩個部分,但是有時候參數多了,就不能用單純的線性函數做區分,這個時候就是需要特徵十字 (feature cross)。
睫毛之聲:
這個部分有點複雜,我們下篇會繼續討論