TFIDF計算說明

參加今年iT鐵人賽時，曾經寫過簡單使用scikit-learn裡的TFIDF看看，並寫到scikit-learn裡tfidf計算方式與經典算法不同。後來在官方文件中找到說明，也簡單嘗試了一下。這次來做點分享。

在經典算法，TF是這樣計算：。不過scikit-learn是直接用n_(i,j)，也就是使用CountVectorizer的結果。

IDF的部份，原本經典算法是：，為了避免分母為零，也經常會使用log(n/(df(k)+1))計算，也就是將分子+1。scikit-learn裡面則分成兩種，預設使用smooth的版本：log((n+1)/(df(k)+1))，也就是分子分母都加一；另一種是經典原始版本，而外加上1：log(n/df(k))+1。

最後sckit-lean會做標準化（normalize），所以最後結果會是normaliz(tf*idf)。

嘗試實驗

引入套件

from sklearn.feature_extraction.text import TfidfTransformer 
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction.text import CountVectorizer
import pandas as pd
import math
from sklearn.preprocessing import normalize

實驗資料

d1 = 'a b d e d f a f e fa d s a b n'
d2 = 'a z a f e fa h'
d3 = 'a z a f e fa h'

對，基本上就是簡單使用scikit-learn裡的TFIDF看看所測試的方式，所以當然也要將stop_words=None, token_pattern="(?u)\\b\\w+\\b"而外設定，原因這裡就不多做說明了。

計算TFIDF

vectorizer = TfidfVectorizer(sublinear_tf=False, stop_words=None, token_pattern="(?u)\\b\\w+\\b", smooth_idf=True, norm='l2')
tfidf = vectorizer.fit_transform([d1,d2,d3])
df_tfidf = pd.DataFrame(tfidf.toarray(),columns=vectorizer.get_feature_names(), index=['d1', 'd2', 'd3'])
print("TFIDF")
df_tfidf

Output:

重頭計算看看

CountVector (TF)

vectorizer = CountVectorizer(stop_words=None, token_pattern="(?u)\\b\\w+\\b")  
tf = vectorizer.fit_transform([d1,d2,d3])
df_tf = pd.DataFrame(tf.toarray(),columns=vectorizer.get_feature_names(), index=['d1', 'd2', 'd3'])
print("CountVector")
tf

Output:

這個結果與TfidfVectorizer(sublinear_tf=False, stop_words=None, token_pattern="(?u)\\b\\w+\\b", smooth_idf=False, use_idf=False, norm=None) 無異。

IDF

先看看原本的結果：

vectorizer = TfidfVectorizer(sublinear_tf=False, stop_words=None, token_pattern="(?u)\\b\\w+\\b", smooth_idf=True, norm=None)  
X = vectorizer.fit_transform([d1,d2,d3])
r = pd.DataFrame(X.toarray(),columns=vectorizer.get_feature_names(), index=['d1', 'd2', 'd3'])
print("IDF")
idf = vectorizer.idf_
pd.DataFrame([vectorizer.idf_], columns=vectorizer.get_feature_names())

Output:

拿b用smooth的方式計算看看：

math.log(3+1/1+1) # => 1.6094379124341003

※ 所有文件有3個，其中1個包含b。

要注意的是，Python裡的math.log預設底數是math.e，也就是自然對數。上面式子等同於math.log(3+1/1+1, math.e)。

math.log(math.e) # => 1

計算TFIDF

tf*idf

Output:

恩，與一開始結果還是有差異。

標準化

tfidf = normalize(tf*idf, norm="l2")
r = pd.DataFrame(tfidf,columns=vectorizer.get_feature_names(), index=['d1', 'd2', 'd3'])
r

Output:

OK, 一致了。

題外話
原本在上課的時候，我還不太明白norm的意思。但在了解是normalize後立刻就豁然開朗了。