Anonymized data

匿名是保護資料免於用來找出真實資料的一種模式, 例如雜湊 hash 處理較敏感或機密的資料, 參賽者可透過合法的方式解匿名, 例如下面例子的 x1~x6 匿名特徵.

截圖自coursera

探索個別特徵

-猜測欄位意思
-猜測欄位類別

截圖自coursera

猜測欄位意思 : 建一個 quick baseline步驟 (語法連結 http://nbviewer.jupyter.org/gist/DmitryUlyanov/b7ed050558c905eb895923e8e9602468)

1. 讀資料, 有 hash 有數值類型
2. 只知道要做 multi-class classification 卻不知道要預測什麼
3. import Random forest classifier 建一個 quick baseline
4. 用 -999 補 null value
5. Pandas factorize function 可以用來 label encoder 去 encode 所有類別型特徵(catrgorical feaures).
6. 針對發現深入調查 (多試試 -> 假設 -> 驗證 -> 再試試 -> 假設 -> 驗證 -> 有時加好運氣或者直覺)

猜測欄位類別 :

在資料多時, 無法目視判斷, 可用下列函數

df.dtypes
df.info()
x.value_counts()
x.isnull

探索特徵之間的關係

-找出配對
-找出群組

截圖自coursera