iT邦幫忙

第 11 屆 iThome 鐵人賽

DAY 25
0
AI & Data

跟top kaggler學習如何贏得資料分析競賽 系列 第 25

[Day 25] tSNE - dimension reduction / 非線性降維方法與視覺化

  • 分享至 

  • xImage
  •  

tSNE 介紹 :

  • tSNE 非線性降維, 用在非監督問題類類型中, 流形還原的意義是將高維度上相近的點,對應到低維度上相近的點,盡量保持資料點之間的遠近關係,沒有資料點的地⽅,就不列列入考量範圍.
  • 除了 t-sne 外,較常見的流形還原還有 Isomap 與 LLE (Locally Linear Embedding) 等⼯具.

摘自 ai 100 天周俊川/陳明佑簡報


tSNE 作法

  1. 高維度的點對應到較小維度

example : tSNE on MNIST, cluster 非常清楚
https://ithelp.ithome.com.tw/upload/images/20190926/201087196gKjA7CpUZ.png
截圖自 Coursera

  1. 試試不同 perplexity 超參數, 或 3, 10 或 150, 基本上是建議多 project 也對應該 project 有不同的perplexity 超參數, 例如: 5-100

example : MNIST in different perplexities
https://ithelp.ithome.com.tw/upload/images/20190926/20108719Ppex2ycaok.png
截圖自 Coursera

  1. 通常先降維再做 tSNE

  2. 是絕佳的視覺化工具

  3. 可用來當特徵

  4. 小心解讀跑出來的結果


補充資料的連結 :

Matrix Factorization:
Overview of Matrix Decomposition methods (sklearn)
http://scikit-learn.org/stable/modules/decomposition.html

t-SNE:

Multicore t-SNE implementation <--米哥的課硬要放上狄哥的 github 連結
https://github.com/DmitryUlyanov/Multicore-TSNE

Comparison of Manifold Learning methods (sklearn)
http://scikit-learn.org/stable/auto_examples/manifold/plot_compare_methods.html

How to Use t-SNE Effectively (distill.pub blog) <-- 強烈建議到此一遊
https://distill.pub/2016/misread-tsne/

tSNE homepage (Laurens van der Maaten)
https://lvdmaaten.github.io/tsne/

Example: tSNE with different perplexities (sklearn)
http://scikit-learn.org/stable/auto_examples/manifold/plot_t_sne_perplexity.html#sphx-glr-auto-examples-manifold-plot-t-sne-perplexity-py

Interactions:

Facebook Research's paper about extracting categorical features from trees
https://research.fb.com/publications/practical-lessons-from-predicting-clicks-on-ads-at-facebook/

Example: Feature transformations with ensembles of trees (sklearn)
http://scikit-learn.org/stable/auto_examples/ensemble/plot_feature_transformation.html


上一篇
[Day 24] Hyperparameter tuning / 調校超參數 part III
下一篇
[Day 26] ensembling - bagging / 集成機器學習方法
系列文
跟top kaggler學習如何贏得資料分析競賽 30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言