iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 20
2

[魔法陣系列] AutoEncoder 之術式解析 裡介紹了 AutoEncoder 魔法陣以及其變形夥伴們,對於 AutoEncoder 應用只用寥寥幾句帶過覺得很可惜,這篇希望能夠針對 AutoEncoder 的應用場景更加詳細說明。


  • 降維(Dimensionality reduction)

    Dimensionality reduction was one of the first applicationsof representation learning and deep learning. It was one of the early motivationsfor studying autoencoders.
    

    引用自 Ian Goodfellow 的《Deep Learning》一書

    低維度的 representations 可以提高許多任務的效能,例如分類。較小的模型消耗較少的內存和運行時間。根據Salakhutdinov and Hinton 在《Semantic Hashing》一文中的觀察,許多降維的形式會將語義上相關的樣本置於彼此鄰近的位置,因此映射到低維空間所提供的訊息有助於泛化(generalization)。
    https://ithelp.ithome.com.tw/upload/images/20181104/20112540K2U3xUB3K8.png

    圖片來源:https://en.wikipedia.org/wiki/Dimensionality_reduction

  • 信息檢索
    信息檢索(information retrieval)更是從降維中獲得幫助,除了可找到資料庫中類似查詢的條目外,也使某些低維空間中的搜尋變得更為有效率。這種信息檢索方法可以從方才上面提及的《Semantic Hashing》得到更詳細的資訊。

  • 資料視覺化
    AutoEncoder 在配合適當的維度和條件下,能擁有比 PCA(主成分分析)更有意義的資料視覺化呈現。下面是 Hinton 在 2006 年發表的《Reducing the Dimensionality of Data with Neural Networks》中,將 MNIST 投影到二維的視覺化呈現對比:

https://ithelp.ithome.com.tw/upload/images/20181104/20112540YPxvwmpiVx.png

圖片來源:https://www.cs.toronto.edu/~hinton/science.pdf

後續的文章將要推進到生成模型囉~目前已經累計20篇文,還剩下10篇就要結束了,在此給看到這篇文的你們大力鼓掌!
https://ithelp.ithome.com.tw/upload/images/20181104/201125400OJil726VW.png

除了雷姆外,不要忘記拉姆唷。《Re:從零開始的異世界生活》 //圖片來源
莉森的喃喃:明天又是工作日的開始,下週工作滿滿,希望鐵人能有始有終。


上一篇
[魔法小報] 機器學習路上的強力支援們(網路學習資源推薦)
下一篇
[魔法陣系列] Generative Adversarial Network(GAN)之術式解析
系列文
英雄集結:深度學習的魔法使們31

尚未有邦友留言

立即登入留言