前言

昨天先跟各位稍微介紹Autoencoder的架構以及類型，今天我們將更進一步說明Autoencoder的數學基礎，那我們正文開始！

正文

自動編碼器（Autoencoder）是一種特定類型的神經網絡，主要設計用來將輸入資料編碼成壓縮且有意義的表示，然後再解碼回來，以使重建後的輸入資料盡可能地與原始資料相似。

他們定義函數為𝐴：R𝑛 → R𝑝(編碼器)和𝐵：R𝑝 → R𝑛(解碼器)，並且滿足

其中，𝐸表示對𝑥的分佈的期望值，Δ則是重建損失函數，用於衡量解碼器的輸出與輸入之間的距離。通常情況下，後者常被設置為L2-norm。

1. 編碼過程（Encoder）：
   • 輸入數據：我們假設有一組輸入數據，通常表示為x。
   • 編碼器函數：編碼器是一個神經網絡，通常由多個層組成。每一層都包括一組權重（weights）和偏差（biases），可以表示為W和b。編碼器的操作可以表示為：

其中，h是編碼器的輸出，f是激活函數（例如Sigmoid、ReLU等）。

2. 解碼過程（Decoder）：
   • 低維表示：編碼器的輸出h是原始數據的低維表示。
   • 解碼器函數：解碼器也是一個神經網絡，通常由多個層組成。解碼器的操作可以表示為：
     其中，x'是解碼器的輸出，g是解碼器的激活函數，W'和b'是解碼器的權重和偏差。

3. 損失函數（Loss Function）：

常用的損失函數包括均方差（Mean Squared Error，MSE）：

以及二元交叉熵（Binary Cross-Entropy）：

其中y 是實際標籤（0或1）。p(y)是模型的預測概率（0到1之間的實數）。

總結

以上就是小弟我今天分享有關於用Autoencoder的基本數學樣式，明天將會分享Autoencoder實現MNIST手寫數據集的實作，那我們明天見!

參考連結：arxiv autoencoder