註：本文同步更新在Notion!（數學公式會比較好閱讀）

侷限型波茲曼模型 (Restricted Boltzmann Machines, RBM)

侷限型波茲曼機（Restricted Boltzmann Machines, RBM）是一種基於隱馬爾可夫模型和概率圖的生成模型，主要用於無監督學習，特別是在深度學習中的應用，如深度信念網路（Deep Belief Networks, DBN）。RBM 通過捕捉數據中的隱藏模式來學習數據的分佈，並且常被用來進行特徵提取、降維和生成數據。

本篇文章將從數學角度探索 RBM 的結構、運算過程以及在深度學習中的應用。

1. 侷限型波茲曼機的結構

RBM 是一種雙層的概率圖模型，包括可見層 (visible layer) 和隱藏層 (hidden layer)。這兩層之間的節點是全連接的，但層內的節點之間是非連接的，這就是“侷限型”名稱的由來。每個節點都代表一個二進制狀態（0 或 1）。

• 可見單元 (Visible Units)：對應於輸入數據的特徵，每個單元對應於數據的一個維度
• 隱藏單元 (Hidden Units)：用於捕捉數據的潛在特徵，這些單元能夠學習數據的高維結構

RBM 的核心目標是學習數據的概率分佈，並通過隱藏層來生成與原始數據相似的樣本。

數學表示：

2. 機率分佈與激活函數

RBM 的目標是學習輸入數據的機率分佈。每一個可見單元和隱藏單元的激活依賴於對應層中的節點狀態及其與另一層的連接權重。

3. 學習規則：對比散度 (Contrastive Divergence)

為了訓練 RBM，通常會使用對比散度（Contrastive Divergence, CD） 算法。這個算法用來逼近最大似然估計的梯度，並有效地更新權重。基本流程如下：

4. 侷限型波茲曼機的數學優勢

RBM 的數學優勢在於其能夠有效地對高維數據進行建模，並且能夠以概率的方式來表示輸入數據的分佈。通過對比散度算法，RBM 能夠在大規模數據集上進行高效的訓練，這為深度學習的發展奠定了基礎。

5. RBM 的局限性與挑戰

• 收斂問題：RBM 的對比散度算法只是對最大似然估計的近似，因此在某些情況下模型可能會陷入局部最優解。
• 訓練時間長：在處理大規模數據集時，RBM 的訓練時間較長，且需要大量的計算資源。
• 過度簡化的假設：RBM 假設可見層和隱藏層之間是條件獨立的，這在某些複雜的數據集中可能不是一個現實的假設。

結論

侷限型波茲曼機是一個強大的工具，用於無監督學習中的特徵提取和數據生成。儘管其訓練過程具有挑戰性，但通過對比散度算法和概率圖模型，RBM 能夠有效地捕捉數據中的隱藏模式，並且在深度學習中的許多領域展現出了潛力。