[Day 5] Naive Bayes — 背後理論 - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2023 iThome 鐵人賽

DAY 5

AI & Data

ML From Scratch系列第 5 篇

[Day 5] Naive Bayes — 背後理論

15th鐵人賽 machine learning python

whoami

2023-09-05 11:21:16

594 瀏覽

分享至

Prerequisite

單純貝氏分類器 (Naive Bayes) 是以貝氏定理來解決機器學習上的分類問題。

不免俗在機器學習上，如何估計模型參數是一大重點，而這裡是透過最大概似估計 (Maximum likelihood estimation) 來解決這個問題。

Maximum likelihood estimation (MLE)

最大概似估計是一個估計機率模型中母數的方法。

這裡先定義一個已知的機率分佈 $D$ ，其機率函數為 $f_D$ ，而分佈母數為 $\theta$ 。

如何求出 likelihood function ?
我們從機率分佈 $D$ 中，抽出 $n$ 個值， $X_1, X_2, \dots, X_n$ ，並透過 $f_D$ 來計算：

$L(\theta \mid x_1, \dots, x_n) = f_\theta (x_1, \dots, x_n)$

不論 $D$ 為離散分佈或是連續分佈，最大概似估計會尋找關於 $\theta$ 的最可能的值，而這個值會使得概似函數取到最大值。

其中， $\hat{\theta}$ 即是 $\theta$ 的最大概似估計。但也要注意，最大概似估計不一定存在，也不一定唯一。

Bayesian probability

貝氏機率 (Bayesian probability) 是透過機率來解釋貝氏定理。

貝氏定理
在已知一些條件下，某一事件的發生機率。例如在事件 $B$ 發生事件 $A$ 的機率。
這裡先定義隨機事件 $A$ 和 $B$
$https://chart.googleapis.com/chart?cht=tx&chl=P(A%20%5Cmid%20B)%20%3D%20%5Cfrac%7BP(A)P(B%20%5Cmid%20A)%7D%7BP(B)%7D$
其中， $P(A \mid B)$ 為 $A$ 的後驗機率， $P(A)$ 是 $A$ 的先驗機率。

Goal

Naive Bayes 是一種建分類器的方法，主要透過特徵之間強獨立下，運用貝氏定理來分類各式類別。

Background

如先前提及，貝式定理是描述某已知條件下，另一個事件發生的機率。

透過此定理而進行分類任務的模型可以被定義為

$p(C \mid F_1, \dots, F_n)$

而此可以依照貝式定理等價於

$https://chart.googleapis.com/chart?cht=tx&chl=p(C%20%5Cmid%20F_1%2C%20%5Cdots%2C%20F_n)%20%3D%20%5Cfrac%7Bp(C)p(F_1%2C%20%5Cdots%2C%20F_n%20%5Cmid%20C)%7D%7Bp(F_1%2C%20%5Cdots%2C%20F_n)%7D$

即是

$https://chart.googleapis.com/chart?cht=tx&chl=%5Ctext%7Bposterior%7D%20%3D%20%5Cfrac%7B%5Ctext%7Bprior%7D%20%5Ctimes%20%5Ctext%7Blikelihood%7D%7D%7B%5Ctext%7Bevidence%7D%7D$

其中分子的部份可以等價於聯合分佈模型 $p(C, F_1, \dots, F_n)$

接著使用連鎖律

$https://chart.googleapis.com/chart?cht=tx&chl=%5Cleft.%5Cfrac%7Bd%20g%5Bf(x)%5D%7D%7Bd%20x%7D%5Cright%7C_%7Bx%3Da%7D%3D%5Cleft.%5Cleft.%5Cfrac%7Bd%20g(y)%7D%7Bd%20y%7D%5Cright%7C_%7By%3Df(a)%7D%20%5Ccdot%20%5Cfrac%7Bd%20f%7D%7Bd%20x%7D%5Cright%7C_%7Bx%3Da%7D$

便可以將此寫成條件機率

由於可能計算的特徵數量過多，為了計算後驗機率上的方便，這裡必須先假設特徵之間獨立，但也讓分類準確率下降一些，變得像是一種估計機率後分類的概念。

如此一來，有特徵相互獨立的條件後，可以將此模型表示為

而類別變數 $C$ 條件分佈可以寫成

$https://chart.googleapis.com/chart?cht=tx&chl=p(C%20%5Cmid%20F_1%2C%20%5Cdots%20F_n)%20%3D%20%5Cfrac%7B1%7D%7BZ%7D%20p(C)%20%5Cprod%20%5Climits_%7Bi%3D1%7D%5En%20p(F_i%20%5Cmid%20C)$