iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 20
0

從文集中抽取隱藏「主題」thematic structures 的技術方法,LDA (Latent Dirichlet allocation) (LDA,潜在狄利克雷分配模型) 模型及其延伸變成了最常用的模型,已經被廣泛用來識別大規模文集(document collection)或語料庫(corpus)中潛藏的主題訊息。

主題模型自動分析每個文檔,統計文檔內的詞語,根據統計的信息來斷定當前文檔含有哪些主題,以及每個主題所占的比例各為多少。LDA遵循貝式機率模型。
P(w|d) = \Sigma p(w|z) * p(z|d)
此model架設一個文本裡有k個主題,一個文檔w有多個topic組成,每一個主題又代表了很多單詞所構成的一個機率分佈。

生成文檔的方式:把topic看為一個詞的分布,把標籤看為了一個topic,從而建立一個機率模型,用數據去訓練得到參數。對於文集中的每一篇文檔,先抽取一個topics proportion (theta);然後對於這個文檔中的每一個詞的位置 wi, LDA 先從theta中選擇一個topic,然後再從這個topic對應的詞分布中選擇一個詞去填充;按照上述步驟直到整個文檔集合產生完畢。示意圖如下:

https://ithelp.ithome.com.tw/upload/images/20181104/20112538aDm3Odo1eQ.png

最左邊顯示每個主題下都有一些容易出現的詞,在此每一個詞在這個topic下都有一個出現的機率。右邊的直條圖顯示一篇文章由不同的主題組成,各自站了不同比率。

透過圖示能更容易理解產生文章的過程,從右邊主題集合中按機率分布選取一些主題,接著從每一個主題中按機率分布選取詞語,這些詞語構成了最終的文檔,詞語的敘述在此模型是無關的,可看成一個bag-of-words。

參考來源
主題模型 Topic Modeling
https://loperntu.gitbooks.io/ladsbook/content/topic-modeling.html
主題模型Topic Model知識資料全集(基礎/進階/論文/綜述/代碼/專家,附PDF下載)
https://hk.saowen.com/a/15f4d3523881312a39e505ff24b89610ca140a0d806dee61a911b094c2e64d05
Topic Model的分類和設計原則
https://read01.com/zh-tw/oO2LoJ.html#.W97UyGQzYk8


上一篇
OSINT
下一篇
Topic model (2)
系列文
自然語言技術與AI/ML初探30

尚未有邦友留言

立即登入留言