今天要來談談Entropy，中文為「熵」或「資訊熵」，從字面上看起來像是一個化學元素😁，幾乎完全無法推斷他到底是什麼東西。

但其實Entropy的概念很簡單，簡單一句話來說就是指訊息所帶有的資訊量。

以下就來介紹一下Entropy囉～

Entropy是什麼？

• Entropy表示訊息所帶有的資訊量，也可以說是對不確定性的衡量

舉例來說，我記得小時候補習班下課時，都是媽媽來接我回家，有一天下課出了大門後，突然發現是爸爸來接我，我那個時候思緒萬馬奔騰，想說怎麼會是爸爸來接我...?（不用擔心，沒什麼特別的故事，單純只是換人來接而已😂）

• 以這個例子而言，媽媽來接我回家這件事的資訊量比較少，因爲是一直以來都有的事，但是爸爸來接我這件事，對當時的我而言，充滿了不確定性，因為這不是以往的做法，我也不知道為什麼換爸爸來接我了
• 整體而言，可以說entropy能夠告訴我們一段訊息的豐富程度
• 以NLP來說，文本裡面如果含有很多樣化的詞彙，我們比較難去預測下一個字會出現什麼，因此整體驚喜的程度會比較高，entropy的值也會比較大
• 當entropy越高，訊息的複雜度越高，entropy越低，訊息成分則較為簡單

Entropy的公式

• p(x)指的是x事件發生的機率
• logp(x)簡單來說就是去看p(x)的對數
• 如果x很常發生或出現，p(x) 就會越大，logp(x)的值就會接近0，因此整體的值也就不大，因為x事件帶來的驚喜度並不高
• 但是如果x不常發生或出現，p(x) 就會越小，logp(x)的值就會越來越負數，不過因為前面有一個負號會負負得正，因此整體的值就會很大，因為x事件帶來的驚喜度比較高
  ➔ 全部事件相加就會是entropy的值

Cross-entropy（交叉熵）

這邊簡單介紹一下Cross-entropy（交叉熵）~

• cross-entropy觀察兩個機率的分布，並看他們的誤差範圍，其中一個是模型的預測分布，另外一個是實際機率的分布
• cross-entropy越大，代表資訊複雜度高
• cross-entropy越小，代表資訊複雜度較低
• cross-entropy可以用來比較模型答案和正確答案之間的差異，進而去衡量模型的表現，有很廣泛的應用

參考資料1
參考資料2