iT邦幫忙

第 12 屆 iT 邦幫忙鐵人賽

DAY 4
0

通常數學不耐症
是因為公式中含有大量的符號
要克服這個
我認為最好的方法就是實例練習


有一天,大象姊姊在路上遇到了白兔弟弟
大象姊姊:白兔弟弟,近來好嗎
白兔弟弟:好呀
然後白兔弟弟就不見了

有一天,白兔妹妹在路上遇到了大象哥哥
白兔妹妹:大象哥哥,近來好嗎
大象哥哥:好呀
然後白兔妹妹就爆了

我們來分析一下

ㄐㄧㄣˋ來好嗎 圖示 機率 資訊量
近來好嗎 0.999
進來好嗎 0.001

當越低機率的事件發生時
我們所能獲得的資訊量就越高
奇怪的知識越能增加 :-)


好啦...來練習計算好了...
假設明天的天氣預報為

事件 機率 資訊量
Sunny 0.6 0.518
Cloudy 0.3 1.204
Rainy 0.1 2.3026

則從這篇預報中
我們所獲得的資訊量期望值為

繼續計算下去可得

這就是我們在這個預報(系統)中可得的「信息熵」

我們來試另外一天預報

事件 機率 資訊量
Sunny 0.4 0.9163
Cloudy 0.3 1.204
Rainy 0.3 1.204

則從這篇預報中
我們所獲得的資訊量期望值為

繼續計算下去可得

這就是我們在這個預報(系統)中可得的「信息熵」


觀察上述兩篇預報
可以看出第二篇預報中對隔天天氣情形更不確定
以至於我們所得到的熵會比第一篇還要高

這也就反映了我們最初所說
「熵」是用來衡量一個系統的不確定性


希望舉例能對各位有幫助~
我覺得我的寫法及舉例還有極大空間可改進~XD
最後附上我覺得寫的很不錯的網站連結
剖析深度學習 (2)


上一篇
[Day 2]什麼是信息熵
下一篇
[Day 4]什麼是相對熵
系列文
主管可能很機車,但數學不會,數學不會就是不會:盡學渣之力說數學原理30

尚未有邦友留言

立即登入留言