技術 Day 21 資訊熵 Entropy 、交叉熵 Cross-entropy 於 NLP 之應用 介紹篇

今天要談到的是 entropy。Entropy 其實原本是熱力學中的理論，用於度量一個熱力學系統的無序程度（表達原子在空間當中的分布狀況，如果原子分佈愈混亂，e...

技術 Day 22 資訊熵 Entropy 、交叉熵 Cross-entropy 於 NLP 之應用 實作篇

今天使用 iris 資料集分別示範 Python 和 R 如何計算 entropy。 Python Calculate Entropy 計算 entropy 的...