為什么交叉熵和KL散度在作為損失函數時是近似相等的
加入技術交流群
來源：DeepHub IMBA
盡管最初的建議使用 KL 散度，但在構建生成對抗網絡 [1] 時，在損失函數中使用交叉熵是一種常見的做法。這常常給該領域的新手造成混亂。當我們有多個概率分布并且我們想比較它們之間的關系時，熵和 KL 散度的概念就會發揮作用。
在這里我們將要驗證為什么最小化交叉熵而不是使用 KL 散度會得到相同的輸出。所以我們首先從正態分布中抽取兩個概率分布 p 和 q。如圖 1 所示，兩種分布都不同，但是它們共享一個事實，即兩者都是從正態分布中采樣的。
熵
熵是系統不確定性的度量。直觀地說它是從系統中消除不確定性所需的信息量。系統各種狀態的概率分布 p 的熵可以計算如下：
交叉熵
交叉熵是指存在于兩個概率分布之間的信息量。在這種情況下，分布 p 和 q 的交叉熵可以表述如下：
KL散度
兩個概率分布之間的散度是它們之間存在的距離的度量。概率分布 p 和 q 的KL散度（ KL-Divergence ）可以通過以下等式測量：
其中方程右側的第一項是分布 p 的熵，第二項是分布 q 對 p 的期望。在大多數實際應用中，p 是實際數據/測量值，而 q 是假設分布。對于 GAN，p 是真實圖像的概率分布，而 q 是生成的假圖像的概率分布。
現在讓我們驗證 KL 散度確實與使用交叉熵分布 p 和 q 相同。我們分別在 python 中計算熵、交叉熵和 KL 散度。
右側的第二項，即分布 p 的熵可以被認為是一個常數，常數的導數是0，對反向傳播不會有影響。因此我們可以得出結論，最小化交叉熵代替 KL 散度會出現相同的輸出，因此可以近似相等。
在本文中，我們了解了熵、交叉熵和 kl-散度的概念。然后我們回答了為什么這兩個術語在深度學習應用程序中經常互換使用。我們還在 python 中實現并驗證了這些概念。完整代碼參考這個地址： https://github.com/azad-academy/kl_cross_entropy.git
引用:[1] Goodfellow, I. et al., Generative adversarial nets. In Advances in neural information processing systems. pp. 2672–2680, 2014[2]https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
作者：J. Rafid S., PhD
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
電化學工作站相關文章:電化學工作站原理
