交叉熵在机器学习中的应用

交叉熵 (cross entropy) 在机器学习中，一般用来求目标与预测值之间的差距。

交叉熵的由来

交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。

信息量

假设我们听到了两件事，分别如下：

• 事件 A：巴西队进入了2018世界杯决赛圈。
• 事件 B：中国队进入了2018世界杯决赛圈。

显而易见，事件 B 的信息量比事件 A 的信息量要大。究其原因，是因为事件 A 发生的概率很大，事件 B 发生的概率很小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关。

假设 $X$ 是一个离散型随机变量，其取值集合为 $\chi$, 概率分布函数 $p(x)=\mathrm{Pr}(X=x)$, $x\in \chi$, 则定义事件 $X=x_0$ 的信息量为：

$$I(x_0)=-\log (p(x_0))$$

由于是概率所以 $p(x_0)$ 的取值范围是 $[0,1]$, 绘制为图形如下, 可见该函数符合我们对信息量的直觉.

import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(1e-3, 1, 100)
y = -np.log(x)
plt.plot(x, y)
plt.savefig('info.jpg')
plt.show()

熵

对于某个事件，有 $n$ 种可能性，每一种可能性都有一个概率 $p(x_i)$, 这样就可以计算出每种可能性的信息量. 举一个例子，假设你拿出了你的电脑，按下开关，会有三种可能性，下表列出了每一种可能的概率及其对应的信息量.

事件	概率	信息量
电脑正常开机	0.7	0.36
电脑无法开机	0.2	1.61
电脑爆炸了	0.1	2.30

注意: 本文中的对数均指自然对数.

熵表示所有信息量的期望，即：

$$H(X)=-\sum _{i=1}^{n}p(x_i)\log (p(x_i))\text{\hspace{1em}(1)}$$

其中 $n$ 表示可能性的总数, 所以上面事件的熵就是

$$H(X)=0.7\times 0.36+0.2\times 1.61+0.1\times 2.30=0.804$$

对于二项分布特例, 比如投掷硬币只有两种可能，字朝上或花朝上, 此时, 熵的计算公式 (1) 可以简化为

$$H(x)=-p(x)\log (p(x))-(1-p(x))\log (1-p(x))\text{\hspace{1em}(2)}$$

相对熵

相对熵又称 KL 散度, 如果对于随机变量 $x$ 有两个单独的概率分布 $P(x)$ 和 $Q(x)$，那么可以使用 KL 散度（Kullback-Leibler divergence）来衡量这两个分布的差异.

在维基百科中, 是这样介绍相对熵的

In the context of machine learning, $D_{\mathrm{KL}}(P\Vert Q)$ is often called the information gain achieved if $P$ would be used instead of $Q$.

即如果用 $P$ 来描述目标问题，而不是用 $Q$ 来描述目标问题，得到的信息增量。

在机器学习中，$P$ 往往用来表示样本的真实分布，比如 [1,0,0] 表示当前样本属于第一类。$Q$ 用来表示模型所预测的分布，比如 [0.7,0.2,0.1]。直观的理解就是如果用 $P$ 来描述样本，那么就非常完美。而用 $Q$ 来描述样本，虽然可以大致描述，但是不是那么的完美，信息量不足，需要额外的一些 “信息增量” 才能达到和 $P$ 一样完美的描述。如果我们的 $Q$ 通过反复训练，也能完美的描述样本，那么就不再需要额外的 “信息增量”, $Q$ 等价于 $P$。

KL 散度的计算公式

$$D_{\mathrm{KL}}(p\Vert q)=\sum _{i=1}^{n}p(x_i)\log \left[\frac{p(x_i)}{q(x_i)}\right]\text{\hspace{1em}(3)}$$

$D_{\mathrm{KL}}$ 的值越小, 表示 $q$ 分布和 $p$ 分布越接近.

交叉熵

对 (3) 变形可以得到

$$D_{\mathrm{KL}}(p\Vert q)=-H(p(x))-\sum _{i=1}^{n}p(x_i)\log (q(x_i))\text{\hspace{1em}(4)}$$

等式的前一部分恰巧就是 $p$ 的熵，等式的后一部分，就是交叉熵

$$H(p,q)=-\sum _{i=1}^{n}p(x_i)\log (q(x_i))\text{\hspace{1em}(5)}$$

在机器学习中，我们需要评估 label 和 predict 之间的差距，使用 KL 散度刚刚好，即 $D_{\mathrm{KL}}(y\Vert \hat{y})$, 由于 KL 散度中的前一部分 $-H(y)$ 不变，故在优化过程中，只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做 loss，评估模型。

交叉熵的应用

在线性回归问题中，常常使用 MSE (Mean Squared Error) 作为 loss 函数，比如：

$$loss=\frac{1}{2m}\sum _{i=1}^m(y_i-{\hat{y}}_i{)}^2\text{\hspace{1em}(6)}$$

单类别分类问题, 是指一个样本只能有一个类别, 在这种问题上, 交叉熵是标配的方法

$$loss=-\sum _{i=1}^n{y}_i\log ({\hat{y}}_i)\text{\hspace{1em}(7)}$$

对应一个 batch 的 loss 就是

$$loss=-\frac{1}{m}\sum _{j=1}^m\sum _{i=1}^n{y}_{ji}\log ({\hat{y}}_{ji})\text{\hspace{1em}(8)}$$

多类别分类问题, 是指一个样本可能有多个类别, 在这种问题上, 由于 predict 不再是通过 softmax 计算出来的, 而是采用 sigmoid. 每一个 label 都是独立分布的，相互之间没有影响。所以交叉熵在这里是单独对每一个节点进行计算，每一个节点只有两种可能值，所以是一个二项分布。前面说过对于二项分布这种特殊的分布，熵的计算可以进行简化。最终, 对应一个 batch 的 loss 就是

$$loss=\frac{1}{m}\sum _{j=1}^m\sum _{i=1}^n-y_{ji}\log ({\hat{y}}_{ji})-(1-y_{ji})\log (1-{\hat{y}}_{ji})\text{\hspace{1em}(9)}$$

其中 $m$ 为当前 batch 中的样本量，$n$ 为类别数.

参考文献

• 一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉