交叉熵 (cross entropy) 在机器学习中,一般用来求目标与预测值之间的差距。
1交叉熵的由来
交叉熵是信息论中的一个概念,要想了解交叉熵的本质,需要先从最基本的概念讲起。
1.1信息量
假设我们听到了两件事,分别如下:
- 事件 A:巴西队进入了2018世界杯决赛圈。
- 事件 B:中国队进入了2018世界杯决赛圈。
显而易见,事件 B 的信息量比事件 A 的信息量要大。究其原因,是因为事件 A 发生的概率很大,事件 B 发生的概率很小。所以当越不可能的事件发生了,我们获取到的信息量就越大。越可能发生的事件发生了,我们获取到的信息量就越小。那么信息量应该和事件发生的概率有关。
假设 是一个离散型随机变量,其取值集合为 , 概率分布函数 , , 则定义事件 的信息量为:
由于是概率所以 的取值范围是 , 绘制为图形如下, 可见该函数符合我们对信息量的直觉.

import matplotlib.pyplot as plt
import numpy as np
x = np.linspace(1e-3, 1, 100)
y = -np.log(x)
plt.plot(x, y)
plt.savefig('info.jpg')
plt.show()
1.2熵
对于某个事件,有 种可能性,每一种可能性都有一个概率 , 这样就可以计算出每种可能性的信息量. 举一个例子,假设你拿出了你的电脑,按下开关,会有三种可能性,下表列出了每一种可能的概率及其对应的信息量.
| 事件 | 概率 | 信息量 |
|---|---|---|
| 电脑正常开机 | 0.7 | 0.36 |
| 电脑无法开机 | 0.2 | 1.61 |
| 电脑爆炸了 | 0.1 | 2.30 |
注意: 本文中的对数均指自然对数.
熵表示所有信息量的期望,即:
H(X)=-\sum_{i=1}^np(x_i)\log(p(x_i))\tag1
其中 表示可能性的总数, 所以上面事件的熵就是
对于二项分布特例, 比如投掷硬币只有两种可能,字朝上或花朝上, 此时, 熵的计算公式 (1) 可以简化为
H(x)=-p(x)\log(p(x))-(1-p(x))\log(1-p(x))\tag2
1.3相对熵
相对熵又称 KL 散度, 如果对于随机变量 有两个单独的概率分布 和 ,那么可以使用 KL 散度(Kullback-Leibler divergence)来衡量这两个分布的差异.
在维基百科中, 是这样介绍相对熵的
In the context of machine learning, is often called the information gain achieved if would be used instead of .
即如果用 来描述目标问题,而不是用 来描述目标问题,得到的信息增量。
在机器学习中, 往往用来表示样本的真实分布,比如 [1,0,0] 表示当前样本属于第一类。 用来表示模型所预测的分布,比如 [0.7,0.2,0.1]。直观的理解就是如果用 来描述样本,那么就非常完美。而用 $Q $ 来描述样本,虽然可以大致描述,但是不是那么的完美,信息量不足,需要额外的一些 "信息增量" 才能达到和 一样完美的描述。如果我们的 通过反复训练,也能完美的描述样本,那么就不再需要额外的 "信息增量", 等价于 。
KL 散度的计算公式
D_{\rm KL}(p\|q)=\sum_{i=1}^np(x_i)\log\left[\frac{p(x_i)}{q(x_i)}\right]\tag3
的值越小, 表示 分布和 分布越接近.
1.4交叉熵
对 (3) 变形可以得到
D_{\rm KL}(p\|q)=-H(p(x))-\sum_{i=1}^np(x_i)\log(q(x_i))\tag4
等式的前一部分恰巧就是 的熵,等式的后一部分,就是交叉熵
H(p,q)=-\sum_{i=1}^np(x_i)\log(q(x_i))\tag5
在机器学习中,我们需要评估 label 和 predict 之间的差距,使用 KL 散度刚刚好,即 , 由于 KL 散度中的前一部分 不变,故在优化过程中,只需要关注交叉熵就可以了。所以一般在机器学习中直接用用交叉熵做 loss,评估模型。
2交叉熵的应用
在线性回归问题中,常常使用 MSE (Mean Squared Error) 作为 loss 函数,比如:
loss=\frac1{2m}\sum_{i=1}^m(y_i-\hat y_i)^2\tag6
单类别分类问题, 是指一个样本只能有一个类别, 在这种问题上, 交叉熵是标配的方法
loss=-\sum_{i=1}^ny_i\log(\hat y_i)\tag7
对应一个 batch 的 loss 就是
loss=-\frac1m\sum_{j=1}^m\sum_{i=1}^ny_{ji}\log(\hat y_{ji})\tag8
多类别分类问题, 是指一个样本可能有多个类别, 在这种问题上, 由于 predict 不再是通过 softmax 计算出来的, 而是采用 sigmoid. 每一个 label 都是独立分布的,相互之间没有影响。所以交叉熵在这里是单独对每一个节点进行计算,每一个节点只有两种可能值,所以是一个二项分布。前面说过对于二项分布这种特殊的分布,熵的计算可以进行简化。最终, 对应一个 batch 的 loss 就是
loss=\frac1m\sum_{j=1}^m\sum_{i=1}^n-y_{ji}\log(\hat y_{ji})-(1-y_{ji})\log(1-\hat y_{ji})\tag9
其中 为当前 batch 中的样本量, 为类别数.