深入理解逻辑回归

Sigmoid 函数

$$S(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1}\in (0,1),x\in (-\infty ,+\infty )\text{\hspace{1em}(1)}$$

函数特性 $S(0)=0.5$, $S(x)+S(-x)=1$. 令 $T(x)=S(x)-0.5$, 则 $T(-x)=-T(x)$, 因此 $S(x)$ 关于点 $(0,0.5)$ 中心对称.

绘图代码如下

import matplotlib.pyplot as plt
import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

x = np.linspace(-5, 5, 100)
y = sigmoid(x)
plt.plot(x, y)
plt.plot([-5, 5], [0.5, 0.5], color='gray', linestyle='--')
plt.plot([0, 0], [0, 1], color='gray', linestyle='--')
plt.savefig('sigmoid.png')
plt.show()

Sigmoid 另一个特性 $S^{\prime }(x)=S(x)[1-S(x)]$.

逻辑回归

考虑一个二分类情形, 我们建立了 $n$ 个特征, 并将二分类结果编码为 0 和 1. 那么, 这里的本质是将 $X=(x_1,x_2,...,x_n)$ 映射成 0 或 1.

如何建立特征到分类的数学模型, 假设线性回归得到的值为 $y$, 映射产生的概率为 $p$, 考虑如下比值比 (odds)

$$\frac{p}{1-p}\in (0,+\infty )$$

又名机会比、优势比、交叉乘积比、相对比值、两个比值的比、赔率等. 将 $p$ 通过如下方式映射到 $y$

$$y=\ln \frac{p}{1-p}=logit=\theta \cdot x\text{\hspace{1em}(2)}$$

通过求上述函数的逆函数, 就得到 $p=S(y)$. 于是得到逻辑回归 (Logistic/Logit Regression), 假设函数

$$h_{\theta }(x)=S(\theta \cdot x)\text{\hspace{1em}(3)}$$

损失函数

$$L(\theta )=\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\ln (h_{\theta }(x^{(i)}))-(1-y^{(i)})\ln (1-h_{\theta }(x^{(i)}))\right]\text{\hspace{1em}(4)}$$

计算偏导

$${\theta }_j:={\theta }_j+\alpha (y^{(i)}-h_{\theta }(x^{(i)}))x_j^{(i)}\text{\hspace{1em}(5)}$$

参考文档

• 浅入深出被人看扁的逻辑回归！