1Sigmoid 函数
S(x)=\frac1{1+e^{-x}}=\frac{e^x}{e^x+1}\in(0,1),\quad x\in(-\infty,+\infty)\tag1
函数特性 , . 令 , 则 , 因此 关于点 中心对称.

绘图代码如下
import matplotlib.pyplot as plt
import numpy as np
def sigmoid(x):
return 1 / (1 + np.exp(-x))
x = np.linspace(-5, 5, 100)
y = sigmoid(x)
plt.plot(x, y)
plt.plot([-5, 5], [0.5, 0.5], color='gray', linestyle='--')
plt.plot([0, 0], [0, 1], color='gray', linestyle='--')
plt.savefig('sigmoid.png')
plt.show()
Sigmoid 另一个特性 .
2逻辑回归
考虑一个二分类情形, 我们建立了 个特征, 并将二分类结果编码为 0 和 1. 那么, 这里的本质是将 映射成 0 或 1.
如何建立特征到分类的数学模型, 假设线性回归得到的值为 , 映射产生的概率为 , 考虑如下比值比 (odds)
又名机会比、优势比、交叉乘积比、相对比值、两个比值的比、赔率等. 将 通过如下方式映射到
y=\ln\frac p{1-p}=logit=\theta\cdot x\tag2
通过求上述函数的逆函数, 就得到 . 于是得到逻辑回归 (Logistic/Logit Regression), 假设函数
h_\theta(x)=S(\theta\cdot x)\tag3
损失函数
L(\theta)=\frac1m\sum_{i=1}^m\left[-y^{(i)}\ln(h_\theta(x^{(i)}))-(1-y^{(i)})\ln(1-h_\theta(x^{(i)}))\right]\tag4
计算偏导
\theta_j:=\theta_j+\alpha(y^{(i)}-h_\theta(x^{(i)}))x_j^{(i)}\tag5