1导数
对于单变量函数 , 在 处的导数定义为
\Delta y = f(x_0+\Delta x)-f(x_0)\approx f'(x_0)\Delta x\tag1
几何意义上, 导数表示函数在该点的切线的斜率, 即该点的变化率. 从上面的等式还能看出, 步长 保持不变的前提下, 越大, 函数值变化越大 (曲线越陡峭).
2梯度
对多元函数的参数求偏导, 将各个偏导数以向量的形式展示出来, 即为梯度.
{\rm grad} f(x,y)=\nabla f(x,y)=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)^{\rm T}\tag2
3方向导数
给定 (单位) 方向向量 , 设 是 轴到 的夹角, 是点 到 的距离, 则
根据三角函数的定义有
沿 方向的导数定义为
\frac{\partial f}{\partial l}=\lim_{\rho\to0}\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}\rho\tag3
而根据可微的定义有
因此
\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}\cos\varphi+\frac{\partial f}{\partial y}\sin\varphi=\nabla f\cdot l\tag4
即任意方向导数可以表示为梯度与 (单位) 方向向量的内积.
\left|\frac{\partial f}{\partial l}\right|=|\nabla f\cdot l|=|\nabla f||l||\cos\beta|\le|\nabla f|\tag5
其中 为梯度与方向向量的夹角. 因此, 方向导数最大值 , 当且仅当方向向量 与 平行时, 等号成立. 因此梯度方向是函数变化最快的方向.
4梯度下降法
为了让 尽快达到最小值, 因此 需要与梯度方向相反, 即负梯度方向. 假设函数 , 损失函数 , 迭代公式.
\theta:=\theta-\alpha\frac{\partial J(\theta)}{\partial\theta}\tag6