知源笔记

为什么梯度方向是函数变化最快的方向

无忌 · 2021 年 5 月 22 日

1导数

对于单变量函数 f(x)f(x), 在 x0x_0 处的导数定义为

\Delta y = f(x_0+\Delta x)-f(x_0)\approx f'(x_0)\Delta x\tag1

几何意义上, 导数表示函数在该点的切线的斜率, 即该点的变化率. 从上面的等式还能看出, 步长 Δx\Delta x 保持不变的前提下, ∣f′(x0)∣|f'(x_0)| 越大, 函数值变化越大 (曲线越陡峭).

2梯度

对多元函数的参数求偏导, 将各个偏导数以向量的形式展示出来, 即为梯度.

{\rm grad} f(x,y)=\nabla f(x,y)=\left(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}\right)^{\rm T}\tag2

3方向导数

给定 (单位) 方向向量 ll, 设 φ\varphi 是 xx 轴到 ll 的夹角, ρ\rho 是点 M0M_0 到 M1M_1 的距离, 则

l=(cos⁡φ,sin⁡φ),ρ=(Δx)2+(Δy)2l=(\cos\varphi,\sin\varphi),\quad\rho=\sqrt{(\Delta x)^2+(\Delta y)^2}

根据三角函数的定义有

cos⁡φ=Δxρ,sin⁡φ=Δyρ,ρl=(Δx,Δy)\cos\varphi=\frac{\Delta x}\rho,\quad\sin\varphi=\frac{\Delta y}\rho,\quad\rho l=(\Delta x,\Delta y)

沿 ll 方向的导数定义为

\frac{\partial f}{\partial l}=\lim_{\rho\to0}\frac{f(x+\Delta x,y+\Delta y)-f(x,y)}\rho\tag3

而根据可微的定义有

Δz=f(x+Δx,y+Δy)−f(x,y)=∂f∂xΔx+∂f∂yΔy+o(ρ)\Delta z=f(x+\Delta x,y+\Delta y)-f(x,y)=\frac{\partial f}{\partial x}\Delta x+\frac{\partial f}{\partial y}\Delta y+o(\rho)

因此

\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}\cos\varphi+\frac{\partial f}{\partial y}\sin\varphi=\nabla f\cdot l\tag4

即任意方向导数可以表示为梯度与 (单位) 方向向量的内积.

\left|\frac{\partial f}{\partial l}\right|=|\nabla f\cdot l|=|\nabla f||l||\cos\beta|\le|\nabla f|\tag5

其中 β\beta 为梯度与方向向量的夹角. 因此, 方向导数最大值 ∣∇f∣|\nabla f|, 当且仅当方向向量 ll 与 ∇f\nabla f 平行时, 等号成立. 因此梯度方向是函数变化最快的方向.

4梯度下降法

Δz≈ρ∇f⋅l\Delta z\approx\rho\nabla f\cdot l

为了让 ff 尽快达到最小值, 因此 ll 需要与梯度方向相反, 即负梯度方向. 假设函数 hθ(x)h_\theta(x), 损失函数 J(θ)J(\theta), 迭代公式.

\theta:=\theta-\alpha\frac{\partial J(\theta)}{\partial\theta}\tag6

2021 年 5 月 22 日