数值优化：经典一阶确定性算法及其收敛性分析

我们在上一篇博客《数值优化：算法分类及收敛性分析基础》介绍了数值优化算法的历史发展、分类及其收敛性/复杂度分析基础。本篇博客我们重点关注一阶确定性优化算法及其收敛性分析。

1 梯度下降法

1.1 算法描述

梯度下降法是最古老的一阶方法，由Cauchy在1847年提出。
梯度下降法的基本思想是：最小化目标函数在当前迭代点处的一阶泰勒展开，从而近似地优化目标函数本身。具体地，对函数\(f:\mathbb{R}^n \rightarrow \mathbb{R}\)，将其在第\(t\)轮迭代点\(w^t\)处求解下述问题：

\[\underset{w}{\text{min}}f(w) = \underset{w}{\text{min}} \left[ f(w^t) + \nabla f(w^t)^T (w-w^t) \right]\]