深度学习优化策略,梯度下降( 五 )

近年来，循环学习率变得流行起来，在循环学习率中，学习率是缓慢增加的，然后缓慢减小，以一种循环的形式持续着。Leslie N. Smith 提出的 Triangular 和 Triangular2 循环学习率方法。左侧的最大学习率和最小学习率保持不变。右侧的区别在于每个周期之后学习率减半。图源：Hafidz Zulkifli所谓暖重启的随机梯度下降，基本上是将学习率退火到一个下限，然后将学习率恢复到初始值。
对于学习率如何下降，我们也有不同的计划，例如，从指数衰减到余弦衰减。余弦退火与重启相结合最近的一篇论文介绍了一种叫做「随机加权平均」的技术。作者提出了一种方法，首先收敛到最小值，缓存权重，然后将学习率恢复到更高的值。然后，这种更高的学习率将算法从最小值推到损失面中的随机点。然后使算法再次收敛到另一个最小值。
重复几次，最后，他们对所有缓存权重集的预测进行平均，以产生最终预测。随机加权平均技术结论所以，这是梯度下降的介绍性文章，这是深度学习优化工作的驱动力，因为关于反向训练的开创性论文显示，可以通过计算梯度来训练神经网络。然而，关于梯度下降还有一个我们在这篇文章中没有谈到的缺失部分，那就是解决 pathological curvature 的问题。
机器学习的岭回归除了正规方程还可以用梯度下降求解吗？

首先我可以很肯定的告诉你，可以！但是也许题主就会产生疑问，在机器学习算法中，那么多算法都使用梯度下降，似乎在机器学习算法中，梯度下降是一个万能的优化算法为啥就不用呢？其实正是因为梯度下降算法是一个万能优化算法，所以他就有自己的缺点，否则别的算法就没有存在的理由了。那么，梯度下降算法的缺点是什么呢？那就是它的效率比较低，求解速度比较慢，而且它的求解速度以及是否能够收敛要取决于步长这个参数的合理设计。
步长设计的太小，算法需要迭代太多次才能收敛；步长设计的太大，算法可能会在最优解附近发散不收敛。所以一般选择梯度下降作为某个机器学习算法的优化方法是因为该机器学习算法的目标函数不易求解：要么该目标函数不是凸函数，要么该目标函数没有解析解。而岭回归是一个非常简单的算法，他能够使用正规方程直接求解模型最优参数，不需要使用梯度下降来慢慢迭代求解。