深度学习优化策略,梯度下降( 四 )

也就是说，尽管「所有样本损失函数」的梯度可能把我们推向一个局部极小值，或者使我们困在一个鞍点，但是这种「一个样本损失函数」的梯度可能指向一个不同的方向，并有可能帮助我们避开这些情况。「所有样本损失函数」的一个局部最小值点也应该考虑在内。如果我们采用批量梯度下降，那么我们会被困在这里，因为这里的梯度始终会指向局部最小值点。
但是，如果我们使用随机梯度下降，这个点可能不在「一个样本损失函数」轮廓的局部最小值周围，这使得我们远离局部最小值点。即使我们陷在「一个样本损失函数」的局部最小值点，下一个随机采样点的「一个样本损失函数」的损失情况也可能不同，从而使我们能够继续移动。当它收敛的时候，它会收敛到几乎所有「一个样本损失函数」的最小值。
也有经验显示，鞍点是极不稳定的，轻轻一推就可以摆脱。所以，这是否意味着在实践中应该使用这种一个样本的随机梯度下降呢？批大小答案是否定的。尽管从理论上而言，随机梯度下降可能给我们带来最好的结果，但是从计算角度而言，它并不是一个非常可行的选择。当我们使用由所有单个损失函数相加得到的函数进行梯度下降时，所有单个损失函数的梯度可以并行计算，而使用随机梯度下降的时候，梯度的计算必须一个一个的顺序进行。
因此，我们所做的是一个平衡的行为。我们使用固定数量（例如 16、32 或者 128 个）的样本形成一个 mini-batch 来构建损失函数，而不是使用整个数据集或者单个样本。这个词与一次处理所有样本形成了对比，它通常被称作批梯度下降。选择 mini-batch 的大小是为了保证我们有足够的随机性摆脱局部最小值，同时可以利用足够的并行计算力。
重新审视局部极小值：它们并没有你想象的那么糟糕不要急着反对局部极小值，最近的研究表明局部最小值并不一定就是坏的。在神经网络的损失情况下，最小值实在太多了，好的局部极小值可能和全局最小值一样好。我为什么说好？是因为你仍可能陷入由不稳定的训练样本导致的局部极小值中。好的局部极小值，或者文献中提到的最优局部极小值，在给定神经网络的高维损失函数中也可能是大量存在的。
你可能还会注意到，很多神经网络都在执行分类任务。如果一个局部极小值对应着 0.7—0.8 的正确标签分数，而全局最小值能够产生 0.95-0.98 的正确标签分数，那么两者输出的预测标签结果将是相同的。最小值的一个理想属性是它应该在平坦的一面。为什么？因为平坦的最小值很容易收敛到，而且越过最小值或者在最小值的脊梁之间跳跃的可能性更小。
更重要的是，我们期望测试集的损失曲面与我们训练的训练集的损失曲面略有不同。对处于平坦又较宽处的极小值，由于这种变化，损失不会有太大变化，但处于相对较窄处的极小值不是这样。我们要指出的一点是，更平坦处的最小值能够更好地泛化，因此是可取的。重新审视学习率近来，针对损失函数中的次优最小值，关于学习率调度的研究激增。
即使学习率下降，也有可能陷入局部极小值。传统上，要么在固定次数的迭代之后训练完成，要么在损失值没有改善的情况下，固定次数的迭代（比如 10 次）之后训练停止。这种情况在文献中被称为早停。使用较快的学习率也有助于我们在训练中更早地跳过一些局部极小值。人们也把早停和学习率衰减结合起来，在迭代 10 次后损失函数没有改善的情况下学习率开始衰减，最终在学习率低于某个确定的阈值时停止。