将前面几天讲述的不同Layer组合起来就可以构建起完整的CNN/DNN。今天将从Caffe的Solver类入手，对Caffe训练时的流程做深入分析，也就是看Caffe实际是如何“动”起来的。
求解器是什么
从前两天内容我们学习到，Net己经完成部分学习任务（数据前向传播、误差反向传播),而CNN剩下有监督的优化过程、利用每层的梯度生成权值增量则由求解器(Solver)负责.
求解器负责对模型优化,它的KPI(Key Performance Indicator,关键绩效指你，某公司常用的一种员工绩效评定方式）就是让损失函数达到全局最小。
求解器的特性如下:
- 负责记录优化过程，创建用于学习的训练网络和用于评估学习效果的测试网络。
- 调用Forward\(\rightarrow\)调用Backward\(\rightarrow\)更新权值，反复迭代优化模型。
- 周期性的评估测试网络
- 在优化过程中为模型,求解器状态打快照.
为了让权值从初始化状态向着更好的模型前进，求解器在每次迭代中做了如下事情：
- 调用Net的前向传播函数来计算输出和损失函数。
- 调用Net的反向传播函数来计算梯度。
- 根据求解器方法,将梯度转换为权值增量
- 根据学习速率、历史权值、所用方法更新求解器状态。
求解器是如何实现的
在卷积神经网络中,有两种类型的层需要学习:卷积层和全连接层（统称权值层，因为它们都有weight参数）。在设计求解器时，学习速率参数的设置也是针对这两个层的。
在caffe中我们要适当把握度,控制收敛的参数---学习速率.
我们来具体看一下Caffe是如何对权值学习做到“不偏不倚”的。
算法描述
Caffe中的求解器有以下几种:
- 随机梯度下降法（Stochastic Gradient Descent, SGD),最常用的一种
- AdaDelta
- 自适应梯度法（Adaptive Gradient, ADAGRAD)
- Adam
- Nesterov加速梯度法（Nesterov’s Accelerated Gradient, NAG)
- RMSprop
求解器方法重点是最小化损失函数的全局优化问题,对于数据集D,优化目标是在全数据集D上损失函数平均值：
\[
L(W)=\frac{1}{|{D}|}\sum^{|D|}_{i}{f_w(X^{(i)}) + \lambda{r}(W)}
\]
其中，\(f_w(X^{(i)})\)是在数据实例\(X^{(i)\)上的损失函数，\(r(W)\)为规整项，\(\lambda\)为规整项的权重。数据集\(D\)可能非常大，工程上一般在每次迭代中使用这个目标函数的随机逼近，即小批量数据\(N<<|D|\)个数据实例:
