基本概念

1. 泛化能力
   指模型离开训练集后，在测试集（任意其他数据集）上的表现水平
2. 过拟合
   泛化能力差，在训练集表现良好，但在其他数据集表现差
   通常发生在模型复杂度显著高于实际对象，或对训练集的学习次数过多的情形
   俗称：小题大做 或 学傻了（把样本噪声都学会了）
3. 欠拟合
   在训练集和测试机表现都不行
   通常发生在模型复杂度显著低于实际对象，或对训练集的学习次数太少的情形
   要么是 太蠢了学不会（一次函数怎么都没法拟合二次函数），要么就是 偷懒没有好好学
4. 正则化（权重衰减）
   这俩是同一个东西，是为了遏制模型过拟合，从而对模型的权重参数进行惩罚，权重越大，惩罚越严厉
   通常用权重向量W的欧氏距离作为惩罚的参考

优化算法

1. AdaGrad算法：
   核心：学得越快，学得越慢
   学习过程中的梯度会通过一定方式影响学习率，总体来说，梯度越大，学习率衰减越快，训练后期，模型几乎不再从训练中学习
   有效解决了学习率小，模型收敛慢；学习率大，后期难收敛 的两难问题
   但是由于其后期学习率过小，导致其难以发现最优解
2. RNSProp算法：
   几乎等效于：只用最近的几个梯度来调整学习率
   有效解决了AdaGrad算法，在训练后期，学习率一定趋近于0的问题
   （有点像卡尔曼滤波的状态外推方程）
3. Adam算法