过拟合是什么及检验方法
过拟合：给定一个假设空间 $\mathcal{F}$，一个假设 $f$ 属于 $\mathcal{F}$，如果存在其他的假设 $f'$ 也属于 $\mathcal{F}$，使得在训练集上 $f$ 的损失比 $f'$ 的损失小，但在整个样本空间上 $f'$ 的损失比 $f$ 的损失小，那么就说假设 $f$ 过度拟合训练数据。
- 问题表现方式：高方差
- 如果训练集和测试集的误差间呈现较大的差异时，即为高方差（不稳定）;
- 在高方差时，训练集训练效果很好，但是验证集的验证效果很差的时候， 即训练集和验证集呈现出较大的差异，即模型的泛化能力差。这种现象称为过拟合；
- 检验方法：此时，观察模型在训练集和测试集上的损失函数值随着epoch的变化情况，当 模型 在 测试集 上的 损失函数值 出现 先下降后上升，那么此时可能出现过拟合。
过拟合的原因
- 训练集数量不足，样本类型单一。例如：如果我们利用只包含负样本的训练集训练模型，然后利用训练好的模型预测验证集中的正样本时，此时就会出现，模型在训练的时候，效果特别好，但是在验证的时候效果下降问题。因此，在选取训练集时，应当覆盖所有的数据类型；
- 训练集中存在噪声。噪声指的是训练数据中的干扰数据，噪声数据会误导模型记录较多的错误特征，而忽略了真实样本中的正确特征信息；
- 模型复杂度过高。当模型过于复杂时，会导致模型过于充分的学习到训练数据集中特征信息，但是遇到没有见过的数据的时候不能够变通，泛化能力太差。我们希望模型对不同的数据都有稳定的输出。模型太复杂是过拟合的重要因素。
过拟合的解决方法
- 标注不同类型的样本，是样本尽可能的均衡。数据经过清洗之后再进行模型训练，防止噪声数据干扰模型；
- 降低训练模型复杂度。在训练和建立模型的时候，从相对简单的模型开始，不要一开始就把特征做的非常多，模型参数挑的非常复杂；
- 正则化。在模型算法中添加惩罚函数来防止模型出现过拟合问题；
- 采用 bagging（如随机森林等）集成学习方法来防止过拟合；
- 减少特征个数（不是太推荐，但也是一种方法)。可以使用特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间；
- 交叉检验。利用交叉检验的方法，来让模型得到充分的训练，以得到较优的模型参数；
- 早停策略。本质上是交叉验证策略，选择合适的训练次数，避免训练的网络过度拟合训练数据；
- DropOut 策略。核心思想就是 bagging，可以看作是低成本的集成学习。