关键词：
1. 过拟合是什么？
https://www.zhihu.com/question/264909622 那个英文回答就是说h1、h2属于同一个集合，实际情况是h2比h1错误率低，你用h1来训练，用h2来测试，但h1的准确率比h2却高
个人理解：网络过分学习了训练集的特征，把不是这个训练集本质的特征也学习进去了，导致模型不能在测试集正确识别（记得统计学习方法里面有一个配图，一条曲线过分学习特征）。或者说，训练集的准确率很高，但测试集的准确率很低。在training data上的error渐渐减小，可是在验证集上的error却反而渐渐增大。
自己在工程中遇到过，27w次的loss比21w次低，但测试集27w的准确率比21w次低。
2. 解决办法？1.数据增强
2.更简单的模型，参数更少
3.early stopping。提前终止网络学习，自己之前做的27w迭代期比21w迭代期的在测试集上ap值更低，可以把21w的作为最终的训练结果。
4.l1、l2正则（往往说的weight decay其实也就是这个，在loss上加l1、l2.我自己写的weight decay的总结http://www.cnblogs.com/ymjyqsx/p/9160852.html）
5.增加噪声
6.dropout
7.
3. L1、L2怎么解决过拟合？
https://blog.csdn.net/jinping_shi/article/details/52433975
1. l1正则是所有权重绝对值之和，l2正则化是所有权重的平方和再开平方根。
2. l1可以产生稀疏模型，用于特征选择（为什么会产生稀疏模型，用2维平面loss函数的等值线和正则的线进行图解，l1正则有更多凸点，这些凸点与等值线相交的概率比其他点更大，这些凸点的坐标是一个为0，另一个不为0，也就进行了特征选取。为什么l2不容易产生稀疏模型，因为l2是在二维上是一个圆形，l2的凸点与等值线的相交的概率要比其他点小）。l2可以获得值很小的参数（推参数更新的公式）。
3. 拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响（可以用y = ax + b来当理解，如果a的切斜角很大，那x的值变动很小，但y的值会相对于x的值变动大）；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。
4. l1中λ越大，x越小，也就是参数越小（你可以拿y = ax这个函数做类比，a越大，x就算取更小的值都能取到原来大小的值）。λ越大，越容易在0点取到最小值。l2中λ越大，w衰减的越快（参数更新公式）
机器学习过拟合和欠拟合怎么判断，如何解决？(面试回答)
过拟合和欠拟合怎么判断，如何解决？（1）判断：训练集误差和验证集误差，从而判断算法达到什么效果训练误差大和验证误差都大，是欠拟合训练误差和验证误差差不多，都较低，是适度拟... 查看详情
过拟合及解决方案
参考技术A是什么过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。具体表现就是最终模型在训练集上效果好；在... 查看详情
机器学习：过拟合欠拟合正则化之间的纸短情长～(代码片段)
机器学习：过拟合与欠拟合是如何被解决的？什么是过拟合与欠拟合过拟合欠拟合如何解决过拟合L2正则化（权重衰减）代码实现降维采用合适的模型数据增强如何解决欠拟合什么是过拟合与欠拟合机器学习的主... 查看详情
欠拟合和过拟合——机器学习(代码片段)
欠拟合和过拟合一.定义二.过拟合2.1正则化——解决过拟合2.1.1定义2.1.2正则化线性模型2.2维灾难三.波士顿房价预测讲解——岭回归3.1API——Ridge3.2API——RidgeCV三.欠拟合前言：作者：神的孩子在跳舞本人是刚开始学机器学... 查看详情
机器学习中用来防止过拟合的方法有哪些？
是什么过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。具体表现就是最终模型在训练集上效果好；在测试集上... 查看详情
神经网络:欠拟合和过拟合
...要包括以下6种：增加训练样本的数目（该方法适用于过拟合现象时，解决高方差。一般都是有效的，但是代价较大，如果下面的方法有效，可以优先采用下面的方式）；尝试减少特征的数量（该方法适用于过拟合现象时，解决... 查看详情
欠拟合和过拟合的一般解决方法(代码片段)
简单来说，欠拟合是指模型在训练集、验证集和测试集上均表现不佳的情况；过拟合是指模型在训练集上表现很好，到了验证和测试阶段就大不如意了，即模型的泛化能力很差。欠拟合和过拟合一直是机器学习训练中的难题，在... 查看详情
欠拟合过拟合及其解决方法
...我们机器学习或者训练深度神经网络的时候经常会出现欠拟合和过拟合这两个问题，但是，一开始我们的模型往往是欠拟合的，也正是因为如此才有了优化的空间，我们需要不断的调整算法来使得模型的表达能拿更强。但是优化... 查看详情
面经准备
...?id=16925&home=timerank)（多次出现） 2.如何避免过拟合，l1l2正则哪个可以解决过拟合问题？你怎么理解的？(http://freeshare.free4inno.com/resource?id=16925&home=time 查看详情
什么是过拟合?如何避免过拟合问题？
参考技术A过拟合:所选模型的复杂度比真模型更高;学习时选择的模型所包含的参数过多,对已经数据预测得很好,但是对未知数据预测得很差的现象.过拟合一般特点:高方差,低偏差;导致过拟合原因:训练数据不够,模型进行过度训练... 查看详情
细品-过拟合与模型选择*
欠拟合和过拟合 欠拟合是指模型不能很好的捕获到数据特征，不能很好的拟合数据，学习能力底下。解决方法：增加模型的复杂度 过拟合是指模型不仅仅学习了数据集中的有效信息，也学习到了其中的噪音数据... 查看详情
tensorflow学习之路---解决过拟合
...数据集2、定义用来实现神经元功能的函数（包括解决过拟合）3、定义输入和输出的数据4、定义隐藏层（函数）和输出层（函数）5、分析误差和优化数据（改变权重）6、执行神经网络‘‘‘importtensorflowastffromsklearn.datasetsimportloa... 查看详情
机器学习为什么会产生过拟合，有哪些方法可以预防或克服过拟合？(面试回答)
为什么会产生过拟合，有哪些方法可以预防或克服过拟合？原因一些假设条件（如样本独立同分布）可能是不成立的；训练样本过少不能对整个空间进行分布估计判断依据一般而言训练误差很低，但是测试... 查看详情
什么是过拟合，如何避免？
参考技术A过拟合：训练集上表现很好，但是在测试集上表现很差，泛化性能差。降低过拟合的方法：（1）试着寻找最简单的假设（2）正则化（3）earlystopping说明：在每一个epoch结束的时候，计算验证集的accurancy，记录到目前为... 查看详情
深度学习避免过拟合方法整理
...经元；一般来说，增加隐藏层数使模型先达到过拟合再droupout的效果会比减少隐藏层数避免过拟合好。BN:用于卷积层有待完善…… 查看详情
机器学习欠拟合和过拟合
欠拟合和过拟合1.定义2.原因以及解决办法3.正则化3.1什么是正则化3.2正则化类别4.小结1.定义过拟合：一个假设在训练数据上能够获得比其他假设更好的拟合，但是在测试数据集上却不能很好地拟合数据，此时认为这... 查看详情
正则化——解决过拟合问题
...性回归得到的曲线可能如下图这种情况下，曲线对数据的拟合程度不好。这种情况称为“Underfit”，这种情况属于“Highbias”（高偏差）。如果[h_ hetaleft(xight)= heta_0+ heta_1x+ heta_2x^2 查看详情
机器学习过程中欠拟合和过拟合的诊断及解决方法
1.Diagnosingbiasvs.variance2.Regularizationandbias/variance 3.Learningcurves 4.Decidingwhattotrynext 查看详情