关键词：

训练误差和泛化误差

1. 训练误差（training error）：模型在训练数据集上计算得到的误差
2. 泛化误差（generalization error）：模型应用在同样从原始样本的分布中抽取的无限多数据样本时，模型误差的期望

验证数据集和测试数据集

1. 验证数据集：选择模型超参数，一个用来评估模型好坏的数据集
   1. 例如拿出50%的训练数据
   2. 不要跟训练数据混在一起（常犯错误)
2. 测试数据集：只用一次的数据集。
3. 训练数据集：训练模型参数

K折交叉验证

在没有足够多数据时使用（非大数据集上通常使用）（这是常态）

算法:

1. 将训练数据分割成K块
2. For  i = 1,...,K
   1. 使用第i块作为验证数据集，其余的作为训练数据集
3. 报告K个验证集误差的平均

常用：K=5 或 10
这里，原始训练数据被分成K个不重叠的子集。 然后执行K次模型训练和验证，每次在K−1个子集上进行训练，并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。 最后，通过对K次实验的结果取平均来估计训练和验证误差。 

过拟合和欠拟合

模型容量

1. 拟合各种函数的能力
2. 低容量的模型难以拟合训练数据
3. 高容量的模型可以记住所有的训练数据

模型容量的影响

估计模型容量

1. 难以在不同的种类算法之间比较

   1. 例如树模型和神经网络

2. 给定一个模型种类，将有两个主要因素

   1. 参数的个数

   2. 参数值的选择范围

VC维

1. 统计学习理论的一个核心思想
2. 对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号，都存在一个模型来对它进行完美分类

线性分类器的VC维

1. 2维输入的感知机，VC维=3
   1. 能够分类任何三个点，但不是4个(xor)
2. 支持N维输入的感知机的VC维是N＋1
3. 一些多层感知机的VC维O（N logN）

VC 维的用处

1. 提供为什么一个模型好的理论依据
   1. 它可以衡量训练误差和泛化误差之间的间隔
2. 但深度学习中很少使用
   1. 衡量不是很准确
   2. 计算深度学习模型的VC维很困难

 数据复杂度

1. 多个重要因素
   1. 样本个数
   2. 每个样本的元素个数
   3. 时间、空间结构
   4. 多样性

总结

1. 模型容量需要匹配数据复杂度，否则可能导致欠拟合和过拟合
2. 统计机器学习提供数学工具来衡量模型复杂度
3. 实际中一般靠观察训练误差和验证误差

代码实现：

使用以下三阶多项式来生成训练和测试数据的标签：

import math
import numpy as np
import torch
from torch import nn
from d2l import torch as d2l

max_degree = 20  # 多项式的最大阶数
n_train, n_test = 100, 100  # 训练和测试数据集大小
true_w = np.zeros(max_degree)  # 分配大量的空间
true_w[0:4] = np.array([5, 1.2, -3.4, 5.6])

features = np.random.normal(size=(n_train + n_test, 1)) #numpy.random.normal(loc=0,scale=1e-2,size=shape) ，loc(float)：正态分布的均值，scale(float)：正态分布的标准差，参数size(int 或者整数元组)：输出的值赋在shape里，默认为None。
np.random.shuffle(features) # 对数组进行重新排列
poly_features = np.power(features, np.arange(max_degree).reshape(1, -1)) # power(x, y) 函数，计算x的y次方
for i in range(max_degree):
    poly_features[:, i] /= math.gamma(i + 1)  # gamma(n)=(n-1)!
# labels的维度:(n_train+n_test,)
labels = np.dot(poly_features, true_w)
labels += np.random.normal(scale=0.1, size=labels.shape)

#从生成的数据集中查看一下前2个样本， 第一个值是与偏置相对应的常量特征
# NumPy ndarray转换为tensor
true_w, features, poly_features, labels = [torch.tensor(x, dtype=torch.float32) for x in [true_w, features, poly_features, labels]]
features[:2], poly_features[:2, :], labels[:2]

# 实现一个函数评估给定数据集上的损失
def evaluate_loss(net, data_iter, loss): 
    metric = d2l.Accumulator(2)  # 损失的总和,样本数量
    for X, y in data_iter:
        out = net(X)
        y = y.reshape(out.shape)
        l = loss(out, y)
        metric.add(l.sum(), l.numel())
    return metric[0] / metric[1]

# 定义训练函数
def train(train_features, test_features, train_labels, test_labels, num_epochs=400):
    loss = nn.MSELoss(reduction='none')
    input_shape = train_features.shape[-1]
    # 不设置偏置，因为我们已经在多项式中实现了它
    net = nn.Sequential(nn.Linear(input_shape, 1, bias=False))
    batch_size = min(10, train_labels.shape[0])
    train_iter = d2l.load_array((train_features, train_labels.reshape(-1,1)), batch_size)
    test_iter = d2l.load_array((test_features, test_labels.reshape(-1,1)), batch_size, is_train=False)
    trainer = torch.optim.SGD(net.parameters(), lr=0.01)
    animator = d2l.Animator(xlabel='epoch', ylabel='loss', yscale='log',
                            xlim=[1, num_epochs], ylim=[1e-3, 1e2],
                            legend=['train', 'test'])
    for epoch in range(num_epochs):
        d2l.train_epoch_ch3(net, train_iter, loss, trainer)
        if epoch == 0 or (epoch + 1) % 20 == 0:
            animator.add(epoch + 1, (evaluate_loss(net, train_iter, loss),
                                     evaluate_loss(net, test_iter, loss)))
    print('weight:', net[0].weight.data.numpy())

# 三阶多项式函数拟合(正常)
# 从多项式特征中选择前4个维度，即1,x,x^2/2!,x^3/3!
train(poly_features[:n_train, :4], poly_features[n_train:, :4], labels[:n_train], labels[n_train:])
# 结果表明，该模型能有效降低训练损失和测试损失。 学习到的模型参数也接近真实值。

#  线性函数拟合(欠拟合)
# 从多项式特征中选择前2个维度，即1和x
train(poly_features[:n_train, :2], poly_features[n_train:, :2], labels[:n_train], labels[n_train:])
# 线性函数拟合，减少该模型的训练损失相对困难。 在最后一个迭代周期完成后，训练损失仍然很高。

# 高阶多项式函数拟合(过拟合)
# 从多项式特征中选取所有维度
train(poly_features[:n_train, :], poly_features[n_train:, :], labels[:n_train], labels[n_train:], num_epochs=2000)
# 没有足够的数据用于学到高阶系数应该具有接近于零的值。 因此，这个过于复杂的模型会轻易受到训练数据中噪声的影响。 虽然训练损失可以有效地降低，但测试损失仍然很高。 结果表明，复杂模型对数据造成了过拟合。

动手学深度学习3-5others(代码片段)

其他问题1.模型选择、欠拟合和过拟合1.1训练误差和泛化误差1.2模型选择1.2.1验证数据集1.2.2(K)折交叉验证由于验证数据集不参与模型训练，当训练数据不够用时，预留大量的验证数据显得太奢侈。一种改善的方法是(K)折交叉验证... 查看详情

第17章发现过拟合和欠拟合

第17章发现过拟合和欠拟合     我们现在将更深入的研究和讨论在深度学习背景下的过拟合和欠拟合（underfittingandoverfitting）。这里将提供一些图表来将它们匹配到你自己的训练损失/精确度曲线上，这个对于第... 查看详情

机器学习：模型评估和选择

2.1经验误差与拟合精度（accuracy）和错误率（errorrate）：精度=1-错误率训练误差（trainingerror）或经验误差（empiricalerror）泛化误差（generalizationerror） 过拟合（overfitting）和欠拟合（underfitting）过拟合：小明脸上一个伤口，机... 查看详情

如何识别 Python 中的过拟合和欠拟合

...发布时间】：2019-02-0817:39:03【问题描述】：我有一个回归模型。我写了这个算法的代码：将训练数据随机分成10个，分成训练数据和验证数据。从以下集合中选择最佳alpha值：0.1,1,3,10,33,100,333,1000,3333,10000,33333。要选择最佳的a 查看详情

如何降低神经网络模型的过拟合和欠拟合？

1、根据神经网络建立模型的复杂度和数据模型真正复杂度之间的相对大小，其主要存在三种情况：(1)欠拟合:underfitting(2)相对准确(3)过拟合：overfitting图2、一般情况下在不知数据模型复杂度的情况下，很容易出现建立模型过拟合... 查看详情

数学模型的过拟合和欠拟合

...或场景；训练集中的数据噪音（异常值）干扰过大；训练模型的“逻辑假设“到了模型应用时已经不能成立参数太多，模型复杂度太高；特征量太多，模型训练过度，比如决策树模型，神经网络模型1.2解决方法减少特征数量正则... 查看详情

模型评估之过拟合和欠拟合

参考技术A在模型评估与调整的过程中，往往会遇到“过拟合”和欠拟合现象，如何有效地识别“过拟合”和“欠拟合”现象，并有针对性地调整模型，是不断改进机器学习模型的关键。给定一个假设空间F，一个假设f属于F，如... 查看详情

小白学习之pytorch框架-模型选择(k折交叉验证)欠拟合过拟合(权重衰减法(=l2范数正则化)丢弃法)正向传播反向传播

...花书上的内容，图也采用的书上的首先说的是训练误差(模型在训练数据集上表现出的误差)和泛化误差(模型在任意一个测试数据集样本上表现出的误差的期望)模型选择　　验证数据集(validationdataset)，又叫验证集(validationset)，指... 查看详情

opencv学习-深度学习相关概念汇总

过拟合：过拟合和欠拟合的形象解释迁移学习：迁移学习概述监督学习、无监督学习：【机器学习笔记】有监督学习和无监督学习人工智能、机器学习与深度学习的区别：深度学习和机器学习的区别；AI、机器... 查看详情

过拟合和欠拟合

 在机器学习寻找假设的过程中可能会出现过拟合和欠拟合的现象，那什么是过拟合和欠拟合呢？  我们客观上认为，给定一个假设空间H，一个假设a∈H，如果存在其他的假设α∈H，使得在训练样例上a的错误率比α的小... 查看详情

周志华《机器学习初步》模型评估与选择

周志华《机器学习初步》模型评估与选择Datawhale2022年12月组队学习✌文章目录周志华《机器学习初步》模型评估与选择一.泛化能力二.过拟合和欠拟合泛化误差VS经验误差过拟合VS欠拟合三.模型选择的三大问题如何获得测试结果&#... 查看详情

机器学习过拟合和欠拟合怎么判断，如何解决？(面试回答)

过拟合和欠拟合怎么判断，如何解决？（1）判断：训练集误差和验证集误差，从而判断算法达到什么效果训练误差大和验证误差都大，是欠拟合训练误差和验证误差差不多，都较低，是适度拟... 查看详情

搞定《动手学深度学习》-（李牧）pytorch版本的所有内容

...9多层感知机的从零开始实现3.10多层感知机的简洁实现3.11模型选择、欠拟合和过拟合3.12权重衰减3.13丢弃法3.14正向传播、反向传播和计算图3.15数值稳定性和模型初始化3.16实战Kaggle比赛：房价预测4.深度学习计算4.1模型构造4.2... 查看详情

动手学深度学习v2课程笔记—深度学习基础(代码片段)

参考文章与视频：一、深度学习介绍1.AI地图：符号学—>统计—>机器学习2.应用：广告点击的案例广告排名的三个步骤：（这个和听过的一个讲座一样：社会计算+广告学）触发广告每个广告的点... 查看详情

语言模型languagemodels动手学深度学习v2

1.语言模型languagemodels猴子随机打出来莎士比亚的作品，时间大概要多久呢？–宇宙爆炸都打不出来。2.代码实现3.Q&Asequencesample(token是word)，一般32位效果会比较好。要考虑模型的复杂度，和产品综合考虑。参考h... 查看详情

ng机器学习视频笔记——过拟合与正则化

ng机器学习视频笔记（五）——过拟合与正则化 （转载请附上本文链接——linhxx） 一、过拟合和欠拟合1、概念        当针对样本集和特征值，进行预测的时候，推导θ、梯度下降等，都在一... 查看详情

网络中的网络nin动手学深度学习v2pytorch(代码片段)

...多内存占用很大的计算带宽收敛很快，但是会导致过拟合2.代码实现3.Q&Anvidia-smi是nvidia的系统管理界面，其中smi是Systemmanagem 查看详情

机器学习笔记：过拟合

1过拟合介绍如果模型设计的太复杂，可能会过拟合下图的1~5分别代表最高项为1~5次幂的线性回归问题： 当模型太复杂的时候，虽然训练集上我们得到较小的误差，但是在测试集上，误差就奇大无比       ... 查看详情