多项式回归的正态性检验

     2023-03-12     79

关键词:

【中文标题】多项式回归的正态性检验【英文标题】:Normality test for polynomial regression 【发布时间】:2017-10-29 21:36:04 【问题描述】:

在 R 中,我对下面的数据库使用多项式回归。它表明 R2 良好,系数和模型的显着性水平均小于 0.05。但是当使用shapiro.test 测试残差时,p 值为 0.01088,这意味着残差不符合正态分布。所以我想知道多项式回归是否有效。多项式回归的残差必须满足正态性假设吗?

下面附上用于回归的代码和数据。

alloy<-data.frame(
  x=c(37.0, 37.5, 38.0, 38.5, 39.0, 39.5, 40.0,
      40.5, 41.0, 41.5, 42.0, 42.5, 43.0),
  y=c(3.40, 3.00, 3.00, 3.27, 2.10, 1.83, 1.53,
      1.70, 1.80, 1.90, 2.35, 2.54, 2.90))

lm.sol=lm(y~x+I(x^2),data=alloy)
summary(lm.sol)

y.res=lm.sol$residuals
shapiro.test(y.res)

【问题讨论】:

【参考方案1】:

嗯...这个问题可能属于 stat.exchange,因为它与编程无关。不过,这是我对您的数据的简要介绍。

R2 和shapiro.test 解决了数据和模型拟合的不同特征,因此您可以认为一个是“好”* 而另一个不是(对于“好”和“不”的足够模糊的定义)。

如果您将数据和拟合绘制在同一张图中,那么您会看到二次回归模型很好地捕捉到了总体趋势。

plot(y ~ x, data=alloy)
lines(alloy$x, predict(lm.sol))

模型做得很好。您还可以看到残差的 qq 图表明方差同质性可能存在问题(请参阅最后一个残差)。

qqnorm(resid(lm.sol))

换句话说,残差不一定遵循高斯分布,但可以捕获数据的整体趋势。

这有帮助吗?

【讨论】:

很好的答案!这意味着虽然有时 shapiro.test 对残差的 p 值小于 0.05,但如果该模型的 R2 较高并且满足 t.test 和 F.test 的分别是系数和模型? 另外,在原始模型中,点4的残差最大。所以我删除了这一点,然后建立相同的多项式回归。基于新结果,表明R2增加到0.9402,模型满足t.test和F.test。更重要的是,残差的 shapiro.test 的 p 值也大于 0.05。根据您的建议,我应该在未来的研究中使用哪种模型(原始模型 VS 新模型)? 首先回答您的最后一个问题:如果没有充分的理由,我不会随意删除积分。如果模型不能很好地拟合,那么这是模型的问题 - 而不是数据。换句话说 - 我宁愿在原始数据上使用第一个模型而不是另一个模型。我怀疑拟合曲线会有很大不同。 即使 R2 较低,模型也可以是一个很好的模型(甚至是一个正确的模型) - 请参阅 great post。如果模型提供了对过程的合理抽象,则它可以是“好的”或“相关的”——这完全取决于您要使用该模型的目的。但这个问题确实属于 stats.exchange

R中多组数据的正态性检验

】R中多组数据的正态性检验【英文标题】:Normalitytestformulti-groupeddatainR【发布时间】:2021-07-1011:07:03【问题描述】:我正在尝试对我在R中的数据进行正态性测试。我的数据集是由4列字符和1列具有数值的数据框。目前,我在R中... 查看详情

Kolmogorov-Smirnov 测试 MATLAB 中的正态性 - 数据归一化?

...布时间】:2017-11-0709:32:15【问题描述】:在执行广义线性回归之前,我在MATLAB中使用Kolmogorov-Smirnov检验来确定数据矩阵的每一列的正态性。一个示例数据向量是:data=[8126,3 查看详情

数据的正态性检验

参考技术A对于我们得到的一组数据,我们日常生活中遇到最多的,应用范围最广的就是正态分布。如果要确定数据是否为正态分布,就要进行正态性检验。检验数据分布常用的检验方法有χ²检验,偏度-峰度检验以及夏皮罗-... 查看详情

如果计算相对拒绝频率,如何衡量与显着性水平是不是显着不同? (R中的正态性检验)

...绝频率,如何衡量与显着性水平是不是显着不同?(R中的正态性检验)【英文标题】:Ifcomputedtherelativerejectionfrequency,howtomeasureifsignificantlydifferentfromsignificancelevels?(NormalitytestsinR)如果计算相对拒绝频率,如何衡量与显着性水平是... 查看详情

r语言之正态性检验

数据的正态性是很多统计方法的基础,因此正态性检验也是必不可少的,下面介绍使用R进行正态性检验的几种方法1.Shaprio-Wilk检验用于比较样本数据与正态分布是否存在显著不同,使用Shapiro.test()函数实现,格式为Shapiro.test(data)... 查看详情

r语言使用wilcox.test函数进行两组数据的wilcoxon符号秩检验wilcox.test函数添加paired参数则为wilcoxonsignedrank,当t检验需要的正态性条件不满足

R语言使用wilcox.test函数进行两组数据的Wilcoxon符号秩检验、(Wilcoxonsignedrank)、wilcox.test函数添加paired=TRUE参数则为Wilcoxonsignedrank,当t检验需要的正态性条件不满足的时候目录 查看详情

r多变量正态性检验(multivariatenormalitytests)

R多变量正态性检验(MultivariateNormalityTests)目录R多变量正态性检验(MultivariateNormalityTests)Mardia’s检验能量energy检验 查看详情

正态性检验(代码片段)

...‘【课程1.6】正太性检验利用观测数据判断总体是否服从正态分布的检验称为正态性检验,它是统计判决中重要的一种特殊的拟合优度假设检验。直方图初判/QQ图判断/K-S检验‘‘‘importnumpyasnpimportpandasaspdimportmatplotlib.pyplotasplt%ma... 查看详情

参数检验与非参数检验

...。二:正态性检验K-S检验:适合于大样本数据(大于50)的正态性检验S-W检验:适合于小样本数据( 查看详情

什么是假设检验(hypothesistest)?什么是正态性检验(normalitytest)?

什么是假设检验(hypothesistest)?什么是正态性检验(normalitytest)?目录什么是假设检验(hypothes 查看详情

python数据统计分析

...时序分析,还包含数据集,做图工具等等。2.小样本数据的正态性检验(1)用途 夏皮罗维尔克检验法(Shapiro-Wilk)用于检验参数提供的一组小样本数据线是否符合正态分布,统计量越大则表示数据越符合正态分布,但是在非正态... 查看详情

使用 R 计算数据集中每个组的正态性

】使用R计算数据集中每个组的正态性【英文标题】:CalculatenormalityofeachgroupinadatasetusingR【发布时间】:2016-09-1409:20:00【问题描述】:我有一个包含大约7个条目的数据集。假设它有5列:Cust_Id(around340uniqueIds),Expense_Type,Expense($),Incom... 查看详情

测试具有许多站点的数据集中的正态性[关闭]

】测试具有许多站点的数据集中的正态性[关闭]【英文标题】:TestingforNormalityindatasetwithmanysites[closed]【发布时间】:2013-07-0911:33:22【问题描述】:我是R的新手,我正在尝试用它来评估来自大约1900个单独站点的水质数据的正常性... 查看详情

在回归分析中,f检验和t检验各有啥作用?

...常态性,可以用t检验、巴特勒特检验等取代。扩展资料回归分析是对具有因果关系的影响因素(自变量)和预测对象(因变量)所进行的数理统计分析处理。只有当自变量与因变量确实存在某种关系时,建立的回归方程才有意... 查看详情

在回归分析中,f检验和t检验各有啥作用

...低时。以上内容参考:百度百科-F检验参考技术A一元线性回归里t检验和f检验等价,但在多元线性回归里,t检验可以检验各个回归系数显著性,f检验用来检验总体回归关系的显著性。t检验常能用作检验回归方程中各个参数的显... 查看详情

python实现anderson-darling正态分布检验(代码片段)

python实现Anderson-Darling正态分布检验 正态性检验确定您绘制样本所基于的总体是否呈非正态分布的单样本假设检验。许多统计过程均依赖于总体正态性,且使用正态性检验确定否定此假设是不是分析中的重要步骤。正态性检... 查看详情

数据特征分析:4.正态分布与正态性体验(代码片段)

  1.正态分布 期望值u(均值)决定位置,标准差决定它的分布幅度,可以验证分布曲线的高矮胖瘦,越胖代表它的离中趋势越明显,越高代表它集中的值越高。  2.正太性检验利用观测数据判断总体是否服从正... 查看详情

数据的正态分布验证和方差齐性检验

...假设方法要求数据是符合正态分布的和方差齐性。1.数据的正态分布验证:夏皮罗-威尔克(Shapiro-Wilk)检验法,适用于3<样本数<5000时的正态性检验。>data2[1]10720141412102317201413>a=shapiro.test(data2)>aShapiro 查看详情