正文 

当前位置： 首页 > java > java教程

r语言进行机器学习方法及实例

author author     2022-09-25     389

关键词：

机器学习一般步骤

  • 收集数据，将数据转化为适合分析的电子数据
  • 探索和准备数据，机器学习中许多时间花费在数据探索中，它要学习更多的数据信息，识别它们的微小差异
  • 基于数据训练模型，根据你要学习什么的设想，选择你要使用的一种或多种算法
  • 评价模型的性能，需要依据一定的检验标准
  • 改进模型的性能，有时候需要利用更高级的方法，有时候需要更换模型

机器学习算法

有监督学习算法

用于分类：k近邻，朴素贝叶斯，决策树，规则学习，神经网络，支持向量机
用于数值预测：线性回归，回归树，模型树，神经网络，支持向量机

无监督学习算法

用于模式识别（数据之间联系的紧密性）：关联规则
用于聚类：k均值聚类

R语言机器学习算法实现

kNN(k-Nearest Neighbors,k近邻)

  • 原理：计算距离，找到测试数据的k个近邻，根据k个近邻的分类预测测试数据的分类
  • 应用k近邻需要将各个特征转换为一个标准的范围（归一化处理），可以应用min-max标准化（所有值落在0~1范围，新数据=（原数据-最小值）/（最大值-最小值）），也可以应用z-score 标准化（新数据=（原数据-均值）/标准差）。
  • 对于名义变量（表示类别），可以进行哑变量编码，其中1表示一个类别，0表示其它类别，对于n个类别的名义变量，可以用n-1个特征进行哑变量编码，比如（高，中，低），可以用高、中两类的哑变量表示这三类（高：1是，0 其它，中：1是，0，其它）
  • 优点：简单且有效，对数据分布没有要求，训练阶段很快；
  • 缺点：不产生模型，在发现特征之间的关系上的能力有限，分类阶段很慢，需要大量的内存，名义变量和缺失数据需要额外处理
  • R代码：
    使用class包的knn函数，对于测试数据中的每一个实例，该函数使用欧氏距离标识k个近邻，然后选出k个近邻中大多数所属的那个类，如果票数相等，测试实例会被随机分配。
    ?? dt_pred <- knn(train = dt_train,test = dt_test,class = dt_train_labels,k = 3) #train：一个包含数值型训练数据的数据库；test:一个包含数值型测试数据的数据框；class训练数据每一行分类的一个因子变量；k:标识最近邻数据的一个整数（通常取实例数的平方根)； 该函数返回一个向量，该向量含有测试数据框中每一行的预测分类
    ??尽管kNN是并没有进行任何学习的简单算法，但是却能处理及其复杂的任务，比如识别肿瘤细胞的肿块。
  • 对R自带iris数据用kNN进行训练、预测并与实际结果对比
llibrary(class)
library(gmodels)

#prepare data
set.seed(12345) #set random seed in order to repeat the result
iris_rand <- iris[order(runif(150)),]
iris_z <- as.data.frame(scale(iris_rand[,-5])) #z score normalize
train <- iris_z[1:105,]
test <- iris_z[106:150,]
train.label <- iris_rand[1:105,5]
test.label <- iris_rand[106:150,5]

#kNN
pred <- knn(train,test,train.label,k=10)

#comfusion matrix 
CrossTable(pred,test.label,prop.r = F,prop.t = F,prop.chisq = F)

技术分享
??这个结果显示kNN对测试数据全部预测正确

朴素贝叶斯分类

  • 原理：基于朴素贝叶斯定理，根据先验概率计算预测实例的属于不同类别的总似然，再将某类别的似然除以不同类别似然的和得到预测实例在某类别的概率
  • 应用朴素贝叶斯算法每个特征必须是分类变量，对于数值型变量，可以将数值型特征离散化（分段），可以根据直方图查看数据明显的分隔点，如果没有明显的分隔点，可以使用三分位数，四分位数，五分位数，分段太少会把重要信息丢失
  • 拉普拉斯估计：对于某些从来没有出现的概率为0的，会影响概率的估计，拉普拉斯估计本质上是在概率表的每个计数加上一个较小的数，这样保证每一类中每个特征发生的概率是非零的。
  • 优点：简单、快速、有效；能处理噪声数据和缺失数据；需要用来训练的例子相对较少，但同样能处理好大量的例子；很容易获得一个预测的估计概率值；
  • 缺点：依赖于一个常用的错误假设，即一样的重要性和独立特征；应用在大量数值特征的数据集时并不理想；概率的估计值相对于预测的类而言更加不可靠。
  • R代码：
    使用维也纳理工大学统计系开发的e1071添加包中的naiveBayes
    ??m <- naiveBayes(train,class,laplace=0) #train：数据框或者包含训练数据的矩阵，class：包含训练数据每一行的分类的一个因子向量，laplace：控制拉普拉斯估计的一个数值，可以进行调节看是否会提高模型性能；该函数返回一个朴素贝叶斯模型对象，该对象能够用于预测
    ?? p <- predict(m,test,type="class") #m:由函数naiveBays( )训练的一个模型 ，test：数据框或者包含测试数据的矩阵，包含与用来建立分类器的训练数据的相同特征；type:值为"class"或者"raw"，标识预测向量最可能的类别值或者原始预测的概率值
library(e1071)
library(gmodels)

set.seed(12345) #set random seed in order to repeat the result
iris_rand <- iris[order(runif(150)),]
train <- iris_rand[1:105,-5]
test <- iris_rand[106:150,-5]
train.label <- iris_rand[1:105,5]
test.label <- iris_rand[106:150,5]

#tranform numerical variable to classified variable
conver_counts <- function(x){
  q <- quantile(x)
  sect1 <- which(q[1] <= x & x<= q[2])
  sect2 <- which(q[2 ]< x & x <= q[3])
  sect3 <- which(q[3]< x & x <= q[4])
  sect4 <- which(q[4]< x & x <= q[5])
  x[sect1] <- 1
  x[sect2] <- 2
  x[sect3] <- 3
  x[sect4] <- 4
  return(x)
}
train <- apply(train,2,conver_counts)

#naiveBayes
m <- naiveBayes(train,train.label,laplace=1)
pred <- predict(m,test,type="class") 

#comfusion matrix 
CrossTable(pred,test.label,prop.r = F,prop.t = F,prop.chisq = F)

技术分享

可见对第一类（setosa）分类上预测错误率很高，这可能反映了朴素贝叶斯算法的缺点，对于处理大量数值特征数据集时并不理想

决策树

  • 原理：以树形结构建立模型。使用一种称为递归划分的探索法。这种方法通常称为分而治之，因为它利用特征的值将数据分解为具有相似类的较小的子集。从代表整个数据集的数据结点开始，该算法选择最能预测目标类的特征，然后，这些案例将被划分到这一特征的不同值的组中，这一决定形成了第一组树枝。该算法继续分而治之其他结点，每次选择最佳的候选特征，直到达到停止的标准。如果一个节点停止，它可能具有下列情况：节点上所有（几乎所有）的案例都属于同一类，没有剩余的特征来分辩案例之间的区别，决策树已经达到了预先定义的大小限制。
  • C5.0算法，时最知名的决策树算法之一，单线程版本的源代码是公开的，R中有编写好的该程序。C5.0算法已经成为生成决策树的行业标准，因为它适用于大多数类型的问题，并且可以直接使用。与其它先进的机器学习模型（神经网络和支持向量机）相比，一般表现的几乎一样，并且更容易理解和部署
  • 选择最佳的分割，需要确立分割的标准，有信息增益，基尼系数，卡方统计量，和增益比，C5.0算法使用信息增益
  • 修剪决策树：如果决策树增长过大，将会使决策过于具体，模型将会过度拟合训练数据，解决这个问题的一种方法是一旦达到一定数量的决策，或者决策节点仅含有少量的案例，我们就停止树的增长，这叫做提前停止法，或者预剪枝决策树法。分为预剪枝（提前规定树的大小）和后剪枝（一旦树生长的过大，就根据节点处的错误率使用修剪准则将决策树减少到更合适的大小，通常比预剪枝更有效）。
  • 自适应增强算法：进行许多次尝试，在决策树中是建立许多决策树，然后这些决策树通过投票表决的方法为每个案例选择最佳的分类。
  • 优点：一个适用于大多数问题的通用分类器；高度自动化的学习过程，可以处理数值型数据、名义特征以及缺失数据；只使用最重要的特征；可以用于只有相对较少训练案例的数据或者有相当多训练案例的数据；没有数学背景也可解释一个模型的结果（对于比较小的树）；比其他复杂的模型更有效
  • 缺点：决策树模型在根据具有大量水平的特征进行划分时往往是有偏的；很容易过度拟合或者不能充分拟合模型；因为依赖于轴平行分割，所以在对一些关系建立模型时会有困难；训练数据中的小变化可能导致决策逻辑的较大的变化；大的决策树可能难以理解，给出的决策可能看起来违反直觉。
  • R代码：
    使用R包C50的函数C5.0
    ??m <- C5.0(train,class,trials=1,costs=NULL) #train:一个包含训练数据的数据框；class：包含训练数据每一行的分类的一个因子；trials：为一个可选数值，用于控制自适应增强循环的次数（默认值为1），一般用10，因为研究标明，这能降低关于测试数据大约25%的概率；costs：为一个可选矩阵，用于给出与各种类型错误相对应的成本，和混淆矩阵稍微不同，行用来表示预测值，列用来表示实际值）；函数返回一个C5.0模型对象，该对象能够用于预测
    ??p <- predict(m,test,type="class") #m：有函数C5.0()训练的一个模型；test：一个包含训练数据的数据框，该数据框和用来创建分类其的数据框有同样的特征；type：取值为"class"或者"prob",表识预测是最可能的类别值或者是原始的预测概率；该函数返回一个向量，根据参数type的取值，该向量含有预测的类别值或者原始预测的概率值
library(C50)
library(gmodels)

set.seed(12345) #set random seed in order to repeat the result
iris_rand <- iris[order(runif(150)),]
train <- iris_rand[1:105,-5]
test <- iris_rand[106:150,-5]
train.label <- iris_rand[1:105,5]
test.label <- iris_rand[106:150,5]

#C50
m <- C5.0(train,train.label,trials = 10)
pred <- predict(m,test,type="class") 

#comfusion matrix 
CrossTable(pred,test.label,prop.r = F,prop.t = F,prop.chisq = F)

技术分享

规则学习分类

  • 原理：规则学习算法使用了一种称为独立而治之的探索法。这个过程包括确定训练数据中覆盖一个案例子集的规则，然后再从剩余的数据中分离出该分区。随着规则的增加，更多的数据子集会被分离，直到整个数据集都被覆盖，不再有案例残留，独立而治之和决策树的分而治之区别很小，决策树的每个决策节点会受到过去决策历史的影响，而规则学习不存在这样的沿袭。随着规则的增加，更多的数据子集会被分离，知道整个数据集都被覆盖，不再有案例被保留
单规则（1R）算法
  • ZeroR，一个规则学习算法，从字面上看没有规则学习，对于一个未标记的案例，不用考虑它的特征值就会把它预测为最常见的类
  • 单规则算法（1R或OneR）在ZeroR的基础上添加一个规则。像K近邻一样虽然简单，但是往往表现的比你预期的要好。
  • 优点：可以生成一个单一的、易于理解的、人类可读的经验法则（大拇指法则）；表现往往出奇的好；可以作为更复杂算法的一个基准；
  • 缺点：只使用了一个单一的特征；可能会过于简单
  • R代码：
    使用R包RWeka中OneR()函数来实现1R算法
    ??m <- OneR(class ~ predictors,data = mydata) #class：是mydata数据框中需要预测的那一列；predictors：为一个公式，用来指定mydata数据框中用来进行预测的特征；data：为包含一个class和predictors所要求的数据的数据框；该函数返回一个1R模型对象，该对象能够用于预测
    ??p <- predict(m,test) #m:由函数OneR()训练的一个模型；test：一个包含测试数据的数据框，该数据框和用来创建分类器的训练数据有着相同的特征；该函数返回一个含有预测的类别的向量
library(RWeka)
library(gmodels)

set.seed(12345) #set random seed in order to repeat the result
iris_rand <- iris[order(runif(150)),]
train <- iris_rand[1:105,]
test <- iris_rand[106:150,-5]
test.label <- iris_rand[106:150,5]

m <- OneR(Species ~ .,data=train)
pred <- predict(m,test)
CrossTable(pred,test.label,prop.r = F,prop.t = F,prop.chisq = F)

查看生成的规则，按照Petal的宽度，分成三类，正确分类了105个里面的101个
技术分享
对于测试数据的混合矩阵如下
技术分享
可见只使用了一个规则也能，也做到了不错的效果

RIPPER算法

??对于复杂的任务，只考虑单个规则可能过于简单，考虑多个因素的更复杂的规则学习算法可能会有用，但也可能因此会变得更加难以理解。早期的规则学习算法速度慢，并且对于噪声数据往往不准确，后来出现增量减少误差修剪算法（IREP），使用了生成复杂规则的预剪枝和后剪枝方法的组合，并在案例从全部数据集分离之前进行修剪。虽然这提高了性能，但是还是决策树表现的更好。直到1995年出现了重复增量修剪算法（RIPPER），它对IREP算法进行改进后再生成规则，它的性能与决策树相当，甚至超过决策树。

  • 原理：可以笼统的理解为一个三步过程：生长，修剪，优化。生长过程利用独立而治之技术，对规则贪婪地添加条件，直到该规则能完全划分出一个数据子集或者没有属性用于分割。与决策树类似，信息增益准则可用于确定下一个分割的属性，当增加一个特指的规则而熵值不再减少时，该规则需要立即修剪。重复第一步和第二步，直到达到一个停止准则，然后，使用各种探索法对整套的规则进行优化。
  • 优点：生成易于理解的、人类可读的规则；对大数据集和噪声数据有效；通常比决策树产生的模型更简单
  • 缺点：可能会导致违反常理或这专家知识的规则；处理数值型数据可能不太理想；性能有可能不如复杂的模型
  • R代码：
    使用R包RWeka中JRip()函数，是基于Java实现的RIPPER规则学习算法
    ??m<JRip(class ~ predictors,data = my data) #class：是mydata数据框中需要预测的那一列；predictors：为一个R公式，用来指定mydata数据框中用来进行预测的特征；data：为包含class和predictors所要求的数据的数据框；该函数返回一个RIPPER模型对象，该对象能够用于预测。
    ??p <- predict(m , test) #m：由函数JRip()训练的一个模型；test：一个包含测试数据的数据框，该数据框和用来创建分类器的训练数据有同样的特征；该函数返回一个含有预测的类别值的向量。
library(RWeka)
library(gmodels)

set.seed(12345) #set random seed in order to repeat the result
iris_rand <- iris[order(runif(150)),]
train <- iris_rand[1:105,]
test <- iris_rand[106:150,-5]
test.label <- iris_rand[106:150,5]

m <- JRip(Species ~ .,data=train)
pred <- predict(m,test)
CrossTable(pred,test.label,prop.r = F,prop.t = F,prop.chisq = F)

技术分享
这次使用了三个规则，(Petal.Width >= 1.8为virginica ，Petal.Length >= 3为versicolor，其它为setosa
技术分享
可见虽然增加了规则但是并没有提高模型的性能

预测数值型数据

线性回归

??回归主要关注一个唯一的因变量（需要预测的值）和一个或多个数值型自变量之间的关系。

  • 如果只有一个自变量，称为一元线性回归或者简单线性回归，否则，称为多元回归。
  • 原理：对线性参数的估计使用最小二乘估计
  • 广义线性回归：它们对线性模型进行了两方面的推广：通过设定一个连接函数，将响应变量的期望与线性变量相联系，以及对误差的分布给出一个误差函数。这些推广允许许多线性的方法能够被用于一般的问题。比如逻辑回归可以用来对二元分类的结果建模；而泊松回归可以对整型的计数数据进行建模。
  • 优点：迄今为止，它是数值型数据建模最常用的方法；可适用于几乎所有的数据；提供了特征（变量）之间关系的强度和大小的估计
  • 缺点：对数据作出了很强的假设；该模型的形式必须由使用者事先指定；不能很好地处理缺失数据；只能处理数值特征，所以分类数据需要额外的处理；需要一些统计学知识来理解模型。
  • LASSO回归算法：LASSO回归的特点是在拟合广义线性模型的同时进行变量筛选（只选择对因变量有显著影响的自变量）和复杂度调整（通过参数控制模型复杂度，避免过度拟合）。它通过惩罚最大似然来拟合广义线性模型，正则化路径是通过正则化参数lambda的值的网格上计算lasso或者弹性网络惩戒，lambda越大对变量较多的线性模型的惩罚力度就越大，从而最终获得一个变量较少的模型。
  • R代码：
    使用R包glmnet中glmnet()函数拟合LASSO回归模型
    ??glmnet(x, y, family=c("gaussian","binomial","poisson","multinomial","cox","mgaussian"),
    ????weights, offset=NULL, alpha = 1, nlambda = 100,
    ???? lambda.min.ratio = ifelse(nobs<nvars,0.01,0.0001), lambda=NULL,
    ???? standardize = TRUE, intercept=TRUE, thresh = 1e-07, dfmax = nvars + 1,
    ???? pmax = min(dfmax * 2+20, nvars), exclude, penalty.factor = rep(1, nvars),
    ????lower.limits=-Inf, upper.limits=Inf, maxit=100000,
    ????type.gaussian=ifelse(nvars<500,"covariance","naive"),
    ???? type.logistic=c("Newton","modified.Newton"),
    ???? standardize.response=FALSE, type.multinomial=c("ungrouped","grouped"))

??x: 输入矩阵，每列表示变量（特征），每行表示一个观察向量，也支持输入稀疏矩阵（Matrix中的稀疏矩阵类）；
??y: 反应变量，对于gaussian或者poisson分布族，是相应的量；对于binomial分布族，要求是两水平的因子，或者两列的矩阵，第一列是计数或者是比例，第二列是靶向分类；对于因子来说，最后的水平是按照字母表排序的分类；对于multinomial分布族，能有超过两水平的因子。无论binomial或者是multinomial，如果y是向量的话，会强制转化为因子。对于cox分布族，y要求是两列，分别是time和status，后者是二进制变两，1表示死亡，0表示截尾，survival包带的Surv()函数可以产生这样的矩阵。对于mgaussian分布族，y是量化的反应变量的矩阵；
??family: 反应类型，参数family规定了回归模型的类型:family="gaussian"适用于一维连续因变量(univariate)family="mgaussian"，适用于多维连续因变量(multivariate)，family="poisson"适用于非负次数因变量(count),family="binomial"适用于二元离散因变量(binary)，family="multinomial"适用于多元离散因变量(category)
??weights: 权重，观察的权重。如果反应变量是比例矩阵的话，权重是总计数；默认每个观察权重都是1；
??offset: 包含在线性预测中的和观察向量同样长度的向量，在poisson分布族中使用(比如log后的暴露时间)，或者是对于已经拟合的模型的重新定义(将旧模型的因变量作为向量放入offset中)。默认是NULL，如果提供了值，该值也必须提供给predict函数；
??alpha: 弹性网络混合参数，0 <= a <=1，惩罚定义为(1-α)/2||β||_2^2+α||β||_1.其中alpha等于1是lasso惩罚，alpha等于0是ridge（岭回归）的惩罚；
??nlambda:lambda值个数；拟合出n个系数不同的模型
??lambda.min.ratio：lambda的最小值，lambda.max的比例形式，比如全部系数都是0的时候的最小值。默认值依赖于观察的个数和特征的个数，如果观察个数大于特征个数，默认值是0.0001，接近0，如果观察个数小于特征个数，默认值是0.01。在观察值个数小于特征个数的情况下，非常小的lambda.min.ratio会导致过拟合，在binominal和multinomial分布族性，这个值未定义，如果解释变异百分比总是1的话程序会自动退出；
??lambda：用户提供的lambda序列。一个典型的用法基于nlambada和lambda.min.ratio来计算自身lambda序列。如果提供lambda序列，提供的lambda序列会覆盖这个。需谨慎使用，不要提供单个值给lambda（对于CV步骤后的预测，应使用predict()函数替代）。glmnet依赖于缓慢开始，并且它用于拟合全路径比计算单个拟合更快；
??standardize：对于x变量是否标准化的逻辑标志，倾向于拟合模型序列。 系数总是在原有规模返回，默认standardize=TRUE。如果变量已经是同一单位，你可能并不能得到想要的标准化结果。
??intercept：是否拟合截距，默认TRUE，或者设置为0（FALSE）
??thresh：坐标下降的收敛域值，每个内部坐标下降一直进行循环，直到系数更新后的最大改变值比thresh值乘以默认变异要小，默认thresh为1E-7；
??dfmax：在模型中的最大变量数，对于大量的变量数的模型但我们只需要部分变量时可以起到作用；
??pmax：限制非零变量的最大数目；
??exclude：要从模型中排除的变量的索引，等同于一个无限的惩罚因子；
??penalty.factor：惩罚因子，分开的惩罚因子能够应用到每一个系数。这是一个数字，乘以lambda来允许不同的收缩。对于一些变量来说可以是0，意味着无收缩，默认对全部变量是1，对于列在exlude里面的变量是无限大。注意：惩罚因子是内部对nvars（n个变量）的和进行重新调整，并且lambda序列将会影响这个改变；
??lower.limits：对于每个系数的更低限制的向量，默认是无穷小。向量的每个值须非正值。也可以以单个值呈现（将会重复）,或者是（nvars长度）；
??upper.limit：对于每个系数的更高限制的向量，默认是无穷大；
??maxit：所有lambda值的数据最大传递数；
??type.gaussian：支持高斯分布族的两种算法类型，默认nvar < 500使用"covariance“，并且保留所有内部计算的结果。这种方式比"naive"快，"naive"通过对nobs（n个观察）进行循环，每次内部计算一个结果，对于nvar >> nobs或者nvar > 500的情况下，后者往往更高效；
??type.logistic：如果是"Newton“，会使用准确的hessian矩阵（默认），当用的是"modified.Newton“时，只使用hession矩阵的上界，会更快；
??standardize.response：这个参数时对于"mgaussian“分布族来说的，允许用户标准化应答变量；
??type.multinomial：如果是"grouped"，在多项式系数的变量使用分布lasso惩罚，这样能确保它们完全在一起，默认是"ungrouped"。

glmnet返回S3类，"glmnet","*"，"*"可以是elnet，lognet，multnet，fishnet(poisson)，merlnet
??call：产生这个对象的调用;
??a0:截距；
??beta:对于elnet, lognet, fishnet和coxnet模型，返回稀疏矩阵格式的系数矩阵(CsparseMatrix)，对于multnet和mgaussian模型，返回列表，包括每一类的矩阵；
??lambda:使用的lambda值的实际序列；当alpha=0时，最大的lambda值并不单单等于0系数（原则上labda等于无穷大），相反使用alpha=0.01的lambda，由此导出lambda值；
??dev.ratio：表示由模型解释的变异的百分比（对于elnet，使用R-sqare）。如果存在权重，变异计算会加入权重，变异定义为2x(loglike_sat-loglike)，loglike_sat是饱和模型（每个观察值具有自由参数的模型）的log似然。因此dev.ratio=1-dev/nulldev；越接近1说明模型的表现越好
??nulldev：NULL变异（每个观察值），这个定义为2*（loglike_sat-loglike(Null)）；NULL模型是指截距模型，除了Cox（0 模型）；
??df：对于每个lambda的非零系数的数量。对于multnet这是对于一些类的变量数目；
??dfmat：仅适用于multnet和mrelnet。一个包括每一类的非零向量数目的矩阵；
??dim：系数矩阵的维度；
??nobs：观察的数量；
??npasses：全部lambda值加和的数据的总的通量；
??offset：逻辑变量，显示模型中是否包含偏移；
??jerr：错误标记，用来警告和报错（很大部分用于内部调试验）
??而直接显示的结果有三列，分别是df，%Dev (就是dev.ratio)，lambda是每个模型对应的λ值

predict(object,newx,s=NULL,type=c("link","reponse","coefficients","nonzero","class"),exact=FALSE,offset,...)
??coef(object,s=NULL,exact=FALSE)
??object：glmnet返回的对象；
??newx：用来预测的矩阵，也可以是系数矩阵；这个参数不能用于type=c(""coefficents","nonzero")；
??s：惩罚参数lambda的值，默认是用来创建模型的全部lambda值；
??type：预测值的类型；"link”类型给"binomial"，“multinomial","poisson"或者"cov"模型线性预测的值，对于"gaussian”模型给拟合值。"response"类型，对于"binominal“和"multinomial”给拟合的概率，对于"poisson“，给拟合的均值，对于"cox"，给拟合的相对未及；对于"gaussion",response等同于"link“类型。"coefficients"类型对于需求的s值计算系数。注意，对于"binomial”模型来说，结果仅仅对因子应答的第二个水平的类返回。“class"类型仅仅应用于"binomial”和"multinomial“模型，返回最大可能性的分类标签。"nonzero”类型对每个s中的值返回一个列表，其中包含非0参数的索引；
??exact：这个参数仅仅对于用于预测的s（lambda）值不同于原始模型的拟合的值时，这个参数起到作用。如果exact=FALSE(默认)，预测函数使用线性解释来对给的s（lambda）值进行预测。这时一个非常接近的结果，只是稍微有点粗糙。如果exact=TRUE,这些不同的s值和拟合对象的lambda值进行sorted和merged，在作出预测之前进行模型的重新拟合。在这种情况下，强烈建议提供原始的数据x=和y=作为额外的命名参数给perdict()或者coef()，predict.glmnet()需要升级模型，并且期望用于创建接近它的数据。尽管不提供这些额外的参数它也会运行的很好，在调用函数中使用嵌套序列很可能会中断。
??offset：如果使用offset参数来拟合，必须提供一个offset参数来作预测。除了类型"coefficients"或者"nonzero“（本文转载自 ywliao）










































































r语言︱机器学习模型评价指标+（转）模型出错的四大原因及如何纠错

 R语言︱机器学习模型评价指标+（转）模型出错的四大原因及如何纠错 笔者寄语：机器学习中交叉验证的方式是主要的模型评价方法，交叉验证中用到了哪些指标呢？交叉验证将数据分为训练数据集、测试数据集，然后... 查看详情

机器学习-k-means聚类及算法实现（基于r语言）

...的变量是数值变量，方便计算距离。 算法实现 R语言实现 k-means算法是将数值转换为距离，然后测量距离远近进行聚类的。不归一化的会使得距离非常远。补充：scale归一化处理的意义两个变量之间数值差别太大，比... 查看详情

r语言基于机器学习算法进行特征筛选（featureselection）

R语言基于机器学习算法进行特征筛选（FeatureSelection）对一个学习任务来说，给定属性集，有些属性很有用，另一些则可能没什么用。这里的属性即称为“特征”(feature)。对当前学习任务有用的属性称为“相关特征”(relevantfeature... 查看详情

r语言基于boruta进行机器学习特征筛选（featureselection）

R语言基于Boruta进行机器学习特征筛选（FeatureSelection）对一个学习任务来说，给定属性集，有些属性很有用，另一些则可能没什么用。这里的属性即称为“特征”(feature)。对当前学习任务有用的属性称为“相关特征”(relevantfeature... 查看详情

主成分分析（pca）原理及r语言实现

...库主成分分析（PrincipalComponentAnalysis）原理主成分分析及R语言案例-文库主成分分析法的原理应用及计算步骤-文库主成分分析之R篇【机器学习算法实现】主成分分析(PCA)——基于python+numpyscikit-learn中PCA的使用方法Python主成... 查看详情

r语言机器学习篇——随机森林

参考书籍：陈强.机器学习及R应用.北京:高等教育出版社,2020随机森林属于集成学习的方法，也称为组台学习，本章介绍随机森林与它的特例方法，装袋法，并分别以例子的形式讨论回归问题与分类问题的随机... 查看详情

r语言使用caret包中的createresample函数进行机器学习数据集采样数据集有放回的采样（bootstrapping）

R语言使用caret包中的createResample函数进行机器学习数据集采样、数据集有放回的采样（bootstrapping）目录 查看详情

人工智能机器学习之用python使用id3算法实例及使用sklearn的决策树算法对葡萄酒数据集进行分类

查看详情

机器学习--线性回归r语言(代码片段)

回归分析就是利用样本，产生拟合方程，从而进行预测。简而言之，就是你用你手头上的数据进行模型的训练，然后用你得到的模型对于新数据进行预测。一元线性回归：例子：y<-c(61,57,58,40,90,35,68)#weight... 查看详情

机器学习与r语言——基本语法

一、注释1、选中要注释的内容，快捷键Ctrl+Shift+C(取消注释方法相同)2、在需注释内容前输入#1#需注释的内容3、利用if语句，将判断条件设置为false则可跳过if语句中的内容，相当于实现了内容的注释1if(false)2{3x=54y<-105}二、工作... 查看详情

机器学习中的贝叶斯方法---先验概率似然函数后验概率的理解及如何使用贝叶斯进行模型预测

...先验概率、似然函数、后验概率的理解及如何使用贝叶斯进行模型预测（1）文章中介绍了先验分布和似然函数，接下来，将重点介绍后验概率，以及先验概率、似然函数、后验概率三者之间的关系---贝叶斯公式。 在这篇文... 查看详情

r语言使用caret包中的createdatapartition函数进行机器学习数据集划分划分训练集和测试集并指定训练测试比例

R语言使用caret包中的createDataPartition函数进行机器学习数据集划分、划分训练集和测试集并指定训练测试比例目录 查看详情

r语言自定义变成进行决策曲线分析dca曲线绘制（decisioncurveanalysis）(代码片段)

R语言自定义变成进行决策曲线分析DCA曲线绘制（DecisionCurveAnalysis）我们可能使用别的语言获得了机器学习模型以及对应的预测概率和标签，我们想直接使用这些信息进行DCA曲线的绘制，可是R包中默认提供的方案都是打包的方法... 查看详情

机器学习的技术栈及应用实例脑洞

之前写了一篇入门级的学习列表:简单粗暴地入门机器学习好多小伙伴觉得不太过瘾，今天补充一些脑洞！本文结构：机器学习技术栈职位项目实例1.机器学习技术栈去知乎上可以搜到很多推荐的学习路线，问题就是太多了，我就... 查看详情

r使用交叉验证（crossvalidation）进行机器学习模型性能评估

R使用交叉验证（crossvalidation）进行机器学习模型性能评估目录R使用交叉验证（crossvalidation）进行机器学习模型性能评估 查看详情

r语言使用caret包中的createmultifolds函数对机器学习数据集进行交叉验证抽样返回的样本列表长度为k×times个times为组内抽样次数

R语言使用caret包中的createMultiFolds函数对机器学习数据集进行交叉验证抽样、返回的样本列表长度为k×times个、times为组内抽样次数目录 查看详情

chatterbot（聊天机器人）库安装及实例测试(代码片段)

...课程前两部分简单介绍了AI的历史、机器人三定律、自然语言处理和AI的流行趋势。第三部分介绍AIcalculator的建立过程，需要chatterbot模块。（python版本：3.8.864-bit）常规pip安装方法p 查看详情

r语言使用dalex包的explain函数生成指定分类预测机器学习模型的解释器predict_parts函数基于shap方法分析对于指定的某一条样本（实例观察）每个变量对于预测结果的贡献大小

R语言使用DALEX包的explain函数生成指定分类预测机器学习模型的解释器、predict_parts函数基于shap方法分析对于指定的某一条样本（实例、观察）、每个变量对于预测结果的贡献以及哪些变量（因子）的贡献更大目录 查看详情