关键词：
实现功能：
python实现Lasso回归分析（特征筛选、建模预测）
输入结构化数据，含有特征以及相应的标签，采用Lasso回归对特征进行分析筛选，并对数据进行建模预测。
实现代码：
import numpy as np
import warnings
warnings.filterwarnings(action='ignore')
import pandas as pd
import matplotlib.pyplot as plt
from sklearn import metrics
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import Lasso,LassoCV
import seaborn as sns
#=================================读取数据============================
class Solution():
def __init__(self):
feature = ['男', '女', '年龄', 'CCP-正常', 'CCP-异常', 'MCV-正常', 'MCV-异常',
'AKA-正常', 'AKA-异常','RF-正常', 'RF-异常', 'ANA-正常', 'ANA-异常',
'ds-DNA-正常', 'ds-DNA-异常','CRP-正常', 'CRP-异常', 'ESR-正常', 'ESR-异常',
'尿蛋白-正常', '尿蛋白-异常', '尿潜血-正常', '尿潜血-异常','尿红细胞-正常',
'尿红细胞-异常', 'WBC-正常', 'WBC-异常', 'Hb-正常', 'Hb-异常', 'PLT-正常',
'PLT-异常', 'ALT-正常', 'ALT-异常', 'AST-正常', 'AST-异常', 'r-GT-正常',
'r-GT-异常', 'TBIL-正常', 'TBIL-异常', 'ALB-正常','ALB-异常', 'GLB-正常',
'GLB-异常', 'A/O-正常', 'A/O-异常', 'Cr-正常', 'Cr-异常', 'BUN-正常',
'BUN-异常', 'UA-正常', 'UA-异常', 'C3-正常', 'C3-异常', 'C4-正常', 'C4-异常',
'IgA-正常', 'IgA-异常', 'IgG-正常','IgG-异常', 'IgE-正常', 'IgE-异常',
'晨僵正常', '晨僵异常', '发热正常', '发热异常', '雷诺正常', '雷诺异常',
'口眼干正常', '口眼干异常', '头晕正常', '头晕异常', '四肢正常', '四肢异常',
'胸部CT正常', '胸部CT异常', '肺结节正常', '肺结节异常', '诊断结果']
self.feature=feature
def Data_sort(self,file):
data = pd.read_excel(file)
data = pd.DataFrame(data)
random_state_value = 90 # 随机种子
sample_number = 82 # 欠采样数目
def norm_2(x):
return (x - stats['min']) / (stats['max']-stats['min'])
gy_list=['年龄']
data_gy=data[gy_list]
stats = data_gy.describe()
stats = stats.transpose()
data[gy_list]=norm_2(data_gy)
data1 = data[self.feature]
data1 = data1.dropna() # 删除含缺失值的行
data1=data1[~data1['诊断结果'].isin([2])]
print(len(data1))
dataset=data1
train_dataset = dataset.sample(frac=0.7, random_state=random_state_value)
test_dataset = dataset.drop(train_dataset.index)
print(len(test_dataset))
train_dataset[train_dataset['诊断结果'].isin([1])]=\\
train_dataset[train_dataset['诊断结果'].isin([1])].iloc[:sample_number]
train_NRA=train_dataset[train_dataset['诊断结果'].isin([0])]
train_RA=train_dataset[train_dataset['诊断结果'].isin([1])]
train_dataset=train_NRA.append(train_RA)
train_dataset=train_dataset.sample(frac=1,random_state=0)
print(len(train_dataset))
train_labels =train_dataset.pop('诊断结果')
test_labels =test_dataset.pop('诊断结果')
return train_dataset,train_labels,test_dataset,test_labels
#=======================Lasso变量筛===============
def optimal_lambda_value(self):
Lambdas = np.logspace(-5, 2, 200) #10的-5到10的2次方
# 构造空列表，用于存储模型的偏回归系数
lasso_cofficients = []
for Lambda in Lambdas:
lasso = Lasso(alpha = Lambda, normalize=True, max_iter=10000)
lasso.fit(train_dataset, train_labels)
lasso_cofficients.append(lasso.coef_)
# 绘制Lambda与回归系数的关系
plt.plot(Lambdas, lasso_cofficients)
# 对x轴作对数变换
plt.xscale('log')
# 设置折线图x轴和y轴标签
plt.xlabel('Lambda')
plt.ylabel('Cofficients')
# 显示图形
plt.show()
# LASSO回归模型的交叉验证
lasso_cv = LassoCV(alphas = Lambdas, normalize=True, cv = 10, max_iter=10000)
lasso_cv.fit(train_dataset, train_labels)
# 输出最佳的lambda值
lasso_best_alpha = lasso_cv.alpha_
print(lasso_best_alpha)
return lasso_best_alpha
# 基于最佳的lambda值建模
def model(self,train_dataset, train_labels,lasso_best_alpha):
lasso = Lasso(alpha = lasso_best_alpha, normalize=True, max_iter=10000)
lasso.fit(train_dataset, train_labels)
return lasso
def feature_importance(self,lasso):
# 返回LASSO回归的系数
dic='特征':train_dataset.columns,'系数':lasso.coef_
df=pd.DataFrame(dic)
df1=df[df['系数']!=0]
print(df1)
coef = pd.Series(lasso.coef_, index=train_dataset.columns)
imp_coef = pd.concat([coef.sort_values().head(10), coef.sort_values().tail(10)])
sns.set(font_scale=1.2)
# plt.rc('font', family='Times New Roman')
plt.rc('font', family='simsun')
imp_coef.plot(kind="barh")
plt.title("Lasso回归模型")
plt.show()
return df1
def prediction(self,lasso):
# lasso_predict = lasso.predict(test_dataset)
lasso_predict = np.round(lasso.predict(test_dataset))
print(sum(lasso_predict==test_labels))
print(metrics.classification_report(test_labels,lasso_predict))
print(metrics.confusion_matrix(test_labels, lasso_predict))
RMSE = np.sqrt(mean_squared_error(test_labels,lasso_predict))
print(RMSE)
return RMSE
if __name__=="__main__":
Object1=Solution()
train_dataset, train_labels, test_dataset, test_labels=\\
Object1.Data_sort('F:\\医学大数据课题\\RA预测\\RA预测\\特征.xlsx')
lasso_best_alpha=Object1.optimal_lambda_value()
lasso=Object1.model(train_dataset, train_labels,lasso_best_alpha)
feature_choose=Object1.feature_importance(lasso)
RMSE=Object1.prediction(lasso)
实现效果：
# 绘制Lambda与回归系数的关系
# 基于最佳的lambda值建模进行特征分析
# 基于最佳的lambda值建模进行预测分析
喜欢记得点赞，在看，收藏，加关注（Ｖ订阅号：数据杂坛），将持续更新！
用python实现岭回归算法与lasso回归算法并处理iris数据集(代码片段)
在介绍岭回归算法与Lasso回归算法之前，先要回顾一下线性回归算法。根据线性回归模型的参数估计公式可知可知，得到的前提是矩阵可逆。换句话说就是样本各个特征（自变量）之间线性无关。然而在实际问题中，常常会出现... 查看详情
岭回归与lasso回归
...响不大的特征，具体哪些特征需要丢弃可以通过PCA算法来实现；(2)：使用正则化技术，保留所有特征，但是减少特征前面的参数θ的大小，具体就是修改线性回归中的损失函数形式即可，岭回归以及Lasso回归就是这么做的。岭回... 查看详情
逻辑回归的特征筛选方法(代码片段)
数据特征如下使用逻辑回归的稳定性选择importpandasaspdimportnumpyasnpimportpyechartsimportxlrd#withopen(r‘F:数据分析专用数据分析与机器学习ankloan.xls‘,‘rb‘)asf:file=r‘F:数据分析专用数据分析与机器学习ankloan.xls‘data=pd.read_excel(file... 查看详情
机器学习岭回归和lasso回归详解以及相关计算实例-加利福尼亚的房价数据集红酒数据集(代码片段)
一,岭回归和LASSO回归1.1多重共线性处理多重共线性最直接的方法是手动移除共线性的变量：即先对数据进行相关分析，若两个特征的相关系数大于某特定值（一般为0.7），则手动移除其中一个特征，再继续做回归分析。这种做法... 查看详情
如果特征已经缩放，则 Lasso 和 Ridge 回归中需要“normalize=True”参数？ [关闭]
...?[closed]【发布时间】：2019-01-2502:41:25【问题描述】：借助Python中的StandardScaler()，我的数据已经标准化。在应 查看详情
数学建模：1.监督学习--回归分析模型(代码片段)
...回归分析和非线性回归分析。 2.线性回归的python实现 线性回归的python实现方法 线性回归通常是人们在学习预测模型时首选的技术之一。在这种技 查看详情
基于r语言实现lasso回归分析
主要步骤：将数据存成csv格式，逗号分隔在R中，读取数据，然后将数据转成矩阵形式加载lars包，先安装调用lars函数确定Cp值最小的步数确定筛选出的变量，并计算回归系数具体代码如下：需要注意的... 查看详情
r语言基于lasso进行特征筛选（featureselection）
R语言基于LASSO进行特征筛选（featureselection） 对一个学习任务来说，给定属性集，有些属性很有用，另一些则可能没什么用。这里的属性即称为“特征”(feature)。对当前学习任务有用的属性称为“相关特征”(relevantfeature)、没... 查看详情
数学建模与数据分析||1.数学建模简介
...察视角和解决问题的策略才是关键4.1数学建模的特点4.2以python（jupyternotebook工作界面）为例的工具准备1.数学建模比赛的理解数学建模从字面意思上是指根据具体的任务需求和问题,利用数学基础建立合适的数学模型,以匹... 查看详情
在二元分类中使用 Lasso 回归寻找最优特征
】在二元分类中使用Lasso回归寻找最优特征【英文标题】：FindingoptimalfeatureusingLassoregressioninbinaryclassification【发布时间】：2016-03-1806:06:57【问题描述】：我正在处理大数据，我想找到重要的特征。由于我是生物学家，所以请原谅... 查看详情
吴裕雄数据挖掘与分析案例实战——岭回归与lasso回归模型
#导入第三方模块importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportmodel_selectionfromsklearn.linear_modelimportRidge,RidgeCV#读取糖尿病数据集diabetes=pd.read_excel(r‘F:\python_Data_analysis 查看详情
OneHotEncoding 丢失了 Lasso 回归的列标识
】OneHotEncoding丢失了Lasso回归的列标识【英文标题】：OneHotEncodinglosingcolumnidentityforLassoRegression【发布时间】：2021-03-1121:29:27【问题描述】：我有一个干净的住房数据集，其中包含大约75个总特征和1个目标变量。为了使用lasso回归... 查看详情
r语言lasso回归变量怎么筛选
你可以用EXCEL中的“自动筛选”功能。选中数据第一行，按工具栏中的“数据－筛选－自动筛选”，就会在数据第一行出现下拉框，点中它，从下拉框中选“自定义”，会出现一个对话框，在这个对话框的左边框中选“包含”，... 查看详情
笔记︱范数正则化l0l1l2-岭回归&lasso回归（稀疏与特征工程）
笔记︱范数正则化L0、L1、L2-岭回归&Lasso回归（稀疏与特征工程）一、正则化背景 监督机器学习问题无非就是“minimizeyourerrorwhileregularizingyourparameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我... 查看详情
机器学习-正则化（岭回归lasso）和前向逐步回归(代码片段)
...复杂，前向逐步回归可以得到和lasso差不多的效果，但是实现起来更加容易---当然来自于《机器学习实战》正则化先解释一下这个词吧，毕竟这个词，每次听都感觉很玄妙的样子，但是也说不清到底哪里玄妙了。在数学，统计学... 查看详情
风控建模流程
...4.特征选择：计算IV值，特征选择。5.模型开发：常用逻辑回归模型进行拟合。6.模型评估：模型常见的评估指标有AUC,ROC,KS,Gani-chat,Lift-chat，特征稳定性的评估指标psi。7.生成评分卡。流程示意图如下所示： 不同... 查看详情
r语言回归模型构建回归模型基本假设（正态性线性独立性方差齐性）回归模型诊断car包诊断回归模型特殊观察样本分析数据变换模型比较特征筛选交叉验证预测变量相对重要度
R语言回归模型构建、回归模型基本假设（正态性、线性、独立性、方差齐性）、回归模型诊断、car包诊断回归模型、特殊观察样本分析、数据变换、模型比较、特征筛选、交叉验证、预测变量相对重要度目录 查看详情
python可视化lassocv特征筛选之后的特征的相关性分析热力图
python可视化lassocv特征筛选之后的特征的相关性分析热力图目录python可视化lassocv特征筛选之后的特征的相关性分析热力图#lassocv模型 查看详情