正文

机器学习实战　logistic回归(代码片段)

w-j-c  w-j-c  2023-03-09  806

关键词：

logistic回归

梯度上升法

import numpy as np 

"""
function:
    加载数据
parameter:
    无
returns:
    dataMat - 数据集
    labelMat - 标签集
"""
def loadDataSet():
    dataMat = []#数据集
    labelMat = []#标签集
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat 

"""
function:
    计算sigmoid函数
parameters:
    inX - 变量
return:
    ans - 结果
"""
def sigmoid(inX):
    ans = 1.0 / (1+np.exp(-inX))
    return ans

"""
function:
    梯度上升
parameters:
    dataMatIn - 数据集
    classLabels - 标签集
return:
    weights - 最优参数
"""
def gradAscent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)
    labelMat = np.mat(classLabels).transpose()#矩阵转置
    m,n = np.shape(dataMatrix)
    alpha = 0.001#步长
    maxCycles = 500#迭代次数
    weights = np.ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)#100*3矩阵和100*1矩阵*乘，而不是dot乘
        error = labelMat - h#这里labelMat广播了
        weights = weights + alpha * dataMatrix.transpose() * error 
    return weights 

if __name__ == "__main__":
    dataArr, labelMat = loadDataSet()
    w = gradAscent(dataArr,labelMat)
    print(w)

做图

import numpy as np
import matplotlib.pyplot as plt

"""
function:
    加载数据
parameter:
    无
returns:
    dataMat - 数据集
    labelMat - 标签集
"""
def loadDataSet():
    dataMat = []#数据集
    labelMat = []#标签集
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat 

"""
function:
    计算sigmoid函数
parameters:
    inX - 变量
return:
    ans - 结果
"""
def sigmoid(inX):
    ans = 1.0 / (1+np.exp(-inX))
    return ans

"""
function:
    梯度上升
parameters:
    dataMatIn - 数据集
    classLabels - 标签集
return:
    weights - 最优参数
"""
def gradAscent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)
    labelMat = np.mat(classLabels).transpose()#矩阵转置
    m,n = np.shape(dataMatrix)
    alpha = 0.001#步长
    maxCycles = 500#迭代次数
    weights = np.ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)#100*3矩阵和100*1矩阵*乘，而不是dot乘
        error = labelMat - h#这里labelMat广播了
        weights = weights + alpha * dataMatrix.transpose() * error 
    return weights 

"""
function:
    做图
parameters:
    dataMat - 数据集
    weights - 系数
return:
    无
"""
def plotBestFit(dataMat,weights):
    dataMatrix = np.array(dataMat)
    x1 = dataMatrix[0:,1]
    y1 = dataMatrix[0:,2]
    plt.scatter(x1,y1,s=25,marker='o')
    plt.xlim([-4,4])
    plt.ylim([-5,20])
    x2 = np.arange(-3.0, 3.0, 0.1)
    y2 = (-weights[0]-weights[1]*x2)/weights[2]
    y2 = y2.T
    plt.plot(x2,y2)
    plt.show()

if __name__ == "__main__":
    dataMat, labelMat = loadDataSet()
    weights = gradAscent(dataMat,labelMat)
    plotBestFit(dataMat,weights)

随机梯度上升

import numpy as np
import matplotlib.pyplot as plt

"""
function:
    加载数据
parameter:
    无
returns:
    dataMat - 数据集
    labelMat - 标签集
"""
def loadDataSet():
    dataMat = []#数据集
    labelMat = []#标签集
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat 

"""
function:
    计算sigmoid函数
parameters:
    inX - 变量
return:
    ans - 结果
"""
def sigmoid(inX):
    ans = 1.0 / (1+np.exp(-inX))
    return ans

"""
function:
    梯度上升
parameters:
    dataMatIn - 数据集
    classLabels - 标签集
return:
    weights - 最优参数
"""
def gradAscent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)
    labelMat = np.mat(classLabels).transpose()#矩阵转置
    m,n = np.shape(dataMatrix)
    alpha = 0.001#步长
    maxCycles = 500#迭代次数
    weights = np.ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)#100*3矩阵和100*1矩阵*乘，而不是dot乘
        error = labelMat - h#这里labelMat广播了
        weights = weights + alpha * dataMatrix.transpose() * error 
    return weights 

"""
function:
    做图
parameters:
    dataMat - 数据集
    weights - 系数
return:
    无
"""
def plotBestFit(dataMat,weights):
    dataMatrix = np.array(dataMat)
    x1 = dataMatrix[0:,1]
    y1 = dataMatrix[0:,2]
    plt.scatter(x1,y1,s=25,marker='o')
    plt.xlim([-4,4])
    plt.ylim([-5,20])
    x2 = np.arange(-3.0, 3.0, 0.1)
    y2 = (-weights[0]-weights[1]*x2)/weights[2]
    y2 = y2.T
    plt.plot(x2,y2)
    plt.show()

"""
function:
    随机梯度上升
parameters:
    dataMatrix - 数据集
    classLabels - 标签集
return:
    weights - 参数
"""
def stocGradAscent0(dataMatrix, classLabels):
    m, n = np.shape(dataMatrix)
    alpha = 0.01
    weights = np.ones(n)
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights + alpha * error * dataMatrix[i]
    return weights 

if __name__ == "__main__":
    dataArr, labelMat = loadDataSet()
    weights = stocGradAscent0(np.array(dataArr),labelMat)
    plotBestFit(dataArr,weights)

随机梯度上升改进

import numpy as np
import matplotlib.pyplot as plt

"""
function:
    加载数据
parameter:
    无
returns:
    dataMat - 数据集
    labelMat - 标签集
"""
def loadDataSet():
    dataMat = []#数据集
    labelMat = []#标签集
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat, labelMat 

"""
function:
    计算sigmoid函数
parameters:
    inX - 变量
return:
    ans - 结果
"""
def sigmoid(inX):
    ans = 1.0 / (1+np.exp(-inX))
    return ans

"""
function:
    梯度上升
parameters:
    dataMatIn - 数据集
    classLabels - 标签集
return:
    weights - 最优参数
"""
def gradAscent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)
    labelMat = np.mat(classLabels).transpose()#矩阵转置
    m,n = np.shape(dataMatrix)
    alpha = 0.001#步长
    maxCycles = 500#迭代次数
    weights = np.ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix * weights)#100*3矩阵和100*1矩阵*乘，而不是dot乘
        error = labelMat - h#这里labelMat广播了
        weights = weights + alpha * dataMatrix.transpose() * error 
    return weights 

"""
function:
    做图
parameters:
    dataMat - 数据集
    weights - 系数
return:
    无
"""
def plotBestFit(dataMat,weights):
    dataMatrix = np.array(dataMat)
    x1 = dataMatrix[0:,1]
    y1 = dataMatrix[0:,2]
    plt.scatter(x1,y1,s=25,marker='o')
    plt.xlim([-4,4])
    plt.ylim([-5,20])
    x2 = np.arange(-3.0, 3.0, 0.1)
    y2 = (-weights[0]-weights[1]*x2)/weights[2]
    y2 = y2.T
    plt.plot(x2,y2)
    plt.show()

"""
function:
    随机梯度上升
parameters:
    dataMatrix - 数据集
    classLabels - 标签集
return:
    weights - 参数
"""
def stocGradAscent0(dataMatrix, classLabels):
    m, n = np.shape(dataMatrix)
    alpha = 0.01
    weights = np.ones(n)
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights))
        error = classLabels[i] - h
        weights = weights + alpha * error * dataMatrix[i]
    return weights 

"""
function:
    随机梯度上升改进
parameters:
    dataMatrix - 数据集
    classLabels - 标签集
    numIter - 迭代次数
return:
    weights - 参数
"""
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m,n = np.shape(dataMatrix)
    weights = np.ones(n)
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4 / (1.0+j+i)+0.01
            randIndex = int(np.random.uniform(0,len(dataIndex)))
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights 

if __name__ == "__main__":
    dataArr, labelMat = loadDataSet()
    weights = stocGradAscent1(np.array(dataArr),labelMat)
    plotBestFit(dataArr,weights)

从疝气病预测病马的死亡率

import numpy as np 

"""
function:
    计算sigmoid函数
parameters:
    inX - 变量
return:
    ans - 结果
"""
def sigmoid(inX):
    ans = 1.0 / (1+np.exp(-inX))
    return ans

"""
function:
    随机梯度上升改进
parameters:
    dataMatrix - 数据集
    classLabels - 标签集
    numIter - 迭代次数
return:
    weights - 参数
"""
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
    m,n = np.shape(dataMatrix)
    weights = np.ones(n)
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4 / (1.0+j+i)+0.01
            randIndex = int(np.random.uniform(0,len(dataIndex)))
            h = sigmoid(sum(dataMatrix[randIndex]*weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights 

"""
function:
    分类器
parameters:
    inX - 待分类向量
    weights - 参数
returns:
    分类结果
"""
def classifyVector(inX, weights):
    prob = sigmoid(sum(inX*weights))
    if prob > 0.5:
        return 1.0
    else: 
        return 0.0

"""
function:
    整个计算流程
parameters:
    无
returns:
    erroRate - 错误率
"""
def colicTest():
    frTrain = open('horseColicTraining.txt')
    frTest = open('horseColicTest.txt')
    trainingSet = []
    trainingLabels = []
    for line in frTrain.readlines():
        currLine = line.strip().split('	')
        lineArr = []
        for i in range(21):
            lineArr.append(float(currLine[i]))
        trainingSet.append(lineArr)
        trainingLabels.append(float(currLine[21]))
    trainWeights = stocGradAscent1(np.array(trainingSet),trainingLabels,500)
    errorCount = 0
    numTestVec = 0.0
    for line in frTest.readlines():
        numTestVec += 1.0
        currLine = line.strip().split('	')
        lineArr = []
        for i in range(21):
            lineArr.append(float(currLine[i]))
        if (int(classifyVector(np.array(lineArr), trainWeights)) != 
                int(currLine[21])):
            errorCount += 1
    errorRate = (float(errorCount) / numTestVec)
    print("the error rate of this test is: %f" % errorRate)
    return errorRate 

def multiTest():
    numTests = 10
    errorSum = 0.0
    for k in range(numTests):
        errorSum += colicTest()
    print("after %d itrations the average error rate is: %f" % (numTests,errorSum/float(numTests)))

if __name__ == "__main__":
    multiTest()

《机器学习实战》学习笔记：logistic回归(代码片段)

欢迎关注WX公众号：【程序员管小亮】【机器学习】《机器学习实战》读书笔记及代码总目录https://blog.csdn.net/TeFuirnever/article/details/99701256GitHub代码地址：https://github.com/TeFuirnever/Machine-Learning-in-Action——————————... 查看详情

机器学习实战　logistic回归(代码片段)

logistic回归梯度上升法importnumpyasnp"""function:加载数据parameter:无returns:dataMat-数据集labelMat-标签集"""defloadDataSet():dataMat=[]#数据集labelMat=[]#标签集fr=open('testSet.txt')forlineinfr.readlines():lineArr=line.strip().split()dat... 查看详情

机器学习实战笔记logistic回归

参考链接http://blog.csdn.net/lu597203933/article/details/38468303Logistic代码#Logistic回归分类使用梯度上升找最佳参数importnumpyasnpdefloadDataSet():datMat=[];labelMat=[]fr=open(‘testSet.txt‘)forlineinfr.readlines():lineAr 查看详情

《机器学习实战》logistic回归算法

=====================================================================《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记也包含一些其他python实现的机器学习算法查看详情

机器学习实战第5章logistic回归

第5章Logistic回归Logistic回归概述Logistic回归虽然名字叫回归，但是它是用来做分类的。其主要思想是:根据现有数据对分类边界线建立回归公式，以此进行分类。须知概念Sigmoid函数回归概念假设现在有一些数据点，我们用一条直线... 查看详情

[机器学习实战]logistic回归

1.Logistic回归：　　1）优点：计算代价不高，易于理解和实现；　　2）缺点：容易欠拟合，分类精度可能不高；　　3）适用数据类型：数值型和标称型数据； 2.分类思想：　　根据现有数据对分类边界线建立回归公式，以此... 查看详情

机器学习实战精读--------logistic回归

Logistic回归的主要目的：寻找一个非线性函数sigmod最佳的拟合参数拟合、插值和逼近是数值分析的三大工具回归：对一直公式的位置参数进行估计拟合：把平面上的一些系列点，用一条光滑曲线连接起来logistic主要思想：根据现... 查看详情

机器学习实战------利用logistics回归预测病马死亡率

...战部分一直托更，很不好意思。本文实验数据与代码来自机器学习实战这本书，倾删。一：前期代码准备1.1数据预处理还是一样，设置两个数组，前两个作为特征值，后一个作为标签。当然这是简单的处理，实际开发中特征值都... 查看详情

机器学习--logistic回归(代码片段)

logistic回归很多时候我们需要基于一些样本数据去预测某个事件是否发生，如预测某事件成功与失败，某人当选总统是否成功等。这个时候我们希望得到的结果是bool型的,即trueorfalse我们最先想到的是通过最小二乘法求出线性回归... 查看详情

机器学习logistic分类回归算法（二元分类&多元分类）(代码片段)

...合伙人，全栈领域优质创作者。该文章收录专栏✨—机器学习—✨【机器学习】logistics分类一、线性回归能用于分类吗？二、二元分类2.1假设函数2.1.1案例一2.1.2例子二2.2拟合logistic回归参数θi\\theta_iθi三、查看详情

机器学习实战之logistic回归

...2.logistic回归分类函数一、概述　　分类技术是机器学习和数据挖掘应用中的重要组成部分。在数据科学中，大约70%的问题属于分类问题。解决分类问题的算法也有很多种，比如查看详情

机器学习实战四（logisticregression）

机器学习实战四（LogisticRegression）这一章会初次接触最优化算法，在日常生活中应用很广泛。这里我们会用到基本的梯度上升法，以及改进的随机梯度上升法。Logistic回归优点：计算代价不高，易于理解和实现缺点：容易欠拟合... 查看详情

机器学习--logistics(代码片段)

摘要1.Logistic回归分类2.梯度下降法3.代码实现与解释 Logistic回归逻辑斯特回归（logisticregression）是一种非常经典的分类方法。其用到的分类函数一般为Sigmoid函数，其函数形式为：其图形表示如下：从图中我们可... 查看详情

机器学习之logistic回归算法

1Logistic回归算法的原理1.1需要的数学基础我在看机器学习实战时对其中的代码非常费解，说好的利用偏导数求最值怎么代码中没有体现啊，就一个简单的式子：θ=θ - α Σ[(hθ(x(i))-y(i) )]*xi。经过查找资料才知道，... 查看详情

机器学习-逻辑回归与线性回归(代码片段)

logistic回归与线性回归实际上有很多相同之处，最大的区别就在于他们的因变量不同，其他的基本都差不多，正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalized linear model）。这一家族中的模型形... 查看详情

机器学习100天（十八）：018逻辑回归python实战(代码片段)

机器学习100天，今天讲的是：逻辑回归Python实战。我们打开spyder。首先，导入标准库和数据集。#导入标准库importnumpyasnpimportmatplotlib.pyplotaspltimportpandasaspd#导入数据集dataset=pd.read_csv(\'data.csv\')X=dataset.iloc[:, 查看详情

机器学习100天（十八）：018逻辑回归python实战(代码片段)

机器学习实战运用：速刷牛客5道机器学习题目(代码片段)

目录前言一、AI1 鸢尾花分类_1描述：解答：二、AI2 鸢尾花分类_2描述解答三、 AI3 决策树的生成与训练-信息熵的计算描述解答四、AI4 决策树的生成与训练-信息增益描述解答：选择最优划分算法五、AI5 使用... 查看详情

正文

机器学习实战 logistic回归(代码片段)

logistic回归

梯度上升法

做图

随机梯度上升

随机梯度上升改进

从疝气病预测病马的死亡率

《机器学习实战》学习笔记：logistic回归(代码片段)

机器学习实战 logistic回归(代码片段)

机器学习实战笔记logistic回归

《机器学习实战》logistic回归算法

机器学习实战第5章logistic回归

[机器学习实战]logistic回归

机器学习实战精读--------logistic回归

机器学习实战------利用logistics回归预测病马死亡率

机器学习--logistic回归(代码片段)

机器学习logistic分类回归算法（二元分类&多元分类）(代码片段)

机器学习实战之logistic回归

机器学习实战四（logisticregression）

机器学习--logistics(代码片段)

机器学习之logistic回归算法

机器学习-逻辑回归与线性回归(代码片段)

机器学习100天（十八）：018逻辑回归python实战(代码片段)

机器学习100天（十八）：018逻辑回归python实战(代码片段)

机器学习实战运用：速刷牛客5道机器学习题目(代码片段)

机器学习实战　logistic回归(代码片段)

机器学习实战　logistic回归(代码片段)