关键词：

机器学习：基于支持向量机（SVM）进行人脸识别预测

---

文章目录

• 机器学习：基于支持向量机（SVM）进行人脸识别预测
• 一、实验目的
• 二、实验原理
• 三、实验环境
• 四、实验内容
• 五、实验步骤
• • 1.准备数据
  • 2.业务理解
  • 3.数据理解
  • 4.数据划分为测试集和训练集
  • 5.模型构建
  • 6.参数调整
  • 7.预测测试集的人名编号
  • 8.显示预测结果
  • 9.分析预测结果的准确性
  • 10.完整代码
• 总结

---

一、实验目的

1.理解SVM原理

2.掌握scikit-learn操作SVM的方法

二、实验原理

SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

具体原理：
1.在n维空间中找到一个分类超平面，将空间上的点分类。如下图是线性分类的例子。

2.一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度。SVM就是要最大化这个间隔值。而在虚线上的点便叫做支持向量Supprot Verctor。

3.实际上，我们会经常遇到线性不可分的样例，此时，我们的常用做法是把样例特征映射到高维空间中去(如下图)；

4.线性不可分映射到高维空间，可能会导致维度大小高到可怕(19维乃至无穷维的例子)，导致计算复杂。核函数的价值在于它虽然也是讲特征进行从低维到高维的转换，但核函数绝就绝在它事先在低维上进行计算，而将实质上的分类效果表现在了高维上，也就如上文所说的避免了直接在高维空间中的复杂计算。

5.使用松弛变量处理数据噪音

sklearn中SVM的结构，及各个参数说明如下

sklearn.svm.SVC ：

C：C-SVC的惩罚参数C?默认值是1.0
C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集测试时准确率很高，但泛化能力弱。C值小，对误分类的惩罚减小，允许容错，将他们当成噪声点，泛化能力较强。
kernel ：核函数，默认是rbf，可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’
　　0 – 线性：u’v
　　 1 – 多项式：(gamma*u’v + coef0)^degree
　　2 – RBF函数：exp(-gamma|u-v|^2)
　　3 –sigmoid：tanh(gammau’v + coef0)
degree ：多项式poly函数的维度，默认是3，选择其他核函数时会被忽略。
gamma ： ‘rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’，则会选择1/n_features
coef0 ：核函数的常数项。对于‘poly’和 ‘sigmoid’有用。
probability ：是否采用概率估计？.默认为False
shrinking ：是否采用shrinking heuristic方法，默认为true
tol ：停止训练的误差值大小，默认为1e-3
cache_size ：核函数cache缓存大小，默认为200
class_weight ：类别的权重，字典形式传递。设置第几类的参数C为weightC(C-SVC中的C)
verbose ：允许冗余输出？
max_iter ：最大迭代次数。-1为无限制。
decision_function_shape ：‘ovo’, ‘ovr’ or None, default=None3
random_state ：数据洗牌时的种子值，int值

主要调节的参数有：C、kernel、degree、gamma、coef0。

三、实验环境

Python 3.9

Jupyter

四、实验内容

利用sklearn中的svm支持向量机对fetch_lfw_people数据进行人脸识别，并将预测结果可视化。

五、实验步骤

1.准备数据

1.首先需要的数据有：joblib、lfw_funneled、pairs.txt、pairsDevTest.txt、pairsDevTrain.txt
注意：也可以直接使用fetch_lfw_people这个函数是用来加载lfw人脸识别数据集的函数。

2.其次在其路径中创建一个文件

3.最后在文件里创建一个ipynb文件

SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。

2.业务理解

利用sklearn中的svm支持向量机做人脸识别

该数据集是在互联网上收集的著名人物的JPEG图片的集合，所有详细信息可在官方网站上获得：

http://scikit-learn.org/stable/datasets/labeled_faces.html

http://vis-www.cs.umass.edu/lfw/

每张照片都以一张脸为中心。每个通道的每个像素（RGB中的颜色）由范围为0.0-1.0的浮点编码。

该任务称为面部识别（或识别）：给定面部图片，找到给定训练集（图库）的人的姓名。

3.数据理解

1.在刚才新建的ipynb文件中，编写代码，导入数据

import numpy as np  
import matplotlib.pyplot as plt  
import seaborn as sns;sns.set()  
from matplotlib.font_manager import  FontProperties  
#导入fetch_lfw_people  
from sklearn.datasets import  fetch_lfw_people  
#fetch_lfw_people函数加载人脸识别数据集  
faces = fetch_lfw_people(min_faces_per_person=60)  
#输出人名
print(faces.target_names)  
#输出人脸数据结构
print(faces.images.shape)

说明：
fetch_lfw_people这个函数是用来加载lfw人脸识别数据集的函数，返回data,images,target,target_names.分别是向量化的人脸数据，人脸，人脸对应的人名编号，人名

关于此函数参数的描述：min_faces_per_person：提取的数据集将只保留至少具有min_faces_per_person个不同人的图片

具体数据可参考官方文档：http://scikit-learn.org/stable/modules/generated/sklearn.datasets.fetch_lfw_people.html

2.绘制图形

#使用subplots 画图  
fig,ax = plt.subplots(3,5)  
#在每一行上绘制子图  
for i,axi in enumerate(ax.flat):  
    axi.imshow(faces.images[i],cmap="bone")  
    axi.set(xticks=[],yticks=[],xlabel=faces.target_names[faces.target[i]])  
plt.show()  

注释： 使用subplots会返回两个东西，一个是matplotlib.figure.Figure，也就是fig，另一个是Axes object or array of Axes objects，也就是代码中的ax；把f理解为你的大图，把ax理解为包含很多小图对象的array；所以下面的代码就使用ax[0][0]这种从ax中取出实际要画图的小图对象；画出的图如下所示；

4.数据划分为测试集和训练集

1.划分训练集和测试集

from sklearn.model_selection import  train_test_split  
Xtrain,Xtest,ytrain,ytest=train_test_split(faces.data,faces.target,random_state=42)  
Xtrain  

5.模型构建

1.建立模型，计算人脸数据集上的PCA（特征脸）（处理为标记的）

from sklearn.svm import  SVC  
from sklearn.decomposition import  PCA  
from sklearn.pipeline import make_pipeline  
 
pca = PCA(n_components=150,whiten=True,random_state=42,svd_solver='randomized')  
svc = SVC(kernel='rbf',class_weight='balanced')  
model = make_pipeline(pca,svc)  

说明：PCA主要是通过奇异值分解将数据映射到低纬度的空间（正交去相关）。PCA在数据降维，数据压缩，特征提取有很大贡献。在此，我们利用PCA提取150个主要特征，并将人脸数据全部映射到150维度，通过这150维人脸特征作为训练数据训练基于rbf kernel的SVM，模型差不多有0.85的准确率

6.参数调整

1.param_grid把参数设置成了不同的值，C：权重；gamma：多少的特征点将被使用，因为我们不知道多少特征点最好，选择了不同的组合

#参数调整  
from sklearn.model_selection import GridSearchCV  
param_grid = "svc__C":[1,5,10,50],"svc__gamma":[0.0001,0.0005,0.001,0.005]  
#把所有我们所列参数的组合都放在SVC里面进行计算，最后看出哪一组函数的表现度最好  
grid = GridSearchCV(model,param_grid)  
%time grid.fit(Xtrain,ytrain)  
print(grid.best_params_)  

说明：svc__C为10svc__gamma为0.001表现度最好

7.预测测试集的人名编号

model = grid.best_estimator_  
model 

预测测试集：

yfit = model.predict(Xtest)  
yfit  

说明：结果为预测的人名编号

8.显示预测结果

1.数据可视化，把需要打印的图打印出来,预测的结果和实际结果一致，人名字体颜色为黑色，否则为红色

#显示预测结果  
fig,ax = plt.subplots(4,6)  
for  i,axi in enumerate(ax.flat):  
    axi.imshow(Xtest[i].reshape(62,47),cmap="bone")  
    axi.set(xticks=[],yticks=[])  
    #设置y轴上的标签  
    axi.set_ylabel(faces.target_names[yfit[i]].split()[-1],color="black" if yfit[i]==ytest[i] else "red")  
fig.suptitle("Incorrect Labels in Red",size=14)  
plt.show() 

9.分析预测结果的准确性

使用seaborn.heatmap绘制颜色编码矩阵

解释：seaborn.heatmap()将矩形数据绘制为颜色编码矩阵。

seaborn.heatmap（data，vmin = None，vmax = None，cmap = None，center = None，robust = False，annot = None，fmt =‘。2g’，annot_kws = None，linewidths = 0，linecolor =‘white’，cbar =是的，cbar_kws =无，cbar_ax =无，square = False，xticklabels =‘auto’，yticklabels =‘auto’，mask = None，ax = None，** kwargs ）

重要参数说明：

• data：矩形数据集

• square：布尔值，可选，如果为True，则将Axes方面设置为“相等”，以使每个单元格为方形

• annot：bool或矩形数据集，可选，如果为True，则在每个单元格中写入数据值。如果数组具有相同的形状data，则使用此选项来注释热图而不是原始数据。

• fmt：string，可选，添加注释时要使用的字符串格式代码。

• cbar：布尔值，可选，是否绘制颜色条

• xticklabels，yticklabels：“auto”，bool，list-like或int，optional。如果为True，则绘制数据框的列名称。如果为False，则不绘制列名称。如果是列表，则将这些替代标签绘制为xticklabels。如果是整数，则使用列名称，但仅绘制每个n标签。如果是“自动”，请尝试密集绘制不重叠的标签

#分析预测结果的准确性  
from sklearn.metrics import  confusion_matrix  
#混淆矩阵  
mat = confusion_matrix(ytest,yfit)  
#绘制热图  
sns.heatmap(mat.T,square=True,annot=True,fmt="d",cbar=False,xticklabels=faces.target_names,yticklabels=faces.target_names)  
plt.rcParams["font.family"]="SimHei"  
plt.xlabel("真实值")  
plt.ylabel("预测值")  
plt.show()  

10.完整代码

import numpy as np  
import matplotlib.pyplot as plt  
import seaborn as sns;sns.set()  
from matplotlib.font_manager import  FontProperties  
#导入fetch_lfw_people  
from sklearn.datasets import  fetch_lfw_people  
#fetch_lfw_people函数加载人脸识别数据集  
faces = fetch_lfw_people(min_faces_per_person=60)  
#输出人名
print(faces.target_names)  
#输出人脸数据结构
print(faces.images.shape)


#使用subplots 画图  
fig,ax = plt.subplots(3,5)  
#在每一行上绘制子图  
for i,axi in enumerate(ax.flat):  
    axi.imshow(faces.images[i],cmap="bone")  
    axi.set(xticks=[],yticks=[],xlabel=faces.target_names[faces.target[i]])  
plt.show()


#划分训练集和测试集  
from sklearn.model_selection import  train_test_split  
Xtrain,Xtest,ytrain,ytest=train_test_split(faces.data,faces.target,random_state=42)  
Xtrain  


 #建模  
from sklearn.svm import  SVC  
from sklearn.decomposition import  PCA  
from sklearn.pipeline import make_pipeline  
#计算人脸数据集上的PCA(特征脸)(处理为未标记的)  
pca = PCA(n_components=150,whiten=True,random_state=42,svd_solver='randomized')  
svc = SVC(kernel='rbf',class_weight='balanced')  
model = make_pipeline(pca,svc)   


#参数调整  
from sklearn.model_selection import GridSearchCV  
param_grid = "svc__C":[1,5,10,50],"svc__gamma":[0.0001,0.0005,0.001,0.005]  
#把所有我们所列参数的组合都放在SVC里面进行计算，最后看出哪一组函数的表现度最好  
grid = GridSearchCV(model,param_grid)  
%time grid.fit(Xtrain,ytrain)  
print(grid.best_params_)  


model = grid.best_estimator_  
model  
yfit = model.predict(Xtest)  
yfit  


#显示预测结果  
fig,ax = plt.subplots(4,6)  
for  i,axi in enumerate(ax.flat):  
    axi.imshow(Xtest[i].reshape(62,47),cmap="bone")  
    axi.set(xticks=[],yticks=[])  
    #设置y轴上的标签  
    axi.set_ylabel(faces.target_names[yfit[i]].split()[-1],color="black" if yfit[i]==ytest[i] else "red")  
fig.suptitle("Incorrect Labels in Red",size=14)  
plt.show() 



#分析预测结果的准确性  
from sklearn.metrics import  confusion_matrix  
#混淆矩阵  
mat = confusion_matrix(ytest,yfit)  
#绘制热图  
sns.heatmap(mat.T,square=True,annot=True,fmt="d",cbar=False,xticklabels=faces.target_names,yticklabels=faces.target_names)  
plt.rcParams["font.family"]="SimHei"  
plt.xlabel("真实值")  
plt.ylabel("预测值")  
plt.show()  

---

总结

逻辑回归可以分为线性与非线性，也可以根据类的个数分为二分类与多分类问题，使用时需要灵活应用，能够构造损失函数并求梯度，同时能够用算法实现并进行训练预测。

事实上，细心的同学会发现，在逻辑回归中，我们发现是多个输入（即p个指标），最终输出一个结果（0或1），处理过程是输入乘上权重w加偏置b，再对结果用sigmoid 函数处理，这个过程其实很接近于神经网络了，而逻辑回归的模型更接近于感知机。对于神经网络，它不只有输入和输出两层，而且增加了更多的隐藏层，每一层的处理结果都作为下一层的输入，那么它的损失函数与梯度的求解也将更加复杂，模型也复杂许多。

基于支持向量机svm的人脸识别

一、线性SVM1.背景：    1.1最早是由 VladimirN.Vapnik和AlexeyYa.Chervonenkis在1963年提出   1.2目前的版本(softmargin)是由CorinnaCortes和Vapnik在1993年提出，并在1995年发表   1.3深度学习（2 查看详情

基于支持向量机svm的脑部肿瘤识别，脑电波样本熵提取

...包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。（... 查看详情

机器学习支持向量机svm（上）

...ctorMachine)指的是支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另一种设计最佳准则... 查看详情

svm支持向量机系列--线性支持向量机

1、主要内容　　沿着之前学些机器学习基石课程中学习到的工具进行分析，该工具主要就是vc维，沿着特征转换这一目标进行探讨：　　　　(1)、当数据的特征的数量很大时，如何进行特征转换？支撑向量机　　(2)、能不能找到... 查看详情

机器学习——支持向量机(svm)

 1.基于最大间隔分隔数据  查看详情

基于最小二乘支持向量机（ls-svm）进行分类函数估计时间序列预测和无监督学习（matlab代码实现）

  查看详情

6-11svm支持向量机2

SVM支持向量机的核：线性核。进行预测的时候我们需要把正负样本的数据装载在一起，同时我们label标签也要把正负样本的数据全部打上一个label。第四步，开始训练和预测。ml(machinelearning(机器学习模块)). 查看详情

什么是支持向量机？

什么是支持向量机？支持向量机基本概念SVM算法是一种学习机制，是由Vapnik提出的旨在改善传统神经网络学习方法的理论弱点，最先从最优分参考技术A什么是支持向量机？支持向量机基本概念SVM算法是一种学习机制，是由Vapnik... 查看详情

支持向量机人脸识别（svm）sklearn

#!/usr/bin/envpython#-*-coding:utf-8-*-importnumpyasnpimportpylabasplfromsklearnimportsvm#wecreate40separablepointsnp.random.seed(0)#每次运行结果不变X=np.r_[np.random.randn(20,2)-[2,2],np.random.randn(20,2)+[ 查看详情

支持向量机（svm）|机器学习(代码片段)

目录1.SVM基本原理1.1特点1.2线性二分类问题1.3间隔与支持向量1.4核函数2.实例取数据观察绘制散点图决定使用哪种核函数建立并训练模型绘制图形查看分类效果1.SVM基本原理1.1特点∙\\bullet∙支持向量机（SupportVectorMachine）... 查看详情

机器学习实践：基于支持向量机算法对鸢尾花进行分类(代码片段)

摘要：Listitem使用scikit-learn机器学习包的支持向量机算法，使用全部特征对鸢尾花进行分类。本文分享自华为云社区《支持向量机算法之鸢尾花特征分类【机器学习】》，作者：上进小菜猪。一.前言1.1本文原理支... 查看详情

从软件工程的角度写机器学习5——svm（支持向量机）实现

...了SVM的纯属扯淡）。SVM算法总体流程本系列文章旨在讲解机器学习算法的工程实现方法，不在于推导数学原理。因此想深入了解原理的请移步去看《支持向量机通俗导论（理解SVM的三层境界）》：http://www.cnblogs.com/v-July-v/archive/20... 查看详情

项目二：使用机器学习（svm）进行基因预测

参考链接：LIBSVM--ALibraryforSupportVectorMachines（本项目所用到的SVM包） SVMSVM-知乎精华支持向量机请通俗介绍高中文化请看Coursera的ML视频，里面有SVM  基因注释基因组注释介绍 注释四部分：重复序列；非编码RNA；基因... 查看详情

svm预测基于遗传算法优化实现svm数据分类matlab源码(代码片段)

...许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。1数学部分1.1二维空间​​​​​​​​​2算法部分​​​二、遗传算法•遗传算法（GeneticAlgorithm& 查看详情

支撑向量机(代码片段)

...势，并推广到人脸识别、行人检测和文本分类等其他机器学习问题中。SVM建立在统计学习理论的VC维理论和结构风险最小原理基础上，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳平衡，以求获得最好... 查看详情

支撑向量机(代码片段)

...势，并推广到人脸识别、行人检测和文本分类等其他机器学习问题中。SVM建立在统计学习理论的VC维理论和结构风险最小原理基础上，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳平衡，以求获得最好... 查看详情

svm（支持向量机）与统计机器学习&也说一下knn算法

因为SVM和统计机器学习内容很多，所以从 http://www.cnblogs.com/charlesblc/p/6188562.html 这篇文章里面分出来，单独写。 为什么说SVM和统计学关系很大。看统计学的定义：统计学是通过搜索、整理、分析、描述数据等手段，以... 查看详情

svm预测基于蝗虫算法优化实现svm数据分类matlab源码(代码片段)

...许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。1数学部分1.1二维空间​​​​​​​​​2算法部分​​​ 二、蝗虫算法1.算法原理  2.算法流程三、部分代码%%%Desi 查看详情