特征选择与特征提取

Vinicier Vinicier     2022-12-11     516

关键词:

模式识别的大致流程如下:

从图中我们可以知道,特征提取与选择是在分类器设计之前完成,它主要的工作是针对数据原始特征的缺陷,降低特征维数,提高分类器的设计与性能。

原始特征

模式识别中把每个对象都量化为一组特征来描述,构建特征空间是解决模式识别问题的第一步,其中通过直接测量得到的特征称为原始特征。如:
- 人体的各种生理指标(以描述健康状况)
- 数字图像中的每点的灰度值(以描述图像内容)

原始特征的形成一般包含三大类:物理、结构和数学特征
+ 物理和结构特征:易于为人的直觉感知,但是有时难以定量描述,因此不利于机器判别;
+ 数学特征:易于用机器判别和分析,如统计特征。

原始特征是我们直接测量获得的,但是往往不用于模式识别中,主要有以下几个原因:
1. 原始特征不能反映对象的本质特征;
2. 高维的原始特征不利于分类器的设计;
+ 计算量大,如对于一幅1024*768的灰度图像,灰度级为256级,直接表示需要786432 bytes,进行训练识别所需的空间、时间和计算量都无法接受;
+ 冗余,原始特征空间中,大量的特征都是相关性强的冗余特征;
+ 样本分布十分稀疏,对于有限训练样本而言,在高维的原始特征空间中分布十分稀疏。
3. 如果将数目过多的测量值不做分析,直接用于分类特征,不但耗时,而且会影响分类效果,产生“维数灾难”等问题。

针对原始特征以上的特性和不足,为了设计出更好的分类器,通常需要对原始特征的测量值集合进行分析,经过选择和变换处理,组成有效的识别特征。
处理方式主要有以下思路:
- 在保证一定分类精度的前提下,减少特征维数,进行“降维”处理,使分类器实现快速、准确、高效的分类;
- 去掉模棱两可、不利于分类的特征,使得提供的特征具有更好的可分性,使分类器容易判别;
- 提供的特征不应重复,即去掉相关性强但是没有增加更多分类信息的特征。

特征选择

特征选择(feature selection) 是指从原始特征中挑选出一组最有代表性、分类性能好的特征。
注意!注意!注意! 特征选择是指从已有的特征集合中按某一分类准则选出一组子特征集和作为降维的分类特征使用。
特征选择的方法大致分为两类:
Filter 方法 和Wrapper 方法。

未完待续。。。

特征选择与特征提取

...式识别的大致流程如下:从图中我们可以知道,特征提取与选择是在分类器设计之前完成,它主要的工作是针对数据原始特征的缺陷,降低特征维数,提高分类器的设计与性能。原始特征模式识别中把每个对... 查看详情

特征提取和特征选择

特征提取和特征选择都是从原始特征中找出最有效(同类样本的不变性、不同样本的鉴别性、对噪声的鲁棒性)的特征。区别与联系  特征提取:将原始特征转换为一组具有明显物理意义(Gabor、几何特征[角点、不变量]... 查看详情

特征选择--联合方法的特征提取

"""=================================================Concatenatingmultiplefeatureextractionmethods=================================================  Inmanyreal-worldexamples,therearemanywayst 查看详情

用于分类的词袋 - 特征与像素

】用于分类的词袋-特征与像素【英文标题】:bagofwordsforclassification-featuresvspixels【发布时间】:2012-06-2416:53:40【问题描述】:我正在使用词袋模型对医学图像进行分类。我做了以下提取特征向量:从小图像块中提取特征,然后将... 查看详情

什么是降维?特征选择或提取

】什么是降维?特征选择或提取【英文标题】:WhatisDimensionalityReduction?FeatureSelectionorextraction【发布时间】:2022-01-1602:11:36【问题描述】:据我所知,DR是一种将高维数据转换为低维数据的技术。但它是特征选择还是特征提取?这... 查看详情

sklearn学习:特征提取

...和图像等格式的数据集中提取机器学习算法支持的格式的特征。 注意:特征提取与特征选择非常不同:前者包括将任意数据(如文本或图像)转换为可用于机器学习的数值特征。后者是应用于这些功能的机器学习技 查看详情

特征选择问题

特征选择是特征工程中的重要问题(另一个重要的问题是特征提取),坊间常说:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。由此可见,特征工程尤其是特征选择在机器学习中占有相当重要的地位... 查看详情

纹理特征提取方法:lbp,灰度共生矩阵

参考技术A搬运自本人CSDN博客:《纹理特征提取方法:LBP,灰度共生矩阵》注:本文中大量行内Latex公式在中不支持,如果想要仔细参阅,请移步上面的CSDN博客链接。在前面的博文《图像纹理特征总体简述》中,笔者总结了图像纹... 查看详情

利用bpso与knn进行特征选择及matlab代码实现

  这个是本人在做大创项目,师姐做完的特征提取部分代码后,我们利用接收到的结果进行特征选择操作。下面从要求和思路两个部分简单介绍一下:我们通过BPSO结合KNN进行降维的基本思路。一、要求  学姐给我们的数据... 查看详情

scikit-learn:4.2.featureextraction(特征提取,不是特征选择)

http://scikit-learn.org/stable/modules/feature_extraction.html带病在网吧里。。。。。。写。求支持。。。1、首先澄清两个概念:特征提取和特征选择( Featureextractionisverydifferentfrom Featureselection)。theformerconsistsintransforming 查看详情

学习loam笔记——特征点提取与匹配(代码片段)

学习LOAM笔记——特征点提取与匹配学习LOAM笔记——特征点提取与匹配1.特征点提取1.1对激光点按线束分类1.2计算激光点曲率1.3根据曲率提取特征点2.特征点匹配2.1scan-to-scan中的特征点匹配2.2scan-to-map中特征点匹配3.补充学习LOAM笔... 查看详情

学习loam笔记——特征点提取与匹配(代码片段)

学习LOAM笔记——特征点提取与匹配学习LOAM笔记——特征点提取与匹配1.特征点提取1.1对激光点按线束分类1.2计算激光点曲率1.3根据曲率提取特征点2.特征点匹配2.1scan-to-scan中的特征点匹配2.2scan-to-map中特征点匹配3.补充学习LOAM笔... 查看详情

模式识别与机器学习——4.1模式分类可分性的测度

特征选择和提取  特征选择和提取是模式识别中的一个关键问题前面讨论分类器设计的时候,一直假定已给出了特征向量维数确定的样本集,其中各样本的每一维都是该样本的一个特征;这些特征的选择是很重要的,它强烈地... 查看详情

[机器学习与scikit-learn-42]:特征提取-1-从字典中提取特征(代码片段)

...的硅基工坊_CSDN博客本文网址:目录前言:第1章特征提取概述1.1什么是特征提取1.2特征提取与特征选项的区别与联系1.3特征提取的方法第2章 字典中提取特征2.1概述2.2代码案例分析前言:机器学习算法的输入是样本的... 查看详情

2类分类的建议无监督特征选择/提取方法?

】2类分类的建议无监督特征选择/提取方法?【英文标题】:Suggestedunsupervisedfeatureselection/extractionmethodfor2classclassification?【发布时间】:2016-04-3011:00:34【问题描述】:我有一组F功能,例如实验室色彩空间,熵。通过将所有特征连... 查看详情

matlabopencv特征点提取与匹配问题

...上下载了一个叫做structureandmotiontoolkits的工具包,里面有特征点提取和匹配的函数,但提取的特征点分布不够均匀。opencv自带的例子lkdemo效果就好多了。现在想要一个可以达到这种效果的matlab函数或工具包。能够实现特征点提取... 查看详情

简单好用的特征选择器

featselectorfeatselector是一个基于统计分析和模型选择的特征选择器.Github:https://github.com/xiaorancs/feature-select背景特征过多会导致如下后果:引起维数灾难,模型推广能力差特征过于稀疏,模型效果不好很多冗余特征和相关性高... 查看详情

9主成分分析

一、用自己的话描述出其本身的含义:1、特征选择提取到的所有特征中选择和类标签有关的特征作为训练集特征,特征在选择前和选择后不改变值。2、PCAPCA即主成分技术,又称主分量分析。主成分分析也称主分量分析,旨在利... 查看详情