关键词：

@TOC

什么是特征预处理？

一、什么是特征预处理

# scikit-learn的解释
provides several common utility functions and transformer classes to change raw feature vectors into a representation that is more suitable for the downstream estimators.

翻译过来：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程

可以通过上面那张图来理解

1.包含内容

数值型数据的无量纲化：

• 归一化
• 标准化

2.特征预处理API

sklearn.preprocessing

为什么我们要进行归一化/标准化？

特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其它的特征

约会对象数据

我们需要用到一些方法进行无量纲化，使不同规格的数据转换到同一规格

二、归一化

1.定义

通过对原始数据进行变换把数据映射到(默认为[0,1])之间

2.公式

那么怎么理解这个过程呢？我们通过一个例子：

3.API

sklearn.preprocessing.MinMaxScaler (feature_range=(0,1)… )

• MinMaxScalar.fit_transform(X)
  X:numpy array格式的数据[n_samples,n_features]

• 返回值：转换后的形状相同的array

4.数据计算

我们对以下数据进行运算，在dating.txt中。保存的就是之前的约会对象数据

milage,Liters,Consumtime,target
40920,8.326976,0.953952,3
14488,7.153469,1.673904,2
26052,1.441871,0.805124,1
75136,13.147394,0.428964,1
38344,1.669788,0.134296,1

分析
1、实例化MinMaxScalar

2、通过fit_transform转换

def minmax_demo():
    """
    归一化
    :return:
    """
    # 1、获取数据
    data = pd.read_csv("dating")
    data = data.iloc[:, :3]
    print("data:\\n", data)

    # 2、实例化一个转换器类
    transfer = MinMaxScaler(feature_range=[2, 3])  ##设定2到3这个范围

    # 3、调用fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\\n", data_new)

    return None

返回结果：

如果数据中异常点较多，会有什么影响？

5.归一化总结

注意最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。

三、标准化

1.定义

通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内

2.公式

所以回到刚才异常点的地方，我们再来看看标准化

1. 对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
2. 对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。

3.API

sklearn.preprocessing.StandardScaler( )

• 处理之后每列来说所有数据都聚集在均值0附近标准差差为1
• StandardScaler.fit_transform(X)
  X:numpy array格式的数据[n_samples,n_features]
• 返回值：转换后的形状相同的array

4.数据计算

同样对上面的数据进行处理

分析
1、实例化StandardScaler
2、通过fit_transform转换

def stand_demo():
    """
    标准化
    :return:
    """
    # 1、获取数据
    data = pd.read_csv("dating")
    data = data.iloc[:, :3]
    print("data:\\n", data)

    # 2、实例化一个转换器类
    transfer = StandardScaler()

    # 3、调用fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\\n", data_new)
    print("每一列特征的平均值：\\n", transfer.mean_)
    print("每一列特征的方差：\\n", transfer.var_)
    return None

返回结果：

5.标准化总结

在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。

零基础学python--机器学习：数据集及特征工程介绍(代码片段)

@TOC一、数据集1.可用数据集公司内部百度数据接口花钱学习阶段可用的数据集：1.sklearn,2.kaggle,3.UCIKaggle网址：https://www.kaggle.com/datasetsUCI数据集网址：http://archive.ics.uci.edu/ml/scikit-learn网址：http://scikit-learn.org/stable/datasets/ind 查看详情

零基础学python--机器学习：机器学习算法和开发

@TOC一、机器学习算法分类1.分析1.2中的例子分类问题特征值：猫/狗的图片；目标值：猫/狗-类别分类问题↑回归问题特征值：房屋的各个属性信息；回归问题无监督学习特征值：人物的各个属性信息；目标值：无无监督学习2.总... 查看详情

python机器学习从零开始数据准备(代码片段)

目录1.数据预处理1.1调整数据尺度1.2正态化数据1.3标准化数据1.4二值数据2.数据特征选定2.1单变量特征选定2.2递归特征消除2.3数据降维2.4特征重要性总结    特征选择时困难耗时的，也需要对需求的理解和专业知识的掌握。... 查看详情

黄佳《零基础学机器学习》chap3笔记(代码片段)

...题定义：小冰的网店广告该如何投放3.2数据的收集和预处理3.2.1收集网店销售额数据3.2.2数据读取和可视化3.2.3数据的相关分析3.2.4数据的散点图3.2.5数据集清洗和规范化数据清洗数据规范化3.2.6拆分数据集为训 查看详情

黄佳《零基础学机器学习》chap1笔记(代码片段)

黄佳《零基础学机器学习》chap1笔记这本书实在是让我眼前一亮！！！感觉写的真的太棒了！文章目录黄佳《零基础学机器学习》chap1笔记第1课机器学习快速上手路径——唯有实战1.1机器学习族谱1.2云环境入门实... 查看详情

转行零基础该如何学python？

对于python的入门首先会学习python基础语法，面向对象编程与程序设计模式的理解、python数据分析基础、python网络编程、python并发与高效编程等等。通过前期python学习来了解和掌握常量变量的使用，运算符的使用、流程控制的使用... 查看详情

零基础学pythonday15python异常处理(代码片段)

...跟大家一起学习了Python模块，回顾之前内容看这里零基础学Python，今天让我们开始学习Python异常处理吧。需注意的是，【零基础学Python】此系列都使用Python3。异常处理异常处理可以说是Python中最常见的，虽然前几... 查看详情

零基础学python--机器学习：人工智能与机器学习概述

@TOC一、机器学习与人工智能、深度学习了解机器学习定义以及应用场景说明机器学习算法监督学习与无监督学习的区别说明监督学习中的分类、回归特点说明机器学习算法目标值的两种数据类型说明机器学习(数据挖掘)的开发流... 查看详情

机器学习之特征选择方法(代码片段)

特征选择是一个重要的数据预处理过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后在训练学习器，如下图所示：进行特征选择有两个很重要的原因：避免维数灾难：能剔除不相关(irrelevant)或冗余(redundant)... 查看详情

零基础学pythonday16python面向对象(代码片段)

...家一起学习了Python异常处理，回顾之前内容看这里零基础学Python，今天让我们开始学习Python面向对象吧。需注意的是，【零基础学Python】此系列都使用Python3。面向对象说面向对象之前，我们先聊下什么是对象࿰... 查看详情

零基础学pythonday16python面向对象(代码片段)

...家一起学习了Python异常处理，回顾之前内容看这里零基础学Python，今天让我们开始学习Python面向对象吧。需注意的是，【零基础学Python】此系列都使用Python3。面向对象说面向对象之前，我们先聊下什么是对象࿰... 查看详情

零基础学pythonday15python异常处理(代码片段)

...跟大家一起学习了Python模块，回顾之前内容看这里零基础学Python，今天让我们开始学习Python异常处理吧。需注意的是，【零基础学Python】此系列都使用Python3。异常处理异常处理可以说是Python中最常见的，虽然前几... 查看详情

零基础学pythonday15python异常处理(代码片段)

...跟大家一起学习了Python模块，回顾之前内容看这里零基础学Python，今天让我们开始学习Python异常处理吧。需注意的是，【零基础学Python】此系列都使用Python3。异常处理异常处理可以说是Python中最常见的，虽然前几... 查看详情

零基础学pythonday9python推导式(代码片段)

...基本数据类型之Dictionary，没学的兄弟姐妹们看这里零基础学Python，至此，我们已经学完了Python所有的基本数据类型，今天让我们开始学习Python推导式吧。需注意的是，【零基础学Python】此系列都使用Python3。Pyt... 查看详情

零基础学pythonday9python推导式(代码片段)

...基本数据类型之Dictionary，没学的兄弟姐妹们看这里零基础学Python，至此，我们已经学完了Python所有的基本数据类型，今天让我们开始学习Python推导式吧。需注意的是，【零基础学Python】此系列都使用Python3。Pyt... 查看详情

零基础学pythonday9python推导式(代码片段)

...基本数据类型之Dictionary，没学的兄弟姐妹们看这里零基础学Python，至此，我们已经学完了Python所有的基本数据类型，今天让我们开始学习Python推导式吧。需注意的是，【零基础学Python】此系列都使用Python3。Pyt... 查看详情

sklearn机器学习基础（day01基本数据处理）(代码片段)

...提取One-Hot编码中文文本处理TF-IDF处理运算规则代码数据预处理归一化标准化降维特征选择Filter过滤方式低方差过滤相关系数主成分分析ＰＣＡ小结环境python3.7sklearnnumpyscipypip3installnumpypip3installscipypip3installsklearn& 查看详情

机器学习基础一文带你用sklearn做特征工程(代码片段)

...部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降维 查看详情