关键词：

目录

• 1 数据集
• • 1.1 可用数据集
  • • 1.1.1 Scikit-learn工具介绍
    • 1.1.2 安装
    • 1.1.3 Scikit-learn包含的内容
  • 1.2 sklearn数据集
  • • 1.2.1 scikit-learn数据集API介绍
    • 1.2.2 sklearn小数据集
    • 1.2.3 sklearn大数据集
    • 1.2.4 sklearn数据集的使用
  • 1.3 数据集的划分
• 2 pip/pip3下载慢解决

---

1 数据集

• 知道数据集的分为训练集和测试集
• 会使用sklearn的数据集

1.1 可用数据集

Kaggle网址：https://www.kaggle.com/datasets

UCI数据集网址： http://archive.ics.uci.edu/ml/

scikit-learn网址：https://scikit-learn.org.cn/

1.1.1 Scikit-learn工具介绍

• Python语言的机器学习工具
• Scikit-learn包括许多知名的机器学习算法的实现
• Scikit-learn文档完善，容易上手，丰富的API
• 目前稳定版本0.19.1

1.1.2 安装

pip3 install Scikit-learn==0.19.1

这里可能初次安装会很慢，建议换镜像下面有

安装好之后可以通过以下命令查看是否安装成功

import sklearn

• 注：安装scikit-learn需要Numpy, Scipy等库

1.1.3 Scikit-learn包含的内容

• 分类、聚类、回归
• 特征工程
• 模型选择、调优

1.2 sklearn数据集

1.2.1 scikit-learn数据集API介绍

• sklearn.datasets
  • 加载获取流行数据集
  • datasets.load_*()
    • 获取小规模数据集，数据包含在datasets里
  • datasets.fetch_*(data_home=None)
    • 获取大规模数据集，需要从网络上下载，函数的第一个参数是data_home，表示数据集下载的目录,默认是 ~/scikit_learn_data/

1.2.2 sklearn小数据集

• sklearn.datasets.load_iris()

  加载并返回鸢尾花数据集

• sklearn.datasets.load_boston()

  加载并返回波士顿房价数据集

1.2.3 sklearn大数据集

• sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
  • subset：‘train’或者’test’，‘all’，可选，选择要加载的数据集。
  • 训练集的“训练”，测试集的“测试”，两者的“全部”

1.2.4 sklearn数据集的使用

• 以鸢尾花数据集为例：

sklearn数据集返回值介绍

• load

  和fetch

  返回的数据类型datasets.base.Bunch(字典格式)

  • data：特征数据数组，是 [n_samples * n_features] 的二维 numpy.ndarray 数组
  • target：标签数组，是 n_samples 的一维 numpy.ndarray 数组
  • DESCR：数据描述
  • feature_names：特征名,新闻数据，手写数字、回归数据集没有
  • target_names：标签名

from sklearn.datasets import load_iris
# 获取鸢尾花数据集
iris = load_iris()
print("鸢尾花数据集的返回值：\\n", iris)
# 返回值是一个继承自字典的Bench
print("鸢尾花的特征值:\\n", iris["data"])
print("鸢尾花的目标值：\\n", iris.target)
print("鸢尾花特征的名字：\\n", iris.feature_names)
print("鸢尾花目标值的名字：\\n", iris.target_names)
print("鸢尾花的描述：\\n", iris.DESCR)

运行结果：

1.3 数据集的划分

机器学习一般的数据集会划分为两个部分：

思考：拿到的数据是否全部都用来训练一个模型？

• 训练数据：用于训练，构建模型
• 测试数据：在模型检验时使用，用于评估模型是否有效

划分比例：

• 训练集：70% 80% 75%
• 测试集：30% 20% 30%

数据集划分api

• sklearn.model_selection.train_test_split(

  arrays, *

  options)

  • x 数据集的特征值
  • y 数据集的标签值
  • test_size 测试集的大小，一般为float
  • random_state 随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
  • return 测试集特征训练集特征值值，训练标签，测试标签(默认随机取)

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split


def datasets_demo():
    """
    对鸢尾花数据集的演示
    :return: None
    """
    # 1、获取鸢尾花数据集
    iris = load_iris()
    print("鸢尾花数据集的返回值：\\n", iris)
    # 返回值是一个继承自字典的Bench
    print("鸢尾花的特征值:\\n", iris["data"])
    print("鸢尾花的目标值：\\n", iris.target)
    print("鸢尾花特征的名字：\\n", iris.feature_names)
    print("鸢尾花目标值的名字：\\n", iris.target_names)
    print("鸢尾花的描述：\\n", iris.DESCR)

    # 2、对鸢尾花数据集进行分割
    # 训练集的特征值x_train 测试集的特征值x_test 训练集的目标值y_train 测试集的目标值y_test
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
    print("x_train:\\n", x_train.shape)
    # 随机数种子
    x_train1, x_test1, y_train1, y_test1 = train_test_split(iris.data, iris.target, random_state=6)
    x_train2, x_test2, y_train2, y_test2 = train_test_split(iris.data, iris.target, random_state=6)
    print("如果随机数种子不一致：\\n", x_train == x_train1)
    print("如果随机数种子一致：\\n", x_train1 == x_train2)

    return None

运行结果：

x_train:
 (112, 4)

2 pip/pip3下载慢解决

添加下载镜像地址 https://pypi.tuna.tsinghua.edu.cn/simple ，例如我要按照pyinstaller，操作如下：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyinstaller

为了以后pip安装提升速度，可以将镜像地址设置为pip的默认途径，如下：

pip install pip -U
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

其他镜像地址：

阿里云：http://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

华中理工大学：http://pypi.hustunique.com/

山东理工大学：http://pypi.sdutlinux.org/

豆瓣：http://pypi.douban.com/simple/

机器学习算法的sklearn实现(代码片段)

1.获取数据1.1导入sklearn数据集　　sklearn中包含了大量的优质的数据集，在你学习机器学习的过程中，你可以通过使用这些数据集实现出不同的模型，从而提高你的动手实践能力，同时这个过程也可以加深你对理论知识的理解和... 查看详情

机器学习sklearn库浅学习(代码片段)

目录一.sklearn简介（1）介绍：（2）Scikit-learn(sklearn)特点：（3）通用学习模式：二.数据集与数据预处理（1）数据集（sklearn.datasets）（2）常 查看详情

sklearn的使用(代码片段)

...训练建模->模型评估->预测，分类。1.获取数据1.1导入sklearn数据集　　sklearn中包含了大量的优质的数据集，在你学习机器学习的过程中，你可以通过使用这些数据集实现出不同的模型，从而提高你的动手实践能力，同时这个... 查看详情

ml神器：sklearn的快速使用(代码片段)

...章可以最为快速的开始你的学习任务。1.获取数据1.1导入sklearn数据集　　sklearn中包含了大量的优质的数据集，在你学习机器学习的过程中，你可以通过使用这些数据集实现出不同的模型，从而提高你的动手实践能力，同时这个... 查看详情

案例：鸢尾花种类预测--知道sklearn中对数据集的划分方法(代码片段)

学习目标目标知道sklearn中获取数据集的方法知道sklearn中对数据集的划分方法本实验介绍了使用Python进行机器学习的一些基本概念。在本案例中，将使用K-NearestNeighbor（KNN）算法对鸢尾花的种类进行分类，并测量花... 查看详情

机器学习基础(代码片段)

sklearn的数据集数据集划分数据集接口介绍数据集划分前提：机器学习就是从数据中自动分析获得规律，并利用规律对未知数据进行预测。换句话说，我们的模型一定是要经过样本数据对其进行训练，才可以对未知数据进行预测... 查看详情

python机器学习《机器学习python实践》整理，sklearn库应用详解(代码片段)

TableofContents1  初始1.1  初识机器学习1.2  python机器学习的生态圈1.3  第一个机器学习项目1.3.1  机器学习中的helloworld项目1.3.2  导入数据1.3.3  概述数据1.3.4  数据可视化1.3.5  评估算法1.3.5.1  分离评估数据集1.3.5.2  创... 查看详情

机器学习算法专题（蓄力计划）二十实操代码mnist数据集(代码片段)

文章目录MNIST数据集sklearn加载的数据集通常具有类似字典结构训练一个二元分类器性能考核混淆矩阵精度/召回率权衡ROC曲线多类别分类器solutiononesolutintwo多标签分类MNIST数据集一组有美国高中生和人口调查局员工手写的70000个数... 查看详情

机器学习实战基础（二十七）：sklearn中的降维算法pca和svdpca对手写数字数据集的降维(代码片段)

PCA对手写数字数据集的降维1.导入需要的模块和库fromsklearn.decompositionimportPCAfromsklearn.ensembleimportRandomForestClassifierasRFCfromsklearn.model_selectionimportcross_val_scoreimportmatplotlib.pyplotaspltimportpandas 查看详情

用python+sklearn(机器学习)实现天气预报数据模型和使用(代码片段)

用python+sklearn机器学习实现天气预报模型和使用项目地址系列教程0.前言1.建立模型a.准备引入所需要的头文件选择模型选择评估方法获取数据集b.建立模型c.获取模型评估结果d.用joblib模块保存模型e.封装2.总控代码使用方法3.最... 查看详情

机器学习sklearn----通过轮廓系数确定适合的n_clusters(代码片段)

文章目录创建数据集n_clusters=4详细画图代码解析完整代码前面的文章我们知道了KMeans的常用评估指标轮廓系数。这篇文章我们介绍怎样通过轮廓系数来确定最佳的n_cluster创建数据集创建一个有5个分类的数据集，用于聚类&#... 查看详情

机器学习--数据操作初试(代码片段)

#加载数据集，返回字典类型的数据sklearn.datasets.load_iris()数据示例iris=sklearn.datasets.load_iris()#数据集特征值iris[\'data\']#数据集标签值iris[\'target\']特征和标签相对应数据集的划分由于数据集在某些情况下是很珍贵的，并且在训练后... 查看详情

机器学习特征工程(代码片段)

目录数据集可用数据集sklearn数据集特征提取字典文本特征预处理无量纲化归一化标准化特征降维特征选择主成分分析（PCA降维）数据集下面列举了一些示例来说明哪些内容能算作数据集：包含某些数据的表格或CSV文... 查看详情

sklearn机器学习基础（day01基本数据处理）(代码片段)

...滤相关系数主成分分析ＰＣＡ小结环境python3.7sklearnnumpyscipypip3installnumpypip3installscipypip3installsklearn& 查看详情

成功解决（机器学习分割数据问题）：modulenotfounderror:nomodulenamed‘sklearn.cross_validation‘(代码片段)

...习分割数据问题）：ModuleNotFoundError:Nomodulenamed‘sklearn.cross_validation’文章目录报错代码解决思路解决方法报错代码在机器学习中，将原始数据按照比例分割为“测试集”和“训练集”，经常使用sklearn.cross_validation... 查看详情

零基础学python--机器学习：数据集及特征工程介绍(代码片段)

@TOC一、数据集1.可用数据集公司内部百度数据接口花钱学习阶段可用的数据集：1.sklearn,2.kaggle,3.UCIKaggle网址：https://www.kaggle.com/datasetsUCI数据集网址：http://archive.ics.uci.edu/ml/scikit-learn网址：http://scikit-learn.org/stable/datasets/ind 查看详情

机器学习sklearn监督学习分类算法决策树decisiontree(代码片段)

#导入鸢尾花数据集、决策树分类器、计算交叉验证值的函数cross_val_scorefromsklearn.datasetsimportload_irisfromsklearn.treeimportDecisionTreeClassifierfromsklearn.model_selectionimportcross_val_score#使用默认参数，创建一颗基于基尼系数的决策树&# 查看详情

python机器学习sklearn——一起识别数字吧(代码片段)

...数据数据可视化结果完整代码简介本文主要简述如何通过sklearn模块来进行预测和学习，最后再以图表这种更加直观的方式展现出来数据集学习数据预测数据数据处理数据分离因为我们打开我们的的学习数据集，最后一项... 查看详情