关键词：

Sklearn学习资料推荐：

sklearn中文文档

机器学习入门必看：使用 scikit-learn 构建模型的通用模板

Python机器学习笔记：常用评估模型指标的用法 

Sklean介绍

 sklearn是机器学习中一个常用的python第三方模块，里面对一些常用的机器学习方法进行了封装，在进行机器学习任务时，并不需要每个人都实现所有的算法，只需要简单的调用sklearn里的模块就可以实现大多数机器学习任务。

    机器学习任务通常包括分类（Classification）和回归（Regression），常用的分类器包括SVM、KNN、贝叶斯、线性回归、逻辑回归、决策树、随机森林、xgboost、GBDT、boosting、神经网络NN。常见的降维方法包括TF-IDF、主题模型LDA、主成分分析PCA等等。

​

 Sklearn速查表

scikit-learn是数据挖掘与分析的简单而有效的工具。依赖于NumPy， SciPy和matplotlib。Scikit-learn 中，所有的估计器都带有 fit() 和 predict() 方法。fit() 用来分析模型参数（拟合），predict() 是通过 fit() 算出的模型参数构成的模型，对解释变量（特征）进行预测获得的值（预测）。

它主要包含以下几部分内容：

• 从功能来分：
  • classification 分类
  • Regression 回归
  • Clustering 聚类
  • Dimensionality reduction  降维
  • Model selection 模型选择
  • Preprocessing  预处理
• 从API模块来分：
  • sklearn.base: Base classes and utility function
  • sklearn.cluster: Clustering
  • sklearn.cluster.bicluster: Biclustering
  • sklearn.covariance: Covariance Estimators
  • sklearn.model_selection: Model Selection
  • sklearn.datasets: Datasets
  • sklearn.decomposition: Matrix Decomposition
  • sklearn.dummy: Dummy estimators
  • sklearn.ensemble: Ensemble Methods
  • sklearn.exceptions: Exceptions and warnings
  • sklearn.feature_extraction: Feature Extraction
  • sklearn.feature_selection: Feature Selection
  • sklearn.gaussian_process: Gaussian Processes
  • sklearn.isotonic: Isotonic regression
  • sklearn.kernel_approximation: Kernel Approximation
  • sklearn.kernel_ridge: Kernel Ridge Regression
  • sklearn.discriminant_analysis: Discriminant Analysis
  • sklearn.linear_model: Generalized Linear Models
  • sklearn.manifold: Manifold Learning
  • sklearn.metrics: Metrics
  • sklearn.mixture: Gaussian Mixture Models
  • sklearn.multiclass: Multiclass and multilabel classification
  • sklearn.multioutput: Multioutput regression and classification
  • sklearn.naive_bayes: Naive Bayes
  • sklearn.neighbors: Nearest Neighbors
  • sklearn.neural_network: Neural network models
  • sklearn.calibration: Probability Calibration
  • sklearn.cross_decomposition: Cross decomposition
  • sklearn.pipeline: Pipeline
  • sklearn.preprocessing: Preprocessing and Normalization
  • sklearn.random_projection: Random projection
  • sklearn.semi_supervised: Semi-Supervised Learning
  • sklearn.svm: Support Vector Machines
  • sklearn.tree: Decision Tree
  • sklearn.utils: Utilities

cluster聚类

阅读sklearn.cluster的API，可以发现里面主要有两个内容：一个是各种聚类方法的class如cluster.KMeans，一个是可以直接使用的聚类方法的函数如

sklearn.cluster.k_means(X, n_clusters, init='k-means++', 
    precompute_distances='auto', n_init=10, max_iter=300, 
    verbose=False, tol=0.0001, random_state=None, 
    copy_x=True, n_jobs=1, algorithm='auto', return_n_iter=False)

所以实际使用中，对应也有两种方法。

在sklearn.cluster共有9种聚类方法，分别是

• AffinityPropagation: 吸引子传播
• AgglomerativeClustering: 层次聚类
• Birch
• DBSCAN
• FeatureAgglomeration: 特征聚集
• KMeans: K均值聚类
• MiniBatchKMeans
• MeanShift
• SpectralClustering: 谱聚类

拿我们最熟悉的Kmeans举例说明：

采用类构造器，来构造Kmeans聚类器，首先API中KMeans的构造函数为：

sklearn.cluster.KMeans(n_clusters=8,
     init='k-means++', 
    n_init=10, 
    max_iter=300, 
    tol=0.0001, 
    precompute_distances='auto', 
    verbose=0, 
    random_state=None, 
    copy_x=True, 
    n_jobs=1, 
    algorithm='auto'
    )

参数的意义：

• n_clusters:簇的个数，即你想聚成几类
• init: 初始簇中心的获取方法
• n_init: 获取初始簇中心的更迭次数
• max_iter: 最大迭代次数（因为kmeans算法的实现需要迭代）
• tol: 容忍度，即kmeans运行准则收敛的条件
• precompute_distances：是否需要提前计算距离
• verbose: 冗长模式（不太懂是啥意思，反正一般不去改默认值）
• random_state: 随机生成簇中心的状态条件。
• copy_x: 对是否修改数据的一个标记，如果True，即复制了就不会修改数据。
• n_jobs: 并行设置
• algorithm: kmeans的实现算法，有：'auto', 'full', 'elkan', 其中 'full'表示用EM方式实现

虽然有很多参数，但是都已经给出了默认值。所以我们一般不需要去传入这些参数,参数的。可以根据实际需要来调用。下面给一个简单的例子：

import numpy as np
from sklearn.cluster import KMeans
data = np.random.rand(100, 3) #生成一个随机数据，样本大小为100, 特征数为3

#假如我要构造一个聚类数为3的聚类器
estimator = KMeans(n_clusters=3)#构造聚类器
estimator.fit(data)#聚类
label_pred = estimator.label_ #获取聚类标签
centroids = estimator.cluster_centers_ #获取聚类中心
inertia = estimator.inertia_ # 获取聚类准则的最后值

直接采用kmeans函数：

import numpy as np
from sklearn import cluster
data = np.random.rand(100, 3) #生成一个随机数据，样本大小为100, 特征数为3
k = 3 # 假如我要聚类为3个clusters
[centroid, label, inertia] = cluster.k_means(data, k)

• 当然其他方法也是类似，具体使用要参考API。（学会阅读API，习惯去阅读API）

classification分类

分类是数据挖掘或者机器学习中最重要的一个部分。不过由于经典的分类方法机制比较特性化，所以好像sklearn并没有特别定制一个分类器这样的class。
常用的分类方法有：

• KNN最近邻:sklearn.neighbors
• logistic regression逻辑回归: sklearn.linear_model.LogisticRegression
• svm支持向量机: sklearn.svm
• Naive Bayes朴素贝叶斯: sklearn.naive_bayes
• Decision Tree决策树: sklearn.tree
• Neural network神经网络: sklearn.neural_network

那么下面以KNN为例（主要是Nearest Neighbors Classification）：

KNN

from sklearn import neighbors, datasets

# import some data to play with
iris = datasets.load_iris()
n_neighbors = 15
X = iris.data[:, :2]  # we only take the first two features. We could
                      # avoid this ugly slicing by using a two-dim dataset
y = iris.target

weights = 'distance' # also set as 'uniform'
clf = neighbors.KNeighborsClassifier(n_neighbors, weights=weights)
clf.fit(X, y)

# if you have test data, just predict with the following functions
# for example, xx, yy is constructed test data
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                         np.arange(y_min, y_max, h))
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()]) # Z is the label_pred

svm：

from sklearn import svm
X = [[0, 0], [1, 1]]
y = [0, 1]

#建立支持向量分类模型
clf = svm.SVC()

#拟合训练数据，得到训练模型参数
clf.fit(X, y)

#对测试点[2., 2.], [3., 3.]预测
res = clf.predict([[2., 2.],[3., 3.]])

#输出预测结果值
print res


#get support vectors
print "support vectors:", clf.support_vectors_

#get indices of support vectors
print "indices of support vectors:", clf.support_ 

#get number of support vectors for each class
print "number of support vectors for each class:", clf.n_support_ 

当然SVM还有对应的回归模型SVR

from sklearn import svm
X = [[0, 0], [2, 2]]
y = [0.5, 2.5]
clf = svm.SVR()
clf.fit(X, y) 
res = clf.predict([[1, 1]])
print res

• 逻辑回归

from sklearn import linear_model
X = [[0, 0], [1, 1]]
y = [0, 1]
logreg = linear_model.LogisticRegression(C=1e5)

#we create an instance of Neighbours Classifier and fit the data.
logreg.fit(X, y)

res = logreg.predict([[2, 2]])
print res

preprocessing

这一块通常我要用到的是Scale操作。而Scale类型也有很多，包括：

• StandardScaler
• MaxAbsScaler
• MinMaxScaler
• RobustScaler
• Normalizer
• 等其他预处理操作

对应的有直接的函数使用：scale(), maxabs_scale(), minmax_scale(), robust_scale(), normaizer()。

例如：

import numpy as np
from sklearn import preprocessing
X = np.random.rand(3,4)


#用scaler的方法
scaler = preprocessing.MinMaxScaler()
X_scaled = scaler.fit_transform(X)


#用scale函数的方法
X_scaled_convinent = preprocessing.minmax_scale(X)

decomposition降维

说一下NMF与PCA吧，这两个比较常用。

import numpy as np
X = np.array([[1,1], [2, 1], [3, 1.2], [4, 1], [5, 0.8], [6, 1]])
from sklearn.decomposition import NMF
model = NMF(n_components=2, init='random', random_state=0)
model.fit(X)

print model.components_
print model.reconstruction_err_
print model.n_iter_

这里说一下这个类下面fit()与fit_transform()的区别，前者仅训练一个模型，没有返回nmf后的分支，而后者除了训练数据，并返回nmf后的分支。

PCA也是类似，只不过没有那些初始化参数，如下：

import numpy as np
X = np.array([[1,1], [2, 1], [3, 1.2], [4, 1], [5, 0.8], [6, 1]])
from sklearn.decomposition import PCA
model = PCA(n_components=2)
model.fit(X)

print model.components_
print model.n_components_
print model.explained_variance_
print model.explained_variance_ratio_
print model.mean_
print model.noise_variance_

metrics评估

上述聚类分类任务，都需要最后的评估。

分类

比如分类，有下面常用评价指标与metrics：

• accuracy_score
• auc
• f1_score
• fbeta_score
• hamming_loss
• hinge_loss
• jaccard_similarity_score
• log_loss
• recall_score
• …

下面例子求的是分类结果的准确率：

from sklearn.metrics import accuracy_score
y_pred = [0, 2, 1, 3]
y_true = [0, 1, 2, 3]
ac = accuracy_score(y_true, y_pred)
print ac
ac2 = accuracy_score(y_true, y_pred, normalize=False)
print ac2

其他指标的使用类似。

回归

回归的相关metrics包含且不限于以下：

• mean_absolute_error
• mean_squared_error
• median_absolute_error
• …

聚类

有以下常用评价指标（internal and external）：

• adjusted_mutual_info_score
• adjusted_rand_score
• completeness_score
• homogeneity_score
• normalized_mutual_info_score
• silhouette_score
• v_measure_score
• …

下面例子求的是聚类结果的NMI（标准互信息），其他指标也类似。

from sklearn.metrics import normalized_mutual_info_score

y_pred = [0,0,1,1,2,2]
y_true = [1,1,2,2,3,3]

nmi = normalized_mutual_info_score(y_true, y_pred)
print nmi

当然除此之外还有更多其他的metrics。参考API。

datasets 数据集

sklearn本身也提供了几个常见的数据集，如iris, diabetes, digits, covtype, kddcup99, boson, breast_cancer，都可以通过sklearn.datasets.load_iris类似的方法加载相应的数据集。它返回一个数据集。采用下列方式获取数据与标签。

from sklearn.datasets import load_iris

iris = load_iris()
X = iris.data 
y = iris.target 

除了这些公用的数据集外，datasets模块还提供了很多数据操作的函数，如load_files, load_svmlight_file，以及很多data generators。

panda.io还提供了很多可load外部数据（如csv, excel, json, sql等格式）的方法。

还可以获取mldata这个repos上的数据集。

python的功能还是比较强大。

当然数据集的load也可以通过自己写readfile函数来读写文件。

其余Sklearn优秀博文推荐：

Python机器学习笔记：sklearn库的学习 - 战争热诚 - 博客园

Python机器学习库——Sklearn_韩明宇-CSDN博客_python sklearn库

Python机器学习——Sklearn学习笔记_saywhyif的博客-CSDN博客

从Python开始学AI 在线思维导图

机器学习sklearn----初识kmeans(代码片段)

文章目录概述KMeans中几个概念KMeans工作过程KMeans使用示例导入相关模块生成原始数据通过KMeans分类KMeans常用属性分类结果展示KMeans中的predict方法总结概述KMeans是一种无监督学习的方法。他是一种分类算法。用于探索原始数据ÿ... 查看详情

机器学习基础一文带你用sklearn做特征工程(代码片段)

使用sklearn做特征工程特征工程是什么？有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度... 查看详情

机器学习sklearn库浅学习(代码片段)

目录一.sklearn简介（1）介绍：（2）Scikit-learn(sklearn)特点：（3）通用学习模式：二.数据集与数据预处理（1）数据集（sklearn.datasets）（2）常 查看详情

机器学习sklearn：sklearn快速开始(代码片段)

来源：https://www.cnblogs.com/lianyingteng/p/7811126.html0简介　　传统的机器学习任务从开始到建模的一般流程是：获取数据->数据预处理->训练建模->模型评估->预测，分类。本文我们将依据传统机器学习的流程，看看在每一步流... 查看详情

sklearn机器学习基础（day02基础入门篇）(代码片段)

文章目录基本算法使用（Sklearn)算子API调用分步曲数据分析分步曲分类算法KNN算法网格优化KNN案例（预测facebook签到位置）数据清洗KNN处理预测完整代码朴素贝叶斯算法决策树案例可视化决策树随机森林回归与聚类算... 查看详情

用python+sklearn(机器学习)实现天气预报准备(代码片段)

用python+sklearn机器学习实现天气预报准备项目地址系列教程0.流程介绍1.环境搭建a.pythonb.涉及到的机器学习相关库sklearnpandaseabornjoblib2.寻找数据来源3.分析数据源网址规则4.分析页面规则项目地址github项目:PYWeatherReport系列教程... 查看详情

sklearn与tensorflow机器学习实用指南（补档）(代码片段)

...第二版PDF格式EPUB格式MOBI格式英文仓库中文仓库目录结构Sklearn与TensorFlow机器学习实用指南零、前言一、机器学习概览二、一个完整的机器学习项目三、分类四、训练模型五、支持向量机 查看详情

python机器学习《机器学习python实践》整理，sklearn库应用详解(代码片段)

TableofContents1  初始1.1  初识机器学习1.2  python机器学习的生态圈1.3  第一个机器学习项目1.3.1  机器学习中的helloworld项目1.3.2  导入数据1.3.3  概述数据1.3.4  数据可视化1.3.5  评估算法1.3.5.1  分离评估数据集1.3.5.2  创... 查看详情

机器学习sklearn监督学习回归算法岭回归ridgeregression(代码片段)

fromsklearn.linear_modelimportRidge,LinearRegressionfromsklearn.model_selectionimporttrain_test_splitimportmatplotlib.pyplotaspltimportnumpyasnp#导入数据data_x=[]data_y=[]f=open('E:\\Deskt 查看详情

机器学习sklearn监督学习回归算法岭回归ridgeregression(代码片段)

fromsklearn.linear_modelimportRidge,LinearRegressionfromsklearn.model_selectionimporttrain_test_splitimportmatplotlib.pyplotaspltimportnumpyasnp#导入数据data_x=[]data_y=[]f=open('E:\\Deskt 查看详情

机器学习sklearn无监督学习聚类算法dbscan(代码片段)

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.clusterimportDBSCANfromsklearn.clusterimportKMeansfromsklearnimportdatasets#生成数据x1,y1=datasets.make_circles(n_samples=2000,factor=0.5 查看详情

机器学习sklearn无监督学习聚类算法dbscan(代码片段)

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.clusterimportDBSCANfromsklearn.clusterimportKMeansfromsklearnimportdatasets#生成数据x1,y1=datasets.make_circles(n_samples=2000,factor=0.5 查看详情

机器学习sklearn监督学习回归算法线性回归linearregression(代码片段)

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportlinear_model#设置中文字体plt.rcParams['font.sans-serif']='SimHei'plt.rcParams['axes.unicode_minus']=False#设置自变量和因变 查看详情

机器学习sklearn监督学习回归算法多项式回归polynomialregression(代码片段)

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportlinear_modelfromsklearn.preprocessingimportPolynomialFeaturesplt.rcParams['font.sans-serif']='SimHei'plt.rcParams['a 查看详情

机器学习sklearn监督学习回归算法多项式回归polynomialregression(代码片段)

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearnimportlinear_modelfromsklearn.preprocessingimportPolynomialFeaturesplt.rcParams['font.sans-serif']='SimHei'plt.rcParams['a 查看详情

用python+sklearn(机器学习)实现天气预报数据数据(代码片段)

用python+sklearn机器学习实现天气预报数据项目地址系列教程勘误表0.前言1.爬虫a.确认要被爬取的网页网址b.爬虫部分c.网页内容匹配取出部分d.写入csv文件格式化e.封装成类2.数据预处理项目地址github项目:PYWeatherReport系列教程机... 查看详情

机器学习sklearn数据集(代码片段)

...1.1.1Scikit-learn工具介绍1.1.2安装1.1.3Scikit-learn包含的内容1.2sklearn数据集1.2.1scikit-learn数据集API介绍1.2.2sklearn小数据集1.2.3sklearn大数据集1.2.4sklearn数据集的使用1.3数据集的划分2pip/pip3下载慢解决1数据集知道数据集的分为训练集和测... 查看详情

机器学习sklearn监督学习分类算法决策树decisiontree(代码片段)

#导入鸢尾花数据集、决策树分类器、计算交叉验证值的函数cross_val_scorefromsklearn.datasetsimportload_irisfromsklearn.treeimportDecisionTreeClassifierfromsklearn.model_selectionimportcross_val_score#使用默认参数，创建一颗基于基尼系数的决策树&# 查看详情