关键词：
第2章 感知机
感知机是二类分类的线性分类模型，其输入为实例的特征向量，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式，是神经网络和支持向量机的基础。
1.感知机模型
感知机定义：
假设输入空间（特征空间）是X，输出空间是Y，Y的取值为+1和-1，输入x表示实例的特征向量，对应于输入空间（特征空间）的；输入y表示实例的类别。由输入空间到输出空间的如下函数：
f(x) = sign(w · x + b)
称为感知机，w、b为模型参数，w为权值或权值向量，b为偏置，w·x表示为二者内积。几何上来说，w·x+b=0对应于特征空间的一个超平面，w是超平面的法向量，b是超平面的截距。也就是找到一个超平面将数据的正负实例分开。
2.感知机学习策略
2.1 重要定义：数据集的线性可分性（因为感知机学习的前提就是数据集的可分性）
2.2 损失函数
为了找出这样的超平面，及确定感知机的模型参数，需要确定一个学习策略，即定义损失函数并将损失函数最小化。、
损失函数选择误分类点到超平面S的总距离，所以首先写出输入空间中任一点x0到超平面的S的距离：
||w||是w的L2范数
其次，对于误分类数据（xi，yi）来说， -yi(w·xi + b) > 0 成立，因此，误分类点xi到超平面S的距离就可以写成：
这样，假设超平面S 的误分类点集合为M. 那么所有误分类点到超平面S 的总距离为：
不考虑
，就得到感知机的损失函数：
其中M为误分类点的集合，这个损失函数就是感知机学习的经验风险函数。误分类点越少，误分类点离超平面越近，损失函数值就越小。
3.感知机学习算法
3.1原始形式
获得了损失函数，下一步就是极小化这个损失函数，即：
具体的方法采用梯度下降算法，极小化过程不是一次使M中所有的误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降，假设误分类点集合M是固定的，那么损失函数L(w,b)的梯度由：
随机选取一个误分类点（xi,yi）,对w,b进行更新：
η是学习率通过迭代可以期待损失函数L(w,b)不断减小，直到为0，综上可得如下算法：
感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同。
3.2 对偶形式
当训练数据集线性可分时，感知机学习算法是收敛的，感知机算法在训练数据集上的误分类次数k满足不等式：
[笔记-统计学习方法]感知机perceptron
前几天认把感知机这一章读完了，顺带做了点笔记现在把笔记做第三次的整理（不得不说博客园的LaTex公式和markdown排版真的不太舒服，该考虑在服务器上建一个博客了）零、总结适用于具有线性可分的数据集的二分类问题，可... 查看详情
统计学习笔记之支持向量机
支持向量机(SVM)是一种二分类模型，跟之前介绍的感知机有联系但也有区别。简单来讲，感知机仅仅是找到了一个平面分离正负类的点，意味着它是没有任何约束性质的，可以有无穷多个解，但是(线性可分)支持向量机和感... 查看详情
统计学习方法（第3章）k近邻法学习笔记
第3章K近邻法 k近邻算法简单、直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。当K=1时，又称为最近邻算法，这时候... 查看详情
深度学习bible学习笔记：第六章深度前馈网络
...最佳的函数近似。 注：并非完美模拟大脑，只是实现统计泛化，函数近似机。源于大 查看详情
统计学习方法：感知机
...m/xingshansi/p/6718503.html 前言今天开始学习李航的《统计学习方法》，考虑到之前看《自适应滤波》，写的过于琐碎，拓展也略显啰嗦，这次的学习笔记只记录书籍有关的内容。前段时间朋友送了一本《机器学习实战》，想着借... 查看详情
统计学习方法笔记-感知机
统计学习方法笔记-感知机感知机是一个二分类的监督模型，我们定义输入空间x∈Rnx\\inR^nx∈Rn，每一个x都是用向量表示。输出空间y=+1,−1y=\\+1,-1\\y=+1,−1.我们希望通过训练数据集合，学的权重参数w... 查看详情
统计学习方法笔记-感知机
统计学习方法笔记-感知机感知机是一个二分类的监督模型，我们定义输入空间x∈Rnx\\inR^nx∈Rn，每一个x都是用向量表示。输出空间y=+1,−1y=\\+1,-1\\y=+1,−1.我们希望通过训练数据集合，学的权重参数w... 查看详情
tensorflow实战-tensorflow实现自编码器及多层感知机-第4章(代码片段)
第4章-TensorFlow实现自编码器及多层感知机4.1自编码器简介深度学习在早期一度被认为是一种无监督的特征学习，模仿了人脑的对特征逐层抽象提取的过程。这其中两点很重要，一是无监督学习，即我们不需要标注数据就可以对数... 查看详情
统计学习方法二感知机
感知机（一）概念 1，定义： （二），学习策略1，线性可分：存在一个超平面将正实例和负实例划分开来，反之不可分2，学习策略：寻找极小损失函数，通过计算误分点到超平面的距离 ... 查看详情
《统计学习》——感知机
《统计学习》——感知机本文不是像网上大多数的博文那样，洋洋洒洒的写一大篇文章，只是记录下学习机器学习的一些总结与心得，志在总结与和同道中人一起讨论，分享各自的想法。1.何为感知机？我们在学习机器学习的时... 查看详情
统计学习方法ｃ++实现之一 感知机(代码片段)
...c++，俗话说‘光说不练假把式’，所以决定用c++将《统计学习方法》里面的经典模型全部实现一下，代码在这里，请大家多多指教。感知机虽然简单，但是他可以为学习其他模型提供基础，现在先简单回顾一下基础知识。感知机... 查看详情
感知机
...1或-1目的：求出将训练数据进行线性划分的超平面我们同统计学习的三要素来学习感知机，首先，我们先来学习模型1.感知机模型具体介绍如下： 对感知机模型有了一定的了解之后，就要开始学习感知机学习策略。 2.感... 查看详情
吴恩达机器学习笔记-第三周
...题，我们一般将结果分为0/1，在理解逻辑回归时可以引入感知机，感知机算是很早的分类器，但因为感知机是分布函数，也就是输出的值小于某一临界值，则分为-1，大于某一临界值，则分为1，但由于其在临界点处不连续，因此... 查看详情
统计学习二：1.感知机
全文引用自《统计学习方法》（李航）感知机(perceptron)最早由Rosenblatt于1957年提出，是一种较为简单的二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，类别取值为+1或-1。感知机的训练目标是训练出一个超... 查看详情
《深度学习入门基于python的理论与实现》chap2感知机笔记(代码片段)
《深度学习入门:基于python的理论与实现》chap2感知机笔记3个月前正式开始入坑AI的时候就是看的这本书，当时比较粗略地看到了第六章，没有记笔记，现在来重温一下文章目录《深度学习入门:基于python的理论与实现... 查看详情
李航《统计学习方法》ch02
CH02感知机前言章节目录感知机模型感知机学习策略数据集的线性可分性感知机学习策略感知机学习算法感知机学习算法感知机学习算法的原始形式算法的收敛性感知机学习算法的对偶形式导读感知机是二类分类的线性分类模型... 查看详情
第3章神经网络《深度学习入门基于python的理论与实现》
第3章神经网络《深度学习入门基于Python的理论与实现》3.1从感知机到神经网络3.2激活函数3.1从感知机到神经网络 查看详情
统计学习方法之第二章感知机
假设训练数据线性可分，那么感知机模型如下： f(x)=ω?χ+b这个超平面可以用来分割平面 不考虑系数，那么感知机的损失函数就可以定义为 查看详情