机器学习需要啥数学基础

author author     2023-04-22     607

关键词:

我们知道,机器学习涉及到很多的工具,其中最重要的当属数学工具了,因此必要的数学基础可谓是打开机器学习大门的必备钥匙。机器学习涉及到的数学基础内容包括三个方面,分别是线性代数、概率统计和最优化理论。下面小编就会好好给大家介绍一下机器学习中涉及到的数学基础知道,让大家在日常的机器学习中可以更好地运用数学工具。

首先我们给大家介绍一下线性代数,线性代数起到的一个最主要的作用就是把具体的事物转化成抽象的数学模型。不管我们的世界当中有多么纷繁复杂,我们都可以把它转化成一个向量,或者一个矩阵的形式。这就是线性代数最主要的作用。所以,在线性代数解决表示这个问题的过程中,我们主要包括这样两个部分,一方面是线性空间理论,也就是我们说的向量、矩阵、变换这样一些问题。第二个是矩阵分析。给定一个矩阵,我们可以对它做所谓的SVD分解,也就是做奇异值分解,或者是做其他的一些分析。这样两个部分共同构成了我们机器学习当中所需要的线性代数。

然后我们说一下概率统计,在评价过程中,我们需要使用到概率统计。概率统计包括了两个方面,一方面是数理统计,另外一方面是概率论。一般来说数理统计比较好理解,我们机器学习当中应用的很多模型都是来源于数理统计。像最简单的线性回归,还有逻辑回归,它实际上都是来源于统计学。在具体地给定了目标函数之后,我们在实际地去评价这个目标函数的时候,我们会用到一些概率论。当给定了一个分布,我们要求解这个目标函数的期望值。在平均意义上,这个目标函数能达到什么程度呢?这个时候就需要使用到概率论。所以说在评价这个过程中,我们会主要应用到概率统计的一些知识。

最后我们说一下最优化理论,其实关于优化,就不用说了,我们肯定用到的是最优化理论。在最优化理论当中,主要的研究方向是凸优化。凸优化当然它有些限制,但它的好处也很明显,比如说能够简化这个问题的解。因为在优化当中我们都知道,我们要求的是一个最大值,或者是最小值,但实际当中我们可能会遇到一些局部的极大值,局部的极小值,还有鞍点这样的点。凸优化可以避免这个问题。在凸优化当中,极大值就是最大值,极小值也就是最小值。但在实际当中,尤其是引入了神经网络还有深度学习之后,凸优化的应用范围越来越窄,很多情况下它不再适用,所以这里面我们主要用到的是无约束优化。同时,在神经网络当中应用最广的一个算法,一个优化方法,就是反向传播。

参考技术A

    数学基础

    欢迎补充。

    文中提供的PDF下载链接,均来自于网络,如有问题,请站内告知。

    《矩阵分析》 PDFRoger Horn。矩阵分析领域无争议的经典

    《概率论及其应用》 PDF威廉·费勒。极牛的书,可数学味道太重,不适合做机器学习的

    《All Of Statistics》 PDF 扫描版PDF 高清版机器学习这个方向,统计学也一样非常重要。推荐All of statistics,这是CMU的一本很简洁的教科书,注重概念,简化计算,简化与Machine Learning无关的概念和统计内容,可以说是很好的快速入门材料。

    《Nonlinear Programming, 2nd》 PDF最优化方法,非线性规划的参考书。

    《Convex Optimization》 PDF配套代码Boyd的经典书籍,被引用次数超过14000次,面向实际应用,并且有配套代码,是一本不可多得的好书。

    《Numerical Optimization》 PDF第二版,Nocedal著,非常适合非数值专业的学生和工程师参考,算法流程清晰详细,原理清楚。

    《Introduction to Mathematical Statistics》 PDF第六版,Hogg著,本书介绍了概率统计的基本概念以及各种分布,以及ML,Bayesian方法等内容。

    《An Introduction to Probabilistic Graphical Models》 PDFJordan著,本书介绍了条件独立、分解、混合、条件混合等图模型中的基本概念,对隐变量(潜在变量)也做了详细介绍,相信大家在隐马尔科夫链和用Gaussian混合模型来实现EM算法时遇到过这个概念。

    《Probabilistic Graphical Models-Principles and Techniques》 PDFKoller著,一本很厚很全面的书,理论性很强,可以作为参考书使用。

    具体数学 PDF经典

    bind一月 4

    线性代数 (Linear Algebra):我想国内的大学生都会学过这门课程,但是,未必每一位老师都能贯彻它的精要。这门学科对于Learning是必备的基础,对它的透彻掌握是必不可少的。我在科大一年级的时候就学习了这门课,后来到了香港后,又重新把线性代数读了一遍,所读的是

    Introduction to Linear Algebra (3rd Ed.) by Gilbert Strang.

    这本书是MIT的线性代数课使用的教材,也是被很多其它大学选用的经典教材。它的难度适中,讲解清晰,重要的是对许多核心的概念讨论得比较透彻。我个人觉得,学习线性代数,最重要的不是去熟练矩阵运算和解方程的方法——这些在实际工作中MATLAB可以代劳,关键的是要深入理解几个基础而又重要的概念:子空间(Subspace),正交(Orthogonality),特征值和特征向量(Eigenvalues and eigenvectors),和线性变换(Linear transform)。从我的角度看来,一本线代教科书的质量,就在于它能否给这些根本概念以足够的重视,能否把它们的联系讲清楚。Strang的这本书在这方面是做得很好的。

    而且,这本书有个得天独厚的优势。书的作者长期在MIT讲授线性代数课(18.06),课程的video在MIT的Open courseware网站上有提供。有时间的朋友可以一边看着名师授课的录像,一边对照课本学习或者复习。

    Linear Algebra

    概率和统计 (Probability and Statistics):概率论和统计的入门教科书很多,我目前也没有特别的推荐。我在这里想介绍的是一本关于多元统计的基础教科书:

    Applied Multivariate Statistical Analysis (5th Ed.) by Richard A. Johnson and Dean W. Wichern

    这本书是我在刚接触向量统计的时候用于学习的,我在香港时做研究的基础就是从此打下了。实验室的一些同学也借用这本书学习向量统计。这本书没有特别追求数学上的深度,而是以通俗易懂的方式讲述主要的基本概念,读起来很舒服,内容也很实用。对于Linear regression, factor analysis, principal component analysis (PCA), and canonical component analysis (CCA)这些Learning中的基本方法也展开了初步的论述。

    之后就可以进一步深入学习贝叶斯统计和Graphical models。一本理想的书是

    Introduction to Graphical Models (draft version). by M. Jordan and C. Bishop.

    我不知道这本书是不是已经出版了(不要和Learning in Graphical Models混淆,那是个论文集,不适合初学)。这本书从基本的贝叶斯统计模型出发一直深入到复杂的统计网络的估计和推断,深入浅出,statistical learning的许多重要方面都在此书有清楚论述和详细讲解。MIT内部可以access,至于外面,好像也是有电子版的。

机器学习需要的数学总结

...和积分是特定过程特定形式的极限微积分/高等数学。在机器学习中,微积分主要用到了微分部分,作用是求函数的极值,就是很多机器学习库中的求解器(solver)所实现的功能。在机器学习里会用到微积分中的 查看详情

python做大数据,都需要学习啥,比如哪些框架,库等!人工智能呢?请尽量详细点!

...ython爬虫库阶段五、人工智能篇之人工智能机器学习篇1、数学基础2、高等数学必知必会3、Numpy前导介绍4、Pandas前导课程5、机器学习阶段六、人工智能篇之人工智能项目实战1、人脸性别和年龄识别原理2、CTR广告点击量预测3、DQN... 查看详情

深度学习如何入门,需要啥基础?

...话最基本的就是要具有一定的编程基础,并且具备一定的数学基础。比如计算机相关专业的本科生、研究生,计算机相关专业的高校讲师,从事IT行业的编程人员,人工智能领域的从业人员。在有一定基础的前提下还是能学会的... 查看详情

ai人工智能机器学习深度学习学习路径及推荐书籍

...本语法和常用的Python库,如NumPy、Pandas和Matplotlib等。学习数学基础:机器学习涉及到很多数学知识,尤其是线性代数、微积分和概率论。可以选择上述推荐的书籍进行学习,也可以参考网上的免费教程和视频。学习机器学习基础... 查看详情

目前的机器学习以及需要的机器学习

除了以决策树为基础的机器学习算法以外,其他的大部分机器学习算法的最终目的就是为了拟合一个函数。也就是说,我们假定客观世界的规律可以用一个函数表示。但事实真的如此吗?客观世界的规则可以分为两部分。宇宙规... 查看详情

机器学习是否需要完整扎实的数学基础?

...方法线代,微积分,概率论,数理统计,一些算法思想的数学基础 微积分,线性代数,概率与统计,最优化方法建议读5~6遍,哈哈这是基础,高 查看详情

gitchat·人工智能|除了深度学习,机器翻译还需要啥?

...传译员在朋友圈里爆料:某AI公司请这位译员去“扮演”机器同传,制造人工智能取代人工同传的“震撼”效果。这个事件瞬间在译员群体的朋友圈、微博、微信群引爆了隐忍已久的火药桶。因为过去几个月来,隔三差五就冒出... 查看详情

机器学习为啥需要训练,训练出来的模型具体又是啥

...eLearning是一个管理平台,可以让开发者更易于创建自己的机器学习模型,并且可以基于任何规模的数据类型运行。TensorFlow框架现已支持Google多项服务,包括GooglePhotos及CloudSpeech——即图像识别和语音识别技术。CloudMachineLearning管... 查看详情

机器学习基础

1.机器学习概述  1.什么是机器学习:   2.为什么需要机器学习:  3.机器学习应用场景 2.数据来源和类型  1.数据来源  2.数据类型   3.可用数据集   4.常用数据集数据的机构组成  数据的特征... 查看详情

机器学习用啥语言或者平台比较合适?

参考技术A首先推荐Matlab。原因是机器学习大神AndrewNg在Coursera上有一门课,就叫MachineLearning。里面详细讲述了每个机器学习算法的原理和实现步骤。每一章都有作业,作业是用Matlab写的。容易上手。把作业做过一遍以后,对机器... 查看详情

机器学习中的重点数学知识

深度学习中的数学1、数学是基石,编程为工具2、深度学习基本全是优化问题(数学)微积分知识重点:① 导数:导数法则、常见的函数的导数、② 多元函数的导数:求梯度(偏导数)、二阶导数和hess矩阵l 为什么... 查看详情

机器学习对数学功底的要求到底有多高

豆瓣的话题:研究机器学习需要什么样的数学基础?来自:求真2013-07-1113:44:22我是小硕一枚,研究方向是机器学习。通过阅读一些机器学习的教科书,发现机器学习对于数学基础要求比较高。我想问一下:一般研究机器学习需要... 查看详情

机器学习中的数学

1.工程界的恐慌无论我自己亲眼所见还是道听途说,虽然国内兴起了一段人工智能的浪潮,但是在企业内部对这个领域的了解还是比较局限的。一般来说就是两个态度:第一种是隔岸观火,这些人认为这个东西太遥远了,都是理论... 查看详情

《机器学习算法入门》即将上市出版,预计2020年6,7月份

...础知识和简单了解过numpy、Pandas等科学基础库,不需要有数学基础,也不需要有机器学习或者AI的基础。相关院校和培训机构也可以将此书作为机器学习入门教材使用。由于疫情原因,本书推迟出版,将于2020年6,7月份上市,敬请... 查看详情

吴恩达:如何学习机器学习

...不必将精力过多投入到诸如线性代数、概率和统计这样的数学基础上。在学习了基础编码知识后,就可以正式开始你的机器学习之旅了。由斯坦福大学推出的“机器学习课程”是你不错的选择。该课程提供了对机器学习、数... 查看详情

大数据培训到底是培训啥

...的采集、数据预处理、分布式存储、数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。2、大数据开发数据工du程师建设和优化系统。学习hadoop、spark、storm、超zhi大集群调优、机器学习、Docker... 查看详情

机器学习之概率统计基础,机器学习学习笔记----08

机器学习之概率统计基础,机器学习学习笔记----08离散型的随机变量对于任意的我们获取的一组随机变量,最关注的是哪些要素呢?来列举一下:第一:随机变量的取值。显然这个是我们首先需要关注的,... 查看详情

现在的人工智能达到了啥程度?

...经网络、LSTM序列学习、Q-Learning、深度学习等算法,都是机器学习的算法。第三层为重要的技术方向和问题,如计算机视觉,语音工程,自然语言处理等。还有另外的一些类似决策系统,像reinforcementlearning(编辑注:增强学习)... 查看详情