正文

阿里云机器学习平台pai之理论基础

柳小葱  柳小葱  2022-12-06  333

关键词：

🍓在前几章的学习中，我们学习了阿里云系列的计算平台MaxComputer、大数据治理和分析平台DataWorks和可视化平台Quick BI，今天进入阿里云大数据的最后部分的学习——机器学习平台PAI，对往期内容感兴趣的小伙伴可以参考如下内容👇:

🍏在这一部分中，我们依旧分为理论学习和实践操作两个部分，本文是理论理论学习的部分。好了，让我们开始今日份的学习吧。

实践部分也在一天内做完了，链接在下面：

链接: 阿里云机器学习平台PAI之分类实践.

1. 机器学习平台PAI的简介

阿里云机器学习平台PAI ( Platform of Artificial Intelligence ）：是构建在阿里云MaxCompute计算平台之上，集数据处理、建模、离线预测、在线预测为一体的机器学习平台。为算法开发者提供了丰富的MPI、PS、BSP等编程框架和数据存储接口，同时提供了基于WEB的可视化控制台，降低了使用门槛。
主要的的特点有：

可视化操作界面：通过对底层分布式算法的封装，提供拖、拉、拽、的可视化操作环境。使机器学习的创建过程像是堆积木一样简单。
算法丰富：提供特征过程、数据预处理、统计分析、机器学习、深度学习框架、预测评估等几百种算法组件。
一站式体验：提供模型训练功能，还提供在线预测功能以及离线调度功能，让机器学习训练结果和业务可以无缝衔接。
多种计算框架：流计算Flink、深度学习Tensorflow、大规模并行计算Parameter Server以及Spark、Pyspark、MapReduce等主流框架。

2. 产品架构

产品架构如图所示：

我们主要需要关注的是：各种机器学习产品PAI-Studio、PAI-DSW、PAI-DLC、PAI AutoLearning他们的功能如下：

2.1 PAI AutoLearning自动学习

PAI AutoLearning自动化建模平台拟在为用户提供低门槛的偏场景化的机器学习建模服务，目前该平台已经内置了图像分类、推荐召回两款经典的机器学习业务场景，用户只需要在产品中做些基础的配置，无需对机器学习建模理论有深入的了解即可完成模型训练。

2.2 PAI-Studio可视化建模

PAl-Studio可视化建模拖拽式建模平台为开发者提供可视化的机器学习实验开发环境，帮助用户实现无代码开发人工智能相关服务。内置数百个成熟的机器学习算法，覆盖商品推荐、金融风控、广告预测等场景，满足用户不同程度的需求，即开即用。

2.3 PAI-DSW交互式建模

PAI-DSW交互式建模平台基于原生JupyterLab做了大量定制化工作，可以实现交互式的建模工作。支持用户绑定自己的云存储资源，同时底层可以灵活动态的选用不同类型的GPU机器。

2.4 PAI-DLC深度学习训练平台

PAI-DLC (Deep Leaming Containers) 是基于阿里巴巴容器服务ACK (Alibaba Cloud Container Service for Kubernetes) 的深度学习训练平台，为您提供灵活、稳定、易用和极致性能的深度学习训练环境。

2.5 PAI-EAS在线服务部署

PAI-EAS模型在线服务引擎提供了机器学习模型在线服务，支持基于异构硬件(CPU/GPU)的模型加载和数据请求的实时响应。用户可以将Studio、DSW、Autolearning服务生成的模型一键发布到PAI-EAS形成Restful服务，通过EAS服务与业务系统打通，解决模型和客户业务最后一公里的问题。

3.参考资料

《阿里云全球培训中心》
《机器学习PAI平台产品手册》

阿里云机器学习平台pai之分类实践(代码片段)

...容👇:hadoop专题:hadoop系列文章.spark专题:spark系列文章.阿里云系列:阿里云MaxComputerSQL学习之DDL.阿里云系列:阿里云MaxComputerSQL学习之DML.阿里云系列:阿里云Ma 查看详情

阿里云机器学习平台——pai平台

在云栖TechDay第十五期活动上，阿里云iDST资深技术专家褚崴给大家带来了《阿里云机器学习平台》的分享，他以机器学习的概念入手展开了此次分享，演讲中他重点介绍了阿里云机器学习平台的基础架构和产品特点，并结合阿里... 查看详情

阿里云机器学习pai构建ai集团军作战，联手intel在ai软硬件领域发力

第一届“英特尔创新大师杯”深度学习挑战赛已在阿里云天池平台如火如荼的进行中。本次大赛由英特尔主办，阿里云计算平台机器学习PAI联合达摩院以及中文信息协会等组织机构联合承办，共有近7500支队伍报名参赛... 查看详情

感悟：微博深度学习平台架构和实践

...布式性能上表现优异。PaddlePaddle、鲲鹏、Angel则是百度、阿里、腾讯分别推出的分布式计算框架。腾讯深度学习平台DI-X 腾讯深度学习平台DI-X于2017年3月发布。DI-X基于腾讯云的大数据存储与处理能力来提供一站式的机器... 查看详情

机器学习pai实践二人口普查统计

...、背景感谢大家关注玩转数据系列文章，我们希望通过在阿里云机器学习平台上提供demo数据并搭建相关的实验流程的方式来帮助大家学习如何通过算法来挖掘数据中的价值。本系列文章包含详细的实验流程以及相关的文档教程... 查看详情

阿里pai深度学习组件：tensorflow实现图片智能分类实验

PAI简介阿里云机器学习PAI（PlatformofArtificialIntelligence）是一款一站式的机器学习平台，包含数据预处理、特征工程、常规机器学习算法、深度学习框架、模型的评估以及预测这一整套机器学习相关服务。由于目前PAI还属于公测阶... 查看详情

机器学习pai实践二人口普查统计

...、背景感谢大家关注玩转数据系列文章，我们希望通过在阿里云机器学习平台上提供demo数据并搭建相关的实验流程的方式来帮助大家学习怎样通过算法来挖掘数据中的价值。本系列文章包括具体的实验流程以及相关的文档教程... 查看详情

阿里pai_机器学习-入门介绍

世界上机器学习的从业者基本是算法的使用者10万，真正算法的研究者2万查看详情

[阿里云-机器学习pai快速入门与业务实战]课时1-机器学习背景知识以及业务架构介绍

什么是机器学习？机器学习指的是机器通过统计学算法，对大量的历史数据进行学习从而生成经验模型，利用经验模型指导业务。目前机器学习主要在一下一些方面发挥作用：营销类场景：商品推荐、用户... 查看详情

pai-diffusion模型来了！阿里云机器学习团队带您徜徉中文艺术海洋

导读近年来，随着海量多模态数据在互联网的爆炸性增长和训练深度学习大模型的算力大幅提升，AI生成内容（AIGeneratedContent，AIGC）的应用呈现出爆发性增长趋势。其中，文图生成（Text-to-imageGeneration）任务是最流行的AIGC任务之... 查看详情

机器学习理论基础学习3---linearclassification线性分类之线性判别分析

下面依次讲解以下五个线性分类的算法：查看详情

数加平台——阿里大数据os实践

数加是什么在阿里云的官网打开大数据部分（整个大数据部分统称为数加），其中包括：大数据基础服务部分，MaxCompute、ADS、流计算、大数据开发套件；人工智能部分，机器学习（基础平台是PAI）、语音识别、ET等；数据分析展... 查看详情

机器学习数学基础之矩阵理论

　　目录一、线性空间1. 线性空间的概念（1）线性空间的定义（2）线性空间的本质2. 线性空间的基（1）线性表示（2）线性相关（3）线性无关（4） ... 查看详情

机器学习理论基础学习3.4---linearclassification线性分类之gaussiandiscriminantanalysis高斯判别模型

一、什么是高斯判别模型？二、怎么求解参数？查看详情

机器学习｜数学基础mathematicsformachinelearning系列之矩阵理论（20）：方阵函数

目录前言往期文章5.4方阵函数5.4.1方阵函数f(A)f(A)f(A)定义5.4.2用方阵查看详情

机器学习｜数学基础mathematicsformachinelearning系列之矩阵理论（20）：方阵函数

目录前言往期文章5.4方阵函数5.4.1方阵函数f(A)f(A)f(A)定义5.4.2用方阵查看详情

机器学习数学基础之矩阵理论

矩阵求导目录一、矩阵求导的基本概念1. 一阶导定义2. 二阶导数二、梯度下降1. 方向导数.1.1定义1.2方向导数的计算公式.1.3梯度下降最快的方向1.4最速下降方向的判断.1.5最... 查看详情