轻量化ai服务再添两将!阿里云机器学习paidsw2.0&alink商业版重磅发布(代码片段)

author author     2023-03-16     770

关键词:

DSW 2.0:面向AI研发的集成开发平台

DSW(Data Science Workshop)是阿里巴巴PAI团队根据多年的AI算法和产品研发经验积累,围绕提高AI算法研发效率,降低研发成本而推出的一款适用于各类AI开发者的云端机器学习集成开发环境。DSW2.0是借助阿里云ECS,Docker和Kubernetes等云原生技术,能够在几分钟内帮用户完成环境搭建,相对DSW1.0开放更高的开发权限,满足各个层面客户的使用需求。

技术图片

  • 云原生架构

DSW借助阿里云ECS,Docker和Kubernetes等云原生技术,能够在几分钟内帮用户完成环境搭建。用户可以根据算法需要和成本考虑,选择阿里云ECS提供的包括CPU和异构计算GPU在内的所有资源规格。

  • 满足不同层次开发习惯

结合交互式编程和命令行输入,DSW提供了三种编程入口: WebIde适用于工程化要求比较高的项目;JupyterLab适用于快速POC试验;Terminal入口可用于快速执行Shell命令,运行程序和简单的编辑等。

  • 预装丰富插件

DSW还开发和预装了各种JupyterLab和WebIDE插件,比如广受深度学习开发者喜爱的可视化工具Tensorboard,用户在DSW内通过Launcher,Commands打开,甚至还可以使用%tensorboard魔法命令直接在Notebook中开启等多种方式使用Tensorboard。不仅支持本地文件,还可以打开存放在OSS,ODPS里的训练日志。针对算法同学使用Python比较多的特点, DSW的WebIDE内安装了Python插件,可以直接在浏览器内在线调试,单步跟踪程序运行。用户还可以根据需要,自主安装需要的任意插件。

  • 支持多种数据源读写

NAS, OSS,云盘和MaxCompute,尤其是内置了dswmagic魔法命令可以让用户在ipynb文件中使用SQL语句读写MaxCompute表中数据,预置的SQL编辑器支持语法高亮、智能提示、自动补全等功能,还支持运行带变量替换功能的Sql脚本。查询结果自动以最友好的图形化展示。

Alink:流批一体机器学习算法平台

Alink拥有丰富的批式算法和流式算法,能够帮助数据分析和应用开发人员能够从数据处理、特征工程、模型训练、预测,端到端地完成整个流程。Alink提供的功能算法模块中,每一个模块都包含流式和批式算法。比如线性回归,包含批式线性回归训练,流式线性回归预测和批式线性回归预测。另外,Alink算法覆盖分类、回归、聚类、评估、统计分析、特征工程、异常检测、文本、在线学习、关联分析等经典领域,是一个通用的机器学习算法平台。

技术图片

  • 算法性能

我们从下图中可以看出在回归算法中,Alink算法性能最高优于Spark 1.38倍;分类算法中Alink大多数算法性能优于Spark,最高优于2.52倍;聚类算法Alink算法性能最高优于Spark 1.85倍;协同过滤Alink算法性能最高优于Spark 2.26倍。

技术图片

                                         Flink VS Spark算法性能
  • 更友好的交互式体验

我们提供两种用户使用界面:web和PyAlink。Web界面提供拖拽的方式创建试验,通过对每一个组件进行配置完成整个试验的参数配置。在各个算法节点旁,我们用闪烁的小灯泡

2步打通modelarts和astro,实现ai应用快速落地

...供了丰富的预置算法、模型和数据集,以及强大的Notebook服务、Codelab服务、MLStudio服务等工具,让AI开发者可以快速构建和训练AI模型,并将模型部署为在线服务或批量服务。Astro轻应用是 查看详情

亚马逊是如何研究和量化机器学习

...马逊AWS首席科学家AnimashreeAnandkumar解读我们该如何研究和量化机器学习。深度学习需要经过多层甚至数百层的处理过程,机器学习也会在不同的GPU,进行跨机器、跨设备处理,这就需要网络技术。而多域模型能够帮助我们同时处... 查看详情

四两拨千斤!ai大牛周明率澜舟团队刷新clue新纪录,轻量化模型孟子一鸣惊人...

...;不是大公司、不是超大模型……一个新面孔,一个轻量化模型,首战即登顶,四两拨千斤。CLUE近年来由巨头——腾讯、搜狗、华为、阿里达摩院轮番霸榜的格局,被首次打破。澜舟科技-创新工场推出的孟子 查看详情

阿里云机器学习平台——pai平台

在云栖TechDay第十五期活动上,阿里云iDST资深技术专家褚崴给大家带来了《阿里云机器学习平台》的分享,他以机器学习的概念入手展开了此次分享,演讲中他重点介绍了阿里云机器学习平台的基础架构和产品特点,并结合阿里... 查看详情

基于kubevela的机器学习实践(代码片段)

...Vela的AI插件,来帮助工程师更便捷地完成模型训练及模型服务。作者:KubeVela社区在机器学习浪潮迸发的当下,AI工程师除了需要训练、调试自己的模型之外,还需要将模型进行部署上线,从而验证模型的效果(当然,有的时候... 查看详情

阿里云机器学习平台pai之理论基础

🍓在前几章的学习中,我们学习了阿里云系列的计算平台MaxComputer、大数据治理和分析平台DataWorks和可视化平台QuickBI,今天进入阿里云大数据的最后部分的学习——机器学习平台PAI,对往期内容感兴趣的小伙伴可... 查看详情

hfs轻量化的文件服务器

国外的工具 国内的工具 查看详情

从量子加密到机器学习,盘点2015阿里云开放的黑科技

...国。2015年产业规模依然保持快速增长。且国内的公有云服务领域有 查看详情

阿里云机器学习平台pai之分类实践(代码片段)

...容👇:hadoop专题:hadoop系列文章.spark专题:spark系列文章.阿里云系列:阿里云MaxComputerSQL学习之DDL.阿里云系列:阿里云MaxComputerSQL学习之DML.阿里云系列:阿里云Ma 查看详情

阿里天池实验室简明教程以及docker安装使用[一](代码片段)

...开发者量身打造的云端开发环境,用户可在DSW中利用阿里云提供的CPU/GPU算力资源实现云端编程,无需任何 查看详情

阿里云机器学习平台pai之理论基础

🍓在前几章的学习中,我们学习了阿里云系列的计算平台MaxComputer、大数据治理和分析平台DataWorks和可视化平台QuickBI,今天进入阿里云大数据的最后部分的学习——机器学习平台PAI,对往期内容感兴趣的小伙伴可... 查看详情

阿里云ai-深度学习糖尿病预测(代码片段)

#!/usr/bin/envpython2#-*-coding:utf-8-*-"""CreatedonSatSep1510:54:532018@author:myhaspl@email:[email protected]糖尿病预测(多层)csv格式:怀孕次数、葡萄糖、血压、皮肤厚度,胰岛素,bmi,糖尿病血统函数,年龄,结果"""importtensorflowastftrainCou 查看详情

个人项目:实现轻量化ftp服务器

项目具体实现(一)项目具体实现(二) 查看详情

个人项目:实现轻量化ftp服务器

项目具体实现(一)项目具体实现(二) 查看详情

个人项目:实现轻量化ftp服务器

项目具体实现(一)项目具体实现(二) 查看详情

拥抱智能,ai视频编码技术的新探索

...与学术界发力推动AI视频编码标准并进行新框架的探索。阿里云视频云在JVET面向人眼的视频编码标准和MPEG面向机器视觉的视频编码标准上均做出重要贡献,对标准发展产生强有力的推动。结合产业需求强劲的视频会议、视频... 查看详情

pai-diffusion模型来了!阿里云机器学习团队带您徜徉中文艺术海洋

导读近年来,随着海量多模态数据在互联网的爆炸性增长和训练深度学习大模型的算力大幅提升,AI生成内容(AIGeneratedContent,AIGC)的应用呈现出爆发性增长趋势。其中,文图生成(Text-to-imageGeneration)任务是最流行的AIGC任务之... 查看详情

从资源弹性到数据弹性,乾象如何将云上量化研究效率提升40%?(代码片段)

...乾象投资MetabitTrading为代表的以人工智能为核心的科技型量化投资公司的工作就非常有代表性。他们通过深度融合和改进机器学习算法,并将其应用于信噪比极低的金融数据中,为投资人创造长期可持续的回报。与传统的... 查看详情