云边端一体化的异构ai计算

Hardy晗狄 Hardy晗狄     2022-12-02     304

关键词:

 

中国人工智能市场快速增长,其中边缘计算占比越来越高,业务场景的碎片化以及底层硬件的多样性的问题给边缘计算的开发部署带来较大的挑战。

 

本次分享主要介绍阿里云AI异构计算编译框架HALO以及面向深度学习的异构硬件统一接口规范ODLA,通过具体的实例说明如何利用异构编译和硬件架构抽象实现上层应用在异构计算资源上的平滑迁移。后半部分介绍ODLA.CV (多媒体Pipeline自动生成)技术,以及多媒体+AI的相关探索和应用。

 

通过HALO总体框架介绍,以及异构硬件统一接口规范ODLA,通过静态全编译的方式可以让业务模型跟框架解耦合,通过ODLA实现和具体硬件解耦合,实现平滑迁移;通过具体的例子来说明Halo和ODLA的工作流程。

 

介绍多媒体Pipeline自动生成技术,解决上层业务场景的碎片化定制化的问题。

 

首先,通过HALO静态全编译的方式可以让业务模型跟框架解耦合,同时提升性能,避免框架开销;通过ODLA统一抽象的方式实现和具体硬件解耦合,实现平滑迁移,产生一次,随处执行;通过HALO/ODLA实现AI的平滑迁移。

 

其次,通过多媒体Pipeline自动生成技术解决上层业务场景的碎片化(需要高度定制)带来的开发效率问题。

 

最后,介绍多媒体+AI相关的一些探索和优化工作,以及相关的应用落地,和未来的思考。

 

来源:智能计算芯世界

下载链接:云边端一体化的异构AI计算

 

 

来源:智能计算芯世界

下载链接:云边端一体化的异构AI计算

智能异构计算服务器

智能平台白皮书

2021年AI在工业领域的研究报告

异构芯片研究框架合集

 

 

转载申明:转载本号文章请注明作者来源,本号发布文章若存在版权等问题,请留言联系处理,谢谢。

 

推荐阅读

更多架构相关技术知识总结请参考“架构师全店铺技术资料打包”相关电子书(37本技术资料打包汇总详情可通过“阅读原文”获取)。

全店内容持续更新,现下单“全店铺技术资料打包(全)”,后续可享全店内容更新“免费”赠阅,价格仅收198元(原总价350元)。

 

 

温馨提示:

扫描二维码关注公众号,点击阅读原文链接获取架构师技术全店资料打包汇总(全)”电子书资料详情。

云边端协同场景下的“ai+”视频融合能力,如何赋能多行业应用?

...是在AI人工智能技术进一步落地应用的趋势下,基于云边端深度融合与协同的“AI+”模式,在满足用户对视频服务的智能识别需求上,让算力资源得到最优化分配、调度和利用,已经成为当前行业与技术发展的... 查看详情

ai云边端算力调度智能分析网关算法模块细节优化介绍

AI智能分析网关内置多种AI算法,并且可支持将多种AI算法在算法仓中进行管理调度,实现数据按需汇聚、AI算力资源的灵活与精细化调度能力。基于智能分析网关+EasyCVR视频融合平台的AI视频智能分析能力,可对监... 查看详情

ai云边端调度能力easycvr分辨率的优化设计

将AI智能分析网关接入到EasyCVR视频融合云平台,通过对监控场景中的视频图像进行智能识别与分析,可提供人脸、人体、车辆、烟火、物体、行为等识别、抓拍、比对、告警等服务,支持对场景中的异常及违规现象进... 查看详情

云边协同与人工智能ai的深度融合(云端训练边端推理)

在面向物联网、大流量等场景下,为了满足更广连接、更低时延、更好控制等需求,云计算在向一种更加全局化的分布式节点组合形态进阶,边缘计算是其向边缘侧分布式拓展的新触角。以物联网场景举例,设备... 查看详情

云边端协同场景下的“ai+”视频融合能力,如何赋能多行业应用?

...是在AI人工智能技术进一步落地应用的趋势下,基于云边端深度融合与协同的“AI+”模式,在满足用户对视频服务的智能识别需求上,让算力资源得到最优化分配、调度和利用,已经成为当前行业与技术发展的... 查看详情

ai云边端算力调度智能分析网关算法模块细节优化介绍

...决以上问题。基于智能分析网关+EasyCVR视频融合平台的云边端协同架构,能提供基于全局数据的云服务,通过汇集、融合所有的数据,并提供相关的计算、网络、存储、安全资源等,实现对全业务链的智能调度... 查看详情

详解边缘计算系统逻辑架构:云边端协同

导读:本文将对整个边缘计算系统的逻辑架构及云、边、端之间的逻辑关系进行系统梳理。作者:崔广章来源:大数据DT(ID:hzdashuju)01边缘计算系统逻辑架构简介由图3-1可知,逻辑架构侧重边缘计算... 查看详情

深度学习的异构加速技术:ai需要一个多大的“心脏”?

...云、高速视觉感知等方向的构架设计和优化。“深度学习的异构加速技术”系列共有三篇文章,主要在技术层面,对学术界和工业界异构加速的构架演进进行分析。一、概述:通用=低效作为通用处理器,CPU(CentralProcessingU 查看详情

浅析云边端协同与算力调度在ai视频检测场景中的应用意义

人工智能在医疗卫生、能源动力、交通航天、语言图像识别等领域发挥着重要作用,在安防等领域也同样值得期待。人工智能、深度学习、视频结构化技术、物联网技术,大数据分析等变革性技术的应用,使安防视频... 查看详情

深度学习的异构加速技术:螺狮壳里做道场

...云、高速视觉感知等方向的构架设计和优化。“深度学习的异构加速技术”系列共有三篇文章,主要在技术层面,对学术界和工业界异构加速的构架演进进行分析。一、综述在“深度学习的异构加速技术(一)”一文所述的AI加... 查看详情

云边端协同ai智能分析网关通道管理及人脸检测效果演示

关于TSINGSEE云-边-端-AI智能分析网关的相关功能介绍及应用场景,感兴趣的用户可以翻阅我们的历史文章进行了解。该设备内置多算法框架,支持对接入的多路视频流进行AI智能识别,支持对监控场景中的异常及违规现... 查看详情

如何对可变参数模板函数的异构参数包进行通用计算?

】如何对可变参数模板函数的异构参数包进行通用计算?【英文标题】:Howtomakegenericcomputationsoverheterogeneousargumentpacksofavariadictemplatefunction?【发布时间】:2012-12-2500:47:21【问题描述】:前提:在尝试了一些可变参数模板之后,我... 查看详情

easycvr新版本如何通过接口获取ai智能分析网关推送的告警照片?

...EasyCVR可支持多协议、多类型设备接入,平台基于云边端一体化架构,支持海量视频资源的轻量化接入,能将复杂多变的底层资源统一管理起来,实现视频资源的统一汇聚与管理、鉴权分发、服务器集群、智能分析、数据共享、... 查看详情

边缘计算系统逻辑架构:云边端协同,定义及关系

引言5G和物联网时代的到来,海量数据的产生与任务计算对现有网络产生极大的冲击,基于Internet的云计算虽然提供了对虚拟共享的可配置计算和存储资源的广泛访问和按需访问,是处理海量数据与计算任务... 查看详情

视频“云边端”全流程支持h.265,意味着更低的流量成本与更高的视频质量,计算压力都在边缘侧

作为新一代的安防视频编码技术,H.265编码视频对比同一片源的H.264,H.265视频的码率为610kbps,文件大小3.10MB,而H.264视频的码率达到了1183kbps,文件大小也有6.01MB,H.265(HEVC)标准可比H.264标准节省40%~45%的码... 查看详情

应对全场景ai框架部署挑战,mindspore“四招”让你躺平

...要:所谓全场景AI,是指可以将深度学习技术快速应用在云边端不同场景下的硬件设备上,包括云服务器、移动终端以及IoT设备等等,高效运行并能有效协同。本文分享自华为云社区《AI框架的挑战与MindSpore的解决思路》,原文... 查看详情

openyurt在龙源cnstack云边协同项目的应用

...入的智能边缘计算平台,具备全方位的“云、边、端一体化”能力,能够快速实现海量边缘计算业务和异构算力的高效交付、运维及管理。其在云平台、云游戏、AI、IOT领域早已有众多落地用户。OpenYurt完美适配和解耦于... 查看详情

openyurt在龙源cnstack云边协同项目的应用

...入的智能边缘计算平台,具备全方位的“云、边、端一体化”能力,能够快速实现海量边缘计算业务和异构算力的高效交付、运维及管理。其在云平台、云游戏、AI、IOT领域早已有众多落地用户。OpenYurt完美适配和解耦于... 查看详情