当嵌入式遇上人工智能,用ok3399-c来做个ai“云监工”!

小螃蟹ya 小螃蟹ya     2022-12-15     321

关键词:

人工智能 (AI) 可以从实时视频流中检测出重要信息,从街道上收集可靠的实时数据并通过 AI 推理对其进行压缩,帮助智慧城市更轻松地管理资源,并改善生活质量、生产力和紧急响应速度。为实现出色的效率,视觉应用必须实时处理海量数据。

OK3399-C开发板是飞凌2020年推出的首款人工智能系列产品。该平台基于瑞芯微RK3399设计,CPU内置Mali-T864GPU,使用大小核的CPU结构,由两个Cortex-A72+四个Cortex-A53组成,在满足用户处理器性能要求的同时,也提供了更加强劲的图形处理性能。

无论是在工业自动化领域,还是前沿的人工智能、边缘计算领域,OK3399-C都能承担极大的工作量。

经CoreMark跑分

单A72核:

Coremark:11396

Coremark/MHz=11396/1800=6.33

双A72核:

Coremark:22610

Coremark/MHz=22610/3600=6.28

6核:

Coremark:39099

Coremark/MHz=39099/9200=4.25

......

通过以上数据可以看到,OK3399-C搭载的CPU RK3399单核性能达到6.33,多核性能也是能达到4.25。

那么这样一个“大心脏”当然还需要其他器官也要强劲,下面来一一介绍。

RK3399搭载Mali-T860GPU,支持OpenGLES1.1/2.0/3.0/3.1,OpenCL。支持AFBC(帧缓冲压缩),节省GPU的带宽,提升性能的同时降低功耗,更是为强大的GPU狠狠的助了一把力。视频显示部分支持4KV P9 and 4K 10bits H.265/H.264 视频解码,高达60fps。支持双VOP显示:分辨率分别支持4096x2160及2560x1600,显示支持双通道MIPI-DSI、eDP1.3、HDMI2.0支持4K60Hz、以及DP1.2多种接口。支持双路摄像头数据同时输入,双ISP像素处理能力高达13MPix/s。

枯燥的东西介绍了很多,那么这么强劲的CPU性能,如此高的运算速度,丰富的接口,以及1300万像素输入、4K视频输出,哪里才是它的用武之地呢?

必然是一个需要计算量大,实时性强的应用场景,最典型的就是目前最火热的AI人工智能了。

------

飞凌对于OK3399-C在AI领域的应用也是下了很深的功夫,系统集成了TensorFlow AI框架,支持ArmNN加速,并提供测试demo和方法。另外还有OpenCV、OpenCL、OpenGL的测试例程。

下面进入本文的重点:OK3399-C+RK1808计算棒运行智能识别程序。

流程大体如下,在OK3399-C平台上开发好的模型固化到计算棒上,然后部署到设备中,实现设备的人工智能计算。

按照OK3399-C平台Desktop系统+RK1808计算棒应用手册,对RK1808计算棒的网络进行配置之后,可以按照对应IP登录到计算棒上,设置其主动模式和被动模式。

主动模式Mobilenet-ssd 测试

按照手册中的内容配置好环境之后,运行编译好的上位机程序:./ssd_demo

效果如下:

可以看到能进行物体的识别和种类的计算。

主动模式yolov3测试 

运行应用后的效果▼

能识别鼠标、键盘、显示器、人等物体,并且识别速度很快。

另外,OK3399-C也能搭配1808的被动模式,其被动模式整体数据流图如下:

先是由摄像头采集到数据流,后经OK3399-C处理传输给RK1808计算棒,计算棒处理后的结果推回给OK3399-C,再经显示器显示。

下面是RK1808被动模式的测试结果:

被动模式Mobilenet-ssd 测试 

可以正确识别显示器、水杯、键盘等物体,可以发现FPS要比被动模式高,说明此种模式运行更快。

被动模式Rock-X 测试 

提供了多个Rock-X测试例程:

Rock-Xcommand_line_demo 提供的例程

Rockx_carplate_demo车牌识别

Rockx_face_attribute_demo人脸属性识别(性别、年龄)

Rockx_face_detection_demo人脸检测

Rockx_face_landmark_demo人脸特征点定位

Rockx_head_detection_demo人头检测

Rockx_object_detection_demo物体检测

Rockx_object_track_demo物体运动检测

Rockx_pose_body_demo人体姿态检测

Rockx_pose_finger_demo手掌节点姿态检测

Rockx_face_liveness_demo活体检测Rockx_face_recognition_demo人脸识别对比

上图使用了Rockx_face_landmark_demo,抓取了人脸特征的68个点。还有很多其他的测试应用,没有一一测试。

被动模式yolov3测试 

安装python、TensorFlow和RKNN-Toolkit 插件后运行yolov3测试demo:

在能准确分辨物体的前提下其FPS能达到30。

经过以上测试,OK3399-C的计算能力,尤其搭载RK1808计算棒之后的运算能力可见一斑。实际上,这个平台还有很深的潜力可挖掘,就要靠以后研发和使用的工程师们共同努力了。

进入飞凌嵌入式官网,了解关于OK3399-C开发板的更多信息。

[当人工智能遇上安全]1.人工智能真的安全吗?浙大团队外滩大会分享ai对抗样本技术

...者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享... 查看详情

当unity实时3d引擎遇上ai虚实交互,unity要成为元宇宙时代的新引擎

...心支撑。编辑|宋慧出品|CSDNAI领域的年度盛会——2022世界人工智能大会(WAIC)最近圆满闭幕了,全球AI领域的1200余名参会嘉宾纷纷就 查看详情

当英特尔openvino遇上微软azure,ai在边云协同的新方案

...需求也随之增加。根据Eclipse对边缘负载的分析显示,人工智能是边缘计算中占比最高的负载之一,高于控制逻辑、数据分析等负载所占比例。凭借企业级至强系列处理器,在云计算的基础设施中处于核心位置的英特... 查看详情

当ai遇上k8s:使用rancher安装机器学习必备工具jupyterhub(代码片段)

...建可扩展的工作区。   本文来自RancherLabs 人工智能(AI)和机器学习(ML)正在成为技术领域的关键差异化因素。从本质上讲,人工智能和机器学习都是计算量巨大的工作负载,它们需要一流的分布式计算环境才能... 查看详情

我用深度学习做个视觉ai微型处理器!(代码片段)

...赞收藏,跟着本文做完,你也可以做一个自己的嵌入式AI小产品!属于AI人的硬核快乐背景随着硬件尤其是显卡性能升级,以及Pytorch,TensorFlow深度学习框架日趋完善,视觉AI算法在多个领域遍地开花,... 查看详情

[当人工智能遇上安全]2.清华张超老师-greyone:discovervulnerabilitieswithdataflowsensitivefuzzing

...者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享... 查看详情

[当人工智能遇上安全]4.基于机器学习的恶意代码检测技术详解(代码片段)

...者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享... 查看详情

[当人工智能遇上安全]5.基于机器学习算法的主机恶意代码识别研究(代码片段)

...者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享... 查看详情

[当人工智能遇上安全]3.安全领域中的机器学习及机器学习恶意请求识别案例分享(代码片段)

...者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享... 查看详情

[当人工智能遇上安全]6.基于机器学习的入侵检测和攻击识别——以kddcup99数据集为例(代码片段)

...者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享... 查看详情

ai简报20210827期ai芯片逐步落地智能教育硬件市场!用ai设计芯片会成为未来趋势吗?...(代码片段)

嵌入式AI硬件1.集成全球最大AI芯片,Cerebras发布全球首个人类大脑规模的AI解决方案原文:https://new.qq.com/omn/20210826/20210826A06VH900.html8月25日凌晨,曾推出“全球最大”的AI芯片WaferScaleEngine(以下简称“WSE”)的... 查看详情

当chatgpt遇上弱智吧…

明敏萧箫发自凹非寺量子位|公众号QbitAI没想到,无敌如弱智吧,也有被ChatGPT“反将一军”的时候。提问AI“咱们来玩个马吃草的扮演游戏吧,我草你马。”AI咀嚼了一下这句话,回击:你马我草!△图源微... 查看详情

嵌入式人工智能,理念还是噱头?

在追寻AI商业化的道路上,人们逐渐发现,要实现技术的落地,不仅需要性能优越的算法模型以及可靠的硬件支持,还需要把AI技术和硬件环境进行有机结合,再应用到具体的实际场景中,进而满足用户的... 查看详情

研发干货丨基于ok3399-c平台android系统下实现图像识别

首先我们了解下android系统常用的图像识别框架 一:调用一些不开源库进行识别旷视的图像识别及OCR文字识别库,及其他厂家如阿里,百度,华为,腾讯的OCR文字识别库等。 二:调用一些开源库进行识别... 查看详情

ai简报20211203期国产gpu全面开花!黑芝麻智能与rt-thread达成战略合作

...Thread嵌入式AI师资培训随着AI技术的不断成熟和发展,人工智能正成为推动经济社会发展的新引擎,被广泛应用于各行业。随着深度学习等人工智能理论与技术的发展,越来越多的人工智能学习与推理从云端开始向终... 查看详情

基于fet3399-c嵌入式核心板的pcr解决方案

术可以实现在体外对DNA片段进行大量的复制,使得原来微量的DNA片段扩增到易于检测的界限,以达到对目标DNA片段的检测效果,属于生物检测分析领域中最为关键的技术。PCR可应用在各种与核酸检测相关的场景中࿰... 查看详情

当ai遇上web3,会碰撞出什么火花?

2020年之前,Web3的路是创造者们铺好的。但Web3遇上了金融,这出乎了每个创造者的意料之外,稳定币、AMM和借贷突其来地点燃了2020年的那个夏天。之后Web3又遇到了NFT、游戏和元宇宙。不过因为技术限制,除了金... 查看详情

当spark遇上zeppelin

本文原先发表在GitChat上面,现在(2020/03/14)冻结时间(一年)已过,这里将其拉回博客。随着数据时代和AI时代的到来,几乎所有的企业都在建设自己的大数据系统。为了提高数据处理能力,突破... 查看详情