索尼展示了首款组合图像传感器和ai芯片

黑客爱好者 黑客爱好者     2022-12-25     201

关键词:

近日,索尼已经开发了一种有趣的新混合技术:硬件中内置有AI处理系统的图像传感器,使其成为单个集成系统。随着图像和代码的不断融合,这种方法的好处和应用潜力巨大。

技术图片

这个想法在概念上很简单。您可以像今天在任何手机或相机中一样使用传统的CMOS图像传感器,然后将其堆叠在逻辑芯片上,该逻辑芯片不仅用于从传感器上拉出像素,而且用于操作从这些像素中提取信息的机器学习模型。 

结果是单个电子组件可以在将照片发送到其他地方(例如主逻辑板,GPU或云)之前,对照片进行大量有趣的处理。

需要明确的是,图像传感器已经具有伴随处理器,它们可以完成像素分类,将其压缩为JPEG等常规工作。但是他们非常专注于快速执行一些常见任务。

正如该公司所解释的那样,索尼芯片能够处理更复杂的过程和输出。例如,如果暴露于野外的狗中,则芯片可以立即对其进行分析,而无需发送完整的图像,只需报告“狗”,“草”以及它可以识别的其他任何东西。

它还可以进行本质上即兴的编辑,例如裁剪照片中的所有内容,但可以识别并告知要报告的部分,例如花朵,而不是茎。

知名网络黑客安全专家,东方联盟创始人郭盛华透露:"这种系统的好处是,它可以在数据进入主设备的存储或处理管道之前将所有不必要或不需要的数据丢弃。一方面,这意味着使用更少的处理器功能,但它也可能更加安全。"

公共场所的相机可能会抢先模糊人脸或车牌。智能家居设备可以识别个人,而无需保存或发送任何图像数据。可以合并多次曝光以形成相机视场的热量或频率图。

您可能期望具有集成AI流程的芯片会产生更高的功耗或延迟,但是Xnor等公司(最近被Apple收购)已经表明,此类任务可以非常快速地以极低的成本执行。

尽管更复杂的处理仍将是更大,功能更强大的芯片的职责范围,但这种首过验证能够产生大量有价值的数据,并且经过适当设计,可以证明对攻击或滥用更为健壮。

目前,索尼的“智能视觉传感器”仍然只是一个原型,可以订购进行测试,但不能批量生产。但是,由于索尼是全球领先的图像传感器提供商之一,因此很可能会以一种或另一种形式进入许多设备。(欢迎转载分享)

ai芯片加速图像识别

...imagerecognition法国研究机构CEA-Leti和LIST在2020年VLSI研讨会上展示了一种概念验证芯片,该芯片集成了低功耗物联网节点和人工智能加速器,并展示了超快的唤醒时间,峰值至空闲功耗降低了1500倍。对于机器学习任务,该节点每秒... 查看详情

ai简报20211119期全球ai芯片峰会全球首款4nm手机芯片(代码片段)

...术创新与落地进展的产业盛会。2.天玑9000发布:全球首款4nm手机芯片,游戏性能可比苹果A15原文链接:https://mp.weixin.qq.com/s/c3XTCJmtM5xzmevBKUA-_Q与苹果、高通和华为不同,联发科的手机芯片一直被认为没有达到旗舰手... 查看详情

谷歌首款tensor手机芯片,全是ai炫技,性能一笔带过

...的Pixel6和Pixel6Pro将会搭载谷歌自研的手机芯片Tensor。作为首款自研的手机SoC,谷歌称,在一些AI体验部分会更具个性化,还能做到降低功耗。Tensor都包含什么谷歌的Tensor规划 查看详情

ai简报20220107期百度首款车将搭载英伟达芯片ai为自主材料发现提供动力...

嵌入式AIRT-Thread通过军用嵌入式操作系统测评!原文: https://mp.weixin.qq.com/s/AulYY4lpUi0L9yLAzzjMkQ日前,RT-ThreadSpace高可靠性嵌入式实时操作系统完成北京轩宇信息技术有限公司(以下简称“轩宇信息”)第三方测评ÿ... 查看详情

quanergy展示业界首款基于opa的100米范围固态激光雷达

...物联网领域提供基于光学相控阵(OPA)的固态激光雷达(LiDAR)传感器和智能3D解决方案的领先供应商。公司今天宣布,其S3系列激光雷达驾驶演示取得圆满成功,S3系列是一种真正的固态激光雷达传感器,采用业界首创的OPA... 查看详情

大华海康小球机用的啥芯片

参考技术A1,大华摄像头索尼芯片与非索尼芯片有何区分2,有知道大华数字硬盘录像机CPU是多大的吗3,海康和大华都有些什么型号的摄像头芯片组合4,现在监控摄像机用的什么芯片5,海康威视大华的网络摄像头用什么POE电源POE... 查看详情

国内首款百tops大算力芯片征程5,q4将落地车企正式sop

参考技术A地平线联合创始人&CTO黄畅博士现场分享近日,地平线对外公布了其大算力芯片平台的最新进展和成果。地平线联合创始人、CTO黄畅博士对外表示,大算力AI自动驾驶芯片征程5将于2022年内完成全部车规可靠性与功能安全... 查看详情

国产边缘ai芯片

...单元(VPU)的AI芯片可用来高效分析和预处理数字图像。嵌入这种AI芯片的摄像头就可以实时进行数据分析,只传输相关数据到云端,而忽略不必要的数据,这样就可以降低存储和带宽要求。降低功耗——边缘A... 查看详情

上海张江又一款ai芯发布!性能超英伟达t4,amd背景团队创办,快手投资

...加速卡VA1。在发布会上,瀚博半导体创始人兼CEO钱军展示了SV100系列的首款产品——SV102智能视觉芯片,瀚博半导体CTO张磊展示了VA1板卡。瀚博半导体这两款产 查看详情

全球首颗!risc-v处理器大飞跃,模拟ai芯片问世

参考技术A近日,据外媒披露,全球首款集成了RISC-V指令集的模拟AI芯片——MythicAMP在美国奥斯汀问世。这是一款单芯片模拟计算设备,并采用Mythic的模拟计算引擎,而不是利用传统的数字来创建处理器,以便于将内存集成到处理... 查看详情

在虚幻引擎5中构建你的首款游戏-08-ai控制和道具(代码片段)

在虚幻引擎5中构建你的首款游戏-08-AI控制和道具前言介绍:原版地址:<<[功能亮点]在虚幻引擎5中构建你的首款游戏(官方字幕)_哔哩哔哩_bilibili>><<https://www.bilibili.com/video/BV1M34y1x7tc>>官网地址:<<YourFirstGameInUnreal... 查看详情

华为海思芯片都有哪些

...推出的一款采用了台积电10nm工艺的新一代芯片,是全球首款内置独立NPU(神经网络单元)的智能手机AI计算平台。华为的新款芯片麒麟970,为推出的旗舰机型Mate10和其他高端手机提供更快的处理速度和更低的功耗。2017年9月2日,... 查看详情

天源财富:cea-leti推出首款用于汽车的自动成像仪

...可靠识别的基于AI的对象识别,是首款此类智能图像传感器。这些关键功能还可以在数十pJ/像素/帧的情况下进行高度可靠的决策,其性能优于现有的现成系统现有的系统。pJ/像素/帧衡量的是一帧图像中每个单个图像在每... 查看详情

oppo发布首个自研npu芯片马里亚纳marisiliconx

...业的UltraHDR能力,无损的实时RAW计算,以及最大化传感器能力的RGBWPro,以芯片级技术突破成就计算影像的新标准。  OPPO发布首个自研NPU芯片——马里亚纳MariSiliconX  OPPO芯片产品高级总监姜波表示:“马里亚... 查看详情

体验首款linux消费级平板,原来芯片和系统全是国产

晓查梦晨发自凹非寺量子位报道|公众号QbitAI国产OS,国产芯片,号称可以写代码,以生产力平板热议于海外的JingPad……真的有那么神吗?不久前,我们介绍了由中国创业团队打造的移动操作系统JingOS,以... 查看详情

在虚幻引擎5中构建你的首款游戏-08-ai控制和道具(代码片段)

在虚幻引擎5中构建你的首款游戏-08-AI控制和道具前言介绍:原版地址:<<[功能亮点]在虚幻引擎5中构建你的首款游戏(官方字幕)_哔哩哔哩_bilibili>><<https://www.bilibili.com/video/BV1M34y1x7tc>>官网地址:<<YourFirstGameInUnreal... 查看详情

腾讯正式加入ai战团,小微首款应用曝光!

6月21日-22日,腾讯云+未来峰会在深圳盛大召开。会上,腾讯云首次发布“AI即服务”战略新品“智能云”,将腾讯在计算机视觉、自然语言处理、语音识别等领域的三大核心AI能力开放给更多企业和机构。650)this.width=650;"src="http:/... 查看详情

ai简报20210813期西人马首次发布一体式aisoc芯片三星发布5nm可穿戴处理器...

...#xff0c;西人马科技发布了FT1700芯片,这是西人马推出的首款一体式AISoC芯片。FT1700芯片基于异构多核处理器架构,集成了4个CPU和4个DSP,即8个核心处理器,同时还集成了一个 查看详情