备受青睐的4d毫米波成像雷达,何以助力高阶自动驾驶落地?

HiEV HiEV     2023-04-01     254

关键词:

近日,海外媒体曝出特斯拉已向欧洲监管机构提交车辆变更申请,并猜测特斯拉最新的自动驾驶硬件HW4.0或将很快量产上车。据爆料,HW4.0最大的变化是马斯克放弃的毫米波雷达又加了回来,根据国外知名博主Greentheonly的拆解分析,新加的雷达很有可能是高分辨率毫米波雷达。早在去年6月,特斯拉就向美国联邦通信委员会(FCC)申请在其电动汽车中使用全新的高分辨率雷达。

马斯克作为创新技术的先锋者和技术普惠主义的践行者,一直倡导特斯拉尽可能少地使用传感器,一是为了降低成本,二是可以减少数据融合与处理给自动驾驶系统造成的挑战。基于在纯视觉感知技术上的领先性,马斯克不仅公开鄙视激光雷达,还先后移除了特斯拉的毫米波雷达和超声波雷达,自此成为“雷达杀手”,坚持用“8摄像头”纯视觉方案实现全自动驾驶。不过即便对纯视觉路线十分自信,马斯克也曾“暧昧”地表示“高分辨率的毫米波雷达胜过纯视觉。”

图片来源:推特

此次马斯克重拾毫米波雷达,表面上看是用多传感融合感知路线打了纯视觉感知路线的脸,不过结合产业发展趋势细究其背后的动机,或许能够因此看到自动驾驶产业更加光明的未来。

自动驾驶汽车发展到今天,智能化程度越来越高,而自动驾驶的终极目标就是推动汽车能够像人类一样感知、认知并行动,最终不再需要人类驾驶员介入以实现无人驾驶。这一点与人工智能发展的趋势一致,人工智能的终极目标就是达到具备认知推理能力的类脑智能。认知,即基于感知到的信息进行加工,进而主动思考和理解,感知只是认知的基础。人工智能时代的自动驾驶只有具备了认知能力,自动驾驶汽车才能更聪明地执行相应的决策。

擅长利用第一性原理探索事物本质的马斯克,正是无人驾驶目标的坚定执行者。从更接近无人驾驶的角度再次考量特斯拉的自动驾驶感知路线,无论是对纯视觉路线的坚持,还是如今对于超高分辨率雷达的认可,马斯克似乎都在做同一个选择,那就是不断提升自动驾驶感知系统的认知能力。

认知对于具有语义分割和理解能力的可见光摄像头而言具有天然优势,不过对于毫米波雷达而言,或许需要艰难的跨越。但显然马斯克已经找到了正解——超高分辨率毫米波雷达。

•4D毫米波成像雷达是何方神圣

为实现盲点检测和定距巡航等功能而存在的传统毫米波雷达,已在汽车产业应用多年,其所拥有的全天候全天时感知特性以及精准测速特性,使得毫米波雷达成为汽车感知系统中重要的传感器之一。

但由于传统车载毫米波雷达测高能力不足,对于路边低矮目标、空中目标以及路面静态目标的区分和识别存在较大局限性,整体输出信息量与可见光摄像头、激光雷达的信息输出不在同一量级,所以在自动驾驶感知系统中的参与度和置信度并不高,无法深度参与自动驾驶感知过程。马斯克就曾表示,摄像头的信息量已经比雷达高上几个数量级,加入雷达的数据实际上降低了信噪比。

面对自动驾驶对感知可靠性和安全性越来越高的要求,一种高信息质量、高性价比的超高分辨率毫米波雷达为自动驾驶感知系统创造出了新的想象空间,也就是近来备受产业关注和投资者青睐的“4D成像雷达”。

4D成像雷达全称为“4D毫米波成像雷达”,“4D”是相对于传统毫米波雷达(也即3D雷达)仅有距离(Range)、速度(Velocity)、方位角(Azimuth)三个维度的信息而言,增加了俯仰角度(Elevation)的信息感知能力,可对纵向目标进行高分辨率地识别;“成像”则类似于激光雷达的点云成像效果,与传统毫米波雷达相比,4D成像雷达的射频收发通道数量多出十倍以上,随着俯仰角分辨率大大提高,能够对目标和环境呈现出丰富的点云图像以及距离、速度和角度信息。

由于当前业界对于4D成像雷达缺乏统一的定义,坊间经常将“4D毫米波成像雷达”与“4D毫米波雷达”相混淆,但二者其实是两种完全不同性质的毫米波雷达。

4D毫米波雷达只是在传统3D雷达的基础上增加了俯仰角度的测量,俯仰向分辨能力较低,此时俯仰角度的信息测量误差较大,因此通过角度信息计算出的高度信息精度依然不高。同时4D毫米波雷达相较于传统3D雷达的输出测量点仅仅只有少量增加,因此4D毫米波雷达本质上仍属于点迹雷达的范畴。而只有4D毫米波成像雷达真正完成了从点迹雷达向成像雷达的进化。

4D成像雷达相较于传统毫米波雷达有着质的飞越,使得毫米波雷达不仅能感知目标的有无,还能勾勒出目标的轮廓,这在传统毫米波点迹雷达时代是难以想象的。基于此,面对智能化程度越来越高的自动驾驶,毫米波雷达力不从心的尴尬局面也将迎来扭转。

“4D成像雷达的出现,将显著提高毫米波雷达在自动驾驶感知中的参与度,”上海几何伙伴智能驾驶有限公司产品总监周明宇对4D成像雷达抱有极大期待,“因为4D成像雷达可以对目标的四大维度进行检测,能够输出高密度高质量的点云信息以实现成像。基于丰富的环境与目标信息输出,再引入神经网络进行深度学习与处理,可以对更多复杂场景下的动静态目标进行更为精准的检测,同时也为毫米波雷达从感知走向认知打下了基础。”

除此之外,“4D成像雷达的出现使得毫米波雷达在应对智能驾驶或自动驾驶中的一些边缘场景(corner case)时也有了用武之地。”据周明宇透露,“我们的4D成像雷达正是为应对一些边缘场景的需求而研发的,比如对高度维障碍物的识别,最典型的就是隧道,以及恶劣天气环境、复杂交通场景等等。自动驾驶需要自车周围完整丰富的环境信息和目标信息,基于这些信息完成智驾功能,比如AVP、APA、FREESPACE等。”

视频来源:几何伙伴官网

•高阶自动驾驶落地“变局”

正如人工智能发展到类脑智能需要不断提高认知推理能力,高阶自动驾驶的发展同样需要具备认知能力,这对作为认知基础的感知系统提出了更高的要求。现阶段最为主流的自动驾驶感知传感器主要有可见光摄像头、激光雷达以及毫米波雷达三大类,其中可见光摄像头和激光雷达同属光学传感器,毫米波雷达属于射频传感器,马斯克如今选择重拾毫米波雷达,客观上促成了异构信息的冗余。随着多传感器的使用,异构信息的大量冗余,对于融合感知算法也带来新的技术要求。

将多传感器信息融合在一起,市场上主流有两种方式,前融合和后融合。4D成像雷达更加有利于实现多传感器的前融合,降低差异度,但同时需要匹配足够优化的融合算法。

高阶自动驾驶行业发展也正在走上一条加速反馈的路程,通过传感器增加感知信息,从而推动认知算法的发展;由于认知算法的计算需求,增加对于芯片处理器的算力要求。基于传感器,认知算法,芯片的三驾马车,进而推动高阶自动驾驶的快速发展,从而实现融合认知,各种复杂场景、恶劣天候下的全无人驾驶或许才能真正像人类一样思考和行动。

而第一个破局点,4D成像雷达的出现,以其海量信号级信息的释放,提高了输出信息的完整性,为异构信息融合认知的实现增加了可能性,同时也为高阶自动驾驶开辟了一条高性价比、能快速商业化落地的技术路径。4D成像雷达既保留了传统毫米波雷达的性能特点——具备速度感知能力和全天候全天时特性且成本低,也能凭借足够丰富的信息量去和可见光摄像头、激光雷达等传感器形成融合。

或许正是因为意识到这一点,如今4D成像雷达越来越被寄予助力高阶自动驾驶落地的厚望。国际上,不仅博世、大陆、采埃孚、电装等在加大力度布局,全球ADAS视觉感知方案巨头Mobileye也加快了对成像雷达研发的进程,其雷达副总裁兼总经理Yaniv Avital就曾表示:“通过提供丰富可靠的数据输出,升级雷达4D感知功能,并减少对多个激光雷达传感器的需求,是大势所趋。”

在国内,4D成像雷达也引起了主机厂、产业链供应商以及科技公司的广泛关注。从2021年开始,可以明显感觉到行业中关于4D成像雷达的消息渐多,当年官宣下场造车的小米和百度一起投资了一家自动驾驶整体解决方案供应商——几何伙伴,该公司就是基于自主研发的4D成像雷达结合可见光视觉和红外成像等,打造“融合感知+智能决策”的自动驾驶软硬件集成系统。 

公开资料显示,几何伙伴以“低成本、全天候、高可靠、易量产”的自动驾驶技术路线为主,创新性地将4D成像雷达海量信号级信息进行释放,有效提高了输出信息的完整性,避免了传统经典算法对弱目标、静态目标等信息造成的过度过滤。其自主研发的4D成像雷达,已经具有目标跟踪定位、可行驶区域检测以及自动泊车等能力,助力自动驾驶实现更加精准的环境认知和更加可靠的决策。

除此之外,几何伙伴还基于4D成像雷达生成的点云图像与可见光摄像头生成的视觉图像进行异构信息融合,研发出雷视像素级融合感知系统,实现了信息加强和信息互补,提升系统感知能力的同时增加了安全冗余。同时,几何伙伴采用4D成像雷达结合鱼眼环视相机实现雷视双维SLAM技术,大幅提升建图定位精度和鲁棒性,并且引入停车位等语义地图信息,进一步提升后续泊车时车位检测的准确性,为智能泊车应用提供低成本、易量产、高可靠的软硬一体化定位感知方案,展示了4D成像雷达在行泊一体方案中的广阔应用前景。

视频来源:几何伙伴

汽车智能化变革已成风口的当下,通过全球科技企业在自动驾驶行业中的动作似乎可以捕捉到些许风向:4D成像雷达和异构信息融合认知技术也许就是未来高阶自动驾驶落地的关键,掌握对于这些技术的领先优势,也就提前拿到了自动驾驶商业化落地的入场券。或许正是以上原因,让几何伙伴在2022年又成功获得了德国博世和国际自动机工程师学会(SAE International)的战略投资。据了解,几何伙伴将于近期完成A1轮融资。

•结语

相对市场发展已经十分成熟的传统毫米波雷达,4D成像雷达还是比较新鲜的事物,国内外相关企业大多处于同一起跑线上,不过即便如此,不同的技术路线、战略视野以及研发布局,也影响着每家企业距离成功商业化落地冲刺线的位置,对于国内本土的科创企业而言,其中蕴藏了绝佳的机遇。

回到当下自动驾驶技术向高阶跃迁之际,4D成像雷达作为自动驾驶认知的新入局者,已展示出自身不俗的性能优势。自动驾驶的未来,异构信息融合认知或将成为高阶自动驾驶的感知形态,4D成像雷达作为其中打通感知层,补齐性能短板的重要传感器,正在为自动驾驶发展酝酿一场变局,高阶自动驾驶时代的来临或许比我们想象的更快。

tj4dradset:自动驾驶4d成像雷达数据集

文章:TJ4DRadSet:A4DRadarDatasetforAutonomousDriving作者:LianqingZheng,ZhixiongMa,XichanZhu,BinTan,SenLi,KaiLong,WeiqiSun编辑:点云PCL来源:arXiv2022欢迎各位加入免费知识星球,获取PDF论文,欢 查看详情

radar毫米波雷达动态障碍物检测相关论文汇总(聚类分类稀疏2d点4d点雷达成像原始数据处理)

【radar】毫米波雷达动态障碍物检测相关论文汇总(聚类、分类、稀疏2D点、4D点、雷达成像、原始数据处理)(4)DetectionofDynamicObjectsClustering2012-Grid-BasedDBSCANforClusteringExtendedObjectsinRadarData2016-AdaptiveClusteringforContourEstimationofVehiclesf... 查看详情

汽车激光雷达有啥用?激光雷达和毫米波雷达的区别

...的相对距离,可以帮助车辆识别路口和方向。激光雷达和毫米波雷达的区别在于,激光雷达使用激光作为探测手段,而毫米波雷达使用毫米波作为探测手段。毫米波的波长是毫米,激光本质上是电磁波,但波长要小得多,大概几... 查看详情

4d毫米波雷达radar

4D毫米波雷达Radar概述全球前四大的毫米波雷达供应商被称为“ABCD”,即Autoliv(美安)、Bosch(博世)、Continental(大陆)和Delphi(德尔福)。除了全天候和低成本的优势,传统毫米波雷达也有局限性,比如无法点云成像,精度... 查看详情

自动驾驶技术-环境感知篇:激光雷达毫米波雷达超声波雷达相关技术介绍

在上一篇《自动驾驶技术架构和综述》文章中我们介绍了自动驾驶三个核心环节,分别是环境感知和定位、决策规划、执行控制。接下来这章将会针对环境感知和定位展开介绍,环境感知和定位包含环境感知、定位、V2X3... 查看详情

自动驾驶视觉与毫米波雷达数据融合技术

文章目录一、相机介绍二、毫米波雷达介绍三、为什么要做传感器融合四、相机与毫米波雷达的融合方式五、雷达与相机联合标定(1)毫米波雷达坐标系至世界坐标系(2)世界坐标系至图像像素坐标系六、毫米... 查看详情

自动驾驶视觉与毫米波雷达数据融合技术

文章目录一、相机介绍二、毫米波雷达介绍三、为什么要做传感器融合四、相机与毫米波雷达的融合方式五、雷达与相机联合标定(1)毫米波雷达坐标系至世界坐标系(2)世界坐标系至图像像素坐标系六、毫米... 查看详情

自动驾驶技术-环境感知篇:激光雷达毫米波雷达超声波雷达相关技术介绍

...关的自动驾驶技术。分为3个模块:分别是激光雷达、毫米波雷达、超声波雷达的优缺点,雷达信息的标定,目前雷达技术在自动驾驶车辆的应用。01 三种雷达优缺点 (1)激光雷达 激光雷达又称为LiDAR,... 查看详情

想要实现自动驾驶技术,需要具备哪些条件?

...头车辆的雷达,可以划分为三种声波雷达、光波雷达还有毫米波雷达。声波雷达,往往运用在倒车雷达,测量距离较短。光波雷达,分为中外线雷达、激光雷达,红外线雷达往往用在较高端车的夜视系统上,激光雷达一般都是用... 查看详情

毫米波/激光/超声波雷达的区别

...dquo;的雷达。目前主流的“眼睛”有四类——毫米波雷达、激光雷达、超声波雷达、摄像头。他们各自都有自己的特点,比如摄像头的优点就很突出:精度高,距离远,直观方便;可是缺点也同样突出:受到天气的影... 查看详情

汽车激光雷达有啥用

...,进而还可以协助车辆识别系统街口与方位。激光雷达和毫米波雷达的区分取决于,激光雷达是以激光器做为检测方式,而毫米波雷达是以毫米波做为检测方式;毫米波的光的波长在mm级,激光器实质上也是无线电波,可是光波... 查看详情

破局自动驾驶落地难,数据标注行业变革是关键丨曼孚科技

...器,其中可以被广义地划分为“视觉”的有超声波雷达、毫米波雷达、激光雷达,以及摄像头。与其他应用场景相比,自动驾驶的应用场景相对复杂,尤其面对复杂多变的路况环境,感知技术的突破不能依赖算法或技术的革新来... 查看详情

无人驾驶之毫米波雷达

毫米波雷达指工作在毫米波波段的雷达。通常毫米波是指30~300GHz频域(波长为1~10mm)的电磁波,毫米波的波长介于厘米波和光波之间,因此毫米波兼有微波制导和光电制导的优点。毫米波在5G通信、卫星遥感、导弹制导、电子对... 查看详情

聚焦移动和固定业务毫米波雷达干扰等关键性问题,毫米波雷达无线电研究(内江)外场试验即将开展(代码片段)

一、背景概述随着ADAS产业和无人驾驶行业的快速发展,毫米波雷达作为智能汽车核心传感器之一,在推动自动驾驶、主动安全和无人驾驶过程中发挥着不可或缺的作用,同时毫米波雷达也在农业、民航、安防、边防、军事、医... 查看详情

77ghz汽车防撞雷达信号处理设计与实现

近年来,汽车自动驾驶越来越受到关注。毫米波汽车雷达是汽车自动驾驶的关键技术之一,它具有性能稳定、测量精度较高、成本较低等优点。本文针对汽车防撞雷达系统中信号处理部分开展研究,包括信号处理平台的搭建及相关测... 查看详情

2021年激光雷达行业研究报告

1、 迈向高阶自动驾驶,汽车之“眼”激光雷达为优中之选1.1、自动驾驶向高阶演进,感知器件先行智能化推动行业变革,跨界融合频现,高阶自动驾驶拐点将至。汽车“电动化、智能化、网联化、共享化”的趋... 查看详情

从浪潮登顶nuscenes榜首解读自动驾驶ai感知技术的发展

...一个环节,是车辆与环境交互的纽带通过“摄像头、毫米波雷达、超声波雷达、激光雷达”等各类传感器设备,感知环境的手段日趋多元化同时,在平台层面感知决策处理能力的提升,平台算力和感知算法的效率... 查看详情

2023国内外毫米波雷达行研分析

本文主要针对国内外主流毫米波雷达公司的解决方案进行了梳理、汇总与分析。本文认为,前端感知能力与后端感知能力的统筹兼顾与提升事关重要。目前来看,前端感知能力提升主要依靠稀疏布阵和动态波形配置实现,后端感... 查看详情