自动驾驶技术视觉与激光雷达对比

TechblogofHaoWANG TechblogofHaoWANG     2023-02-01     788

关键词:

数据来源:智能网联汽车网

        自动驾驶绕不开的一个话题那就是激光雷达和摄像头到底哪个更出色,这个问题一直在行业内争论不休,两大派系各执一词,都能讲出一大堆的理由为什么用此非彼,其实要想明白为什么会有这个争论,我们就要先了解这两大技术路线背后的原理是什么,各自有哪些优势和不足。

      自动驾驶将汽车的驾驶能力及驾驶责任逐步由人转移到汽车,其主要包括感知、决策和执行三大核心环节。

       其中,感知环节相当于人的眼睛和耳朵,主要通过车载摄像头、激光雷达、毫米波达等各类车载传感器在行车过程中完成对环境及车辆的感知、搜集周围环境数据并将其传输到决策层;决策环节相当于人的大脑,主要通过操作系统、芯片与计算平台等对接收到的数据进行实时处理并输出相应的操作与指令任务;执行端则相当于人的四肢,将接收到的操作指令执行到动力供给、方向控制、车灯控制等车辆终端部分。

        本次我们将着重说说感知层,因为感知作为智能驾驶的先决条件,其探测精度、广度与速度直接影响自动驾驶的行驶安全。并且感知层获取的数据将直接影响决策层的判断与执行层的操作,可见在自动驾驶中的地位至关重要。

自动驾驶领域两个派系的划分——纯视觉感知派、激光雷达派。

      视觉派认为人类既然可以通过视觉信息+大脑处理,成为一个合格的驾驶者。那么摄像头+深度学习神经网络+计算机硬件,也可以达到类似的效果。

       近期代表企业特斯拉推出基于纯视觉方案的FSD Beta,彻底放弃毫米波雷达。百度发布L4级别纯视觉方案Apollo lite,同样踏上了自动驾驶的南坡之路。

       


        激光雷达派则是以Waymo为代表的Robotaxi企业,使用机械式激光雷达、毫米波雷达、超声波雷达以及多路摄像头完成L4级别的商业量产落地。

           纯视觉自动驾驶方案从产品分析,目前特斯拉的产品还处于L2的阶段,从今年第一季度的财报上看纯视觉自动驾驶方案是这样解释:目前道路交通系统是基于人类视觉感知神经网络,8个摄像头覆盖360°,比人类感知范围更大更安全;对现实道路的技术还有待突破,自动驾驶不会很快成为主流。

         再看Apollo lite,2020年底百度发布高阶智能驾驶解决方案ANP(Apollo Navigation Pilot),宣称可以支持高速、城市环线、城市道路使用,搭载10路摄像头、具备360°环视感知,探测距离达240米,应用30+深度学习网络,单卡GPU,算力小于30TOPs。从L4应用降维至L2+级领航辅助驾驶,依靠10相机感知系统,实现不依赖高线数机械式激光雷达的端到端闭环自动驾驶。

      激光雷达是一种用于精准获取物体三维位置信息的传感器,本质上是激光探测和测距,其原理是通过发射与接收激光来探测与目标物之间的距离,再根据目标物表面的反射能量大小、反射波谱幅度、频率和相位等信息,精确绘制出目标物的三维结构信息。而凭借着在目标轮廓测量、角度测量、光照稳定性和通用障碍物检出等方面所具有的极佳性能,激光雷达正在成为L4级及以上自动驾驶的核心配置。

         3D激光雷达在无人驾驶车辆的定位、路径规划、决策、感知等方面有着重要的作用。2022-2025年之间预计绝大部分的主机厂会量产上激光雷达,从国际上看,沃尔沃和Luminar宣布量产,国内蔚来选择图达通的激光雷达作为ET7的标配;小鹏P5搭载了大疆旗下览沃的激光雷达;理想也与禾赛科技展开了下一代车型的合作。由此看来,激光雷达仍然是绝大多数企业走上自动驾驶的必经之路。


从技术特点的角度来看:

         视觉方案中的图像传感器能以高帧率、高分辨率获取周围复杂的环境信息,且价格便宜。但图像传感器是一种被动式传感器,其本身并不发光,成像质量受到环境亮度影响较大,在恶劣环境下完成感知任务的难度会大幅提升。

        激光雷达是一种主动式传感器,通过发射脉冲激光并探测目标的散射光特性获取目标的深度信息,具有精度高、范围大、抗干扰能力强的特性。但是,激光雷达获取的数据稀疏无序、难以直接利用,且激光单色的特性让其无法获取颜色和纹理信息,虽然对于周边环境测距描绘的能力突出,但却因为缺点太致命,所以必须搭配其它传感器互补使用。


从商业量产的角度来看:

        目前激光雷达感知能力是略强于纯视觉的,很多主机厂商和一级供应商为加速量产落地,难免会通过过多使用激光雷达来回避视觉识别算法、芯片、定位建图等问题。

      马斯克不止一次提过依赖激光雷达的公司都可能无任何出路,或许是跟激光雷达成本过高有关。华为在年初宣布成功研发首款96线中长距车规级高性能激光雷达,具备全场景150米的测距能力,拥有120°*25°大视野,可以满足对城区、高速等场景的人、车测距要求。同时水平、垂直线束均匀分布,不存在拼接、抖动等情况,形成稳定的点云对后端感知算法也非常友好,满足远距离小障碍物、近距离加塞、近端突出物、隧道、十字路口无保护左拐、地库等复杂路况和独特场景,更符合中国当下复杂的路况环境。价格号称从原本的2000美金一套降到200美金左右。特斯拉近期也做了对激光雷达的检测,不知纯视觉派会不会因价格优势的出现做出改变。

       到目前为止,小鹏、蔚来、理想、极狐、长城、智己、上汽R、Lucid、沃尔沃和广汽都已经明确将量产搭载激光雷达的车型,而首款搭载激光雷达的量产车小鹏P5也已经正式上市。激光雷达的优势在于精度较高,探测距离远,可以在一些极端天气下和夜间做到比摄像头更高的精准度,防止车辆的误判,提升安全的冗余度。但目前仍存在成本较高、难以量产等问题。

       目前激光雷达分为三类分别是机械式、混合固态式以及纯固态式。

         这三类有各自的优缺点,例如机械式发展最成熟,扫描速度快可以360度全方位探测,但是由于其体积较大很难装车量产,造价也是一个大难题;混合固态成本低,适合大规模量产但是视野有限,360度就不行了;纯固态将是未来发展趋势,有OPA光学相控阵和Flash两种技术路线,但同样等待技术的进一步突破才能实现量产。目前来看混合固态中的MEMS路线将会是激光雷达发展的主流也是最容易实现前装量产的。

        视觉方案所获数据与人眼感知的真实世界更为相似,有轻硬件、重软件的特性。由于摄像头的价格低廉,因此视觉方案成本优势明显且更易通过车规测试。此外,摄像头所获的图像数据与人眼感知的真实世界更为相似,形态上最接近人类驾驶,高分辨率、高帧率的成像技术也使得感知到的环境信息更为丰富。

      然而,摄像头在黑暗环境中感知受限,精度及安全性有所下降。且由于视觉方案在硬件要求降低的背景下,其对软件的要求明显提高,即需要依靠强大的算法才能保证图像处理、命令下达以及处理的效率。

      在ADAS阶段,决策权仍在在驾驶员手中,其对汽车的软件算法要求相对较低,以Mobileye为代表的视觉方案被多数整车厂采用。

        然而,随着智能驾驶迈向L3及以上,自动驾驶平台将接替人的大脑进行驾驶决策,对算法和AI的能力要求明显提升,目前仅特斯拉、百度、Mobileye等具备软件和算法基因的厂商完全采用或兼顾视觉方案。纯视觉解决方案多以黑盒方案为主,且L3及以上自动驾驶升级难度大,传统整车厂搭载意愿不强。

          特斯拉凭借“影子模式”与超强算法构筑自动驾驶迭代闭环,其他车企难以复制。特斯拉对汽车的定义是极简化、科技化,其一直在汽车上做减法,对车辆线束长度、零部件数量、生产制造工序都进行大幅下调。在感知方案的选择上,特斯拉贯彻成本更优的视觉方案,在Model3上采用12个超声波雷达、8个摄像头和1个前置雷达收集周边信息,通过其强大的融合算法迅速构建车辆周边的3D模型,在汽车行驶中做出快速决策。

     由于2D图像对物体的左后角的检测(车长的判断)存在一定盲区,车辆尾部的倾斜与向上收窄的设计加剧了对整体宽度的低估,因此,视觉方案的关键便是通过算法根本上解决视觉信息的准确处理,将摄像头捕捉到的2D平面图像转换成精确的3D模型。特斯拉在自动驾驶领域的全栈自研以及其在“模式识别模型”领域的领先地位(即数据规模庞大、数据覆盖多样及数据场景真实)成为其贯彻视觉融合方案的护城河。

        此外,特斯拉的“影子模式”可有效控制算法训练成本,这一模式下数据搜集系统如实时跟随驾驶员的“影子”,始终观察外部环境与驾驶员的动作。若在某个特定场景中驾驶员的操作与“影子”的预判不符,则此次数据会传输到特斯拉的服务器中,对算法进行修正性训练,在下次同场景时予以更正。

        百度、Mobileye采用前装用视觉、Robotaxi用激光雷达的双线并行策略,优化其感知效果。在前装领域,全球AI算法领先企业百度于2020年12月推出名为ANP的“轻传感器、轻算量、强感知”视觉方案。在成本不敏感的Robotaxi领域,百度选择拥抱激光雷达,与激光雷达公司禾赛科技一起定制激光雷达,不仅提升了感知力和可靠性,成本也大幅下降。

         另一方面,以纯视觉传感器方案闻名的Mobileye,通过7个长距摄像头和4个泊车摄像头打造了自己的视觉方案。其中,前置摄像头处于主要感知位,具备120度、800万像素性能,前、后则共布置4个角摄像头,侧后视镜、前后保险杠提供190度的广角摄像头。这些感知摄像头与数据处理端的2个EyeQ5芯片组成了Mobileye的纯视觉系统方案,支持汽车安全地行驶在错综复杂的城市环境中。

         与此同时,公司亦宣布旗下Robotaxi将与著名激光雷达厂商Luminar合作,通过激光雷达、雷达与摄像头的配置综合提升其无人驾驶的感知精确程度,提高车辆行驶安全性与可靠性。可见激光雷达与视觉摄像头在现阶段还没有完全分出高下,多传感器冗余在目前来说是各家厂商比较保守的发展路线。

        随着激光雷达从机械式向固态式发展的趋势,激光雷达实现了快速的成本降低。其中OPA式的固态激光雷达在量产后有希望降到200美元以下。激光雷达成本的迅速下降更得益于中国相关产业链的成熟与完善,将成本迅速降低。特别是中游激光雷达已经有不少国产厂商如禾赛科技、大疆、华为、速腾聚创、镭神智能等。

        之所以目前大部分车厂采用激光雷达方案,一个重要原因是此方案能够实现较快落地,并可通过多传感器配合实现安全冗余。尤其在短期内,纯视觉方案基于深度学习的算法尚未达到全路况覆盖情况下、安全性仍存疑,激光雷达方案安全性更高。

   另外,纯视觉方案需要车厂掌握海量用户数据、并自己建立软件开发部门,算法开发难度极高,最早押宝的特斯拉可以拥有领先优势,形成技术壁垒。如果竞争对手都用纯视觉方案,那么只能一直跟在特斯拉的屁股后面追赶。

        马斯克曾经详细解释过他对雷达和摄像头的看法:在雷达波长下,现实世界看起来像一个奇怪的幽灵世界。除了金属,几乎所有东西都是半透明的。当雷达和视觉感知不一致时,你采信哪一个?视觉具有更高的精度,因此投入两倍的精力改善视觉比押注两种传感器的融合更明智。传感器的本质是比特流。摄像头比特/秒的信息量要比雷达和激光雷达高几个数量级。雷达必须有意义地增加比特流的信号/噪声,以使其值得集成。随着视觉处理能力的提高,摄像头的性能将会远远甩开当下的雷达。因此,当视觉与雷达不一致时,马斯克认为应该相信摄像头。

       但马斯克聪明的是他也为自己留了后路,2021年1月1日前后,国外网友在硅谷拍到了一些不太多见的特斯拉车型,有Model S,有Model Y,也有Model X。均搭载了360度 覆盖的激光雷达感知系统。据一位前特斯拉工程师的说法,特斯拉采购Luminar的激光雷达由来已久,在摄像头做深度感知的时候,特斯拉会用激光雷达输出的点云数据做人工标注进行比对。


         说一千道一万,汽车驾驶,安全可靠才是一切技术的前提,从现今的技术水平来说,采用安全冗余的传感器方案,不失为一种更为靠谱的方法,也能更能让用户安心、放心。不管是纯视觉方案还是雷达的方案,其实都各有优劣,很难用一种传感器打遍天下。

    因此业界的普遍思路是:在一辆能够实现L2及以上功能的车上需要搭载多种传感器,进行大量的冗余设计,才能确保产品的安全可靠。目前公认的是,智能驾驶等级越高搭载传感器越多。

     根据车型配置信息的相关统计,智能驾驶在L2需要9-19个传感器,包括超声波雷达、长距离及短距离雷达和环视摄像头,发展到L3预计需要搭载19-27个,可能需要激光雷达、高精度导航定位等。在目前在售的新势力汽车产品中,均配备了大量摄像头、毫米波雷达、超声波雷达等传感器。     

      因此,对于这两大派系来说也许未来真的会在顶峰相见,也没准会一直长期共存下去,毕竟安全是自动驾驶发展的基石与底线,在保证安全的情况下,各种技术路线之间的交融与淘汰都会让安全这件事的概率更接近100%,所以我们期待着视觉算法能进一步突破,变的更贴近人眼的水平;激光雷达产业更加蓬勃发展,让价格不断下探,更能符合前装量产的要求,让我们共同见证各家技术一起进步为自动驾驶的终极目标添砖加瓦吧。

ida-3d解读基于实例深度感知的自动驾驶立体视觉三维目标检测

摘要三维目标检测是自动驾驶和虚拟现实中重要的场景理解任务。基于激光雷达技术的方法具有高性能,但激光雷达昂贵。考虑更一般的场景,没有3d激光雷达数据的数据集,我们提出一个3d对象立体视觉检测的方法&#... 查看详情

自动驾驶技术-环境感知篇:激光雷达毫米波雷达超声波雷达相关技术介绍

在上一篇《自动驾驶技术架构和综述》文章中我们介绍了自动驾驶三个核心环节,分别是环境感知和定位、决策规划、执行控制。接下来这章将会针对环境感知和定位展开介绍,环境感知和定位包含环境感知、定位、V2X3... 查看详情

「背叛」激光雷达第三年:百度纯视觉无人驾驶技术迈入产品化阶段

...楠发自凹非寺量子位报道|公众号QbitAI2019年,当百度自动驾驶工程师为Mobileye纯视觉DEMO效果惊叹不已时,不会想到一切来得这么快。2021年,百度纯视觉L4方案,已经花开两朵,各表一支。Apollo史无前例的成本48... 查看详情

自动驾驶视觉与毫米波雷达数据融合技术

文章目录一、相机介绍二、毫米波雷达介绍三、为什么要做传感器融合四、相机与毫米波雷达的融合方式五、雷达与相机联合标定(1)毫米波雷达坐标系至世界坐标系(2)世界坐标系至图像像素坐标系六、毫米... 查看详情

自动驾驶视觉与毫米波雷达数据融合技术

文章目录一、相机介绍二、毫米波雷达介绍三、为什么要做传感器融合四、相机与毫米波雷达的融合方式五、雷达与相机联合标定(1)毫米波雷达坐标系至世界坐标系(2)世界坐标系至图像像素坐标系六、毫米... 查看详情

自动驾驶感知算法实战16——激光雷达点云处理原理与实战

...光点云感知综述,相关点云深度学习处理方法。最终,以自动驾驶点云感知为实例,分析点云感知,以一个实操案例介绍过程。一、激光雷达工作原理(25%)激光雷达概述激光雷达工作原理激光雷达基本参数和指标激光雷达能做... 查看详情

自动驾驶感知算法实战16——激光雷达点云处理原理与实战

...光点云感知综述,相关点云深度学习处理方法。最终,以自动驾驶点云感知为实例,分析点云感知,以一个实操案例介绍过程。一、激光雷达工作原理(25%)激光雷达概述激光雷达工作原理激光雷达基本参数和指标激光雷达能做... 查看详情

lidar激光雷达与自动驾驶

激光雷达(/升aɪdɑːr/,也LIDAR,或激光雷达;有时LADAR)是用于确定的方法的范围由与靶向的物体(可变距离)激光并测量时间的反射光返回到接收器。由于激光返回时间的差异和不同的激光波长,激光... 查看详情

自动驾驶感知算法实战16——激光雷达点云处理原理与实战

...光点云感知综述,相关点云深度学习处理方法。最终,以自动驾驶点云感知为实例,分析点云感知,以一个实操案例介绍过程。一、激光雷达工作原理(25%)激光雷达概述激光雷达工作原理激光雷达基本参数和指标激光雷达能做... 查看详情

自动驾驶感知算法实战2——激光雷达原理介绍

自动驾驶感知算法实战专栏:https://blog.csdn.net/charmve/category_12097938.html目录一、激光雷达的工作原理1.1单线激光雷达1.2四线激光雷达1.316/32/64线激光雷达二、激光雷达的数据三、激光雷达能做什么?3.1障碍物检测与分割3.2可通行空... 查看详情

自动驾驶感知算法实战2——激光雷达原理介绍

自动驾驶感知算法实战专栏:https://blog.csdn.net/charmve/category_12097938.html目录一、激光雷达的工作原理1.1单线激光雷达1.2四线激光雷达1.316/32/64线激光雷达二、激光雷达的数据三、激光雷达能做什么?3.1障碍物检测与分割3.2可通行空... 查看详情

自动驾驶技术-环境感知篇:激光雷达毫米波雷达超声波雷达相关技术介绍

在上一篇《自动驾驶技术架构和综述》文章中我们介绍了自动驾驶三个核心环节,分别是环境感知和定位、决策规划、执行控制。接下来这章将会针对环境感知和定位展开介绍,环境感知和定位包含环境感知、定位、V2X3... 查看详情

汽车激光雷达有啥用

...行业,应用领域极其丰富多彩。汽车激光雷达关键功效于自动驾驶上,也就是以后的自动驾驶。但是现在仅为自动驾驶辅助所运用。激光雷达在汽车上主要是以多整车线束为主导,能够带来协助汽车认知路面自然环境,自主整体... 查看详情

汽车激光雷达有啥用?激光雷达和毫米波雷达的区别

...制导等领域,应用场景极其丰富。车载激光雷达主要用于自动驾驶,也就是未来的无人驾驶。不过目前只用于自动驾驶辅助。激光雷达主要用在多波束的汽车上,可以帮助汽车感知道路环境,规划自己的行驶路线,控制车辆达到... 查看详情

自动驾驶感知——激光雷达物体检测算法

文章目录1.基于激光雷达的物体检测1.1物体检测的输入与输出1.2点云数据库1.3激光雷达物体检测算法1.3.1点视图1.3.1.1PointNet1.3.1.2PointNet++1.3.1.3Point-RCNN1.3.1.43D-SSD1.3.1.5总结和对比1.3.2俯视图1.3.2.1VoxelNet1.3.2.2SECOND1.3.2.3PIXOR1.3.2.4AF... 查看详情

自动驾驶技术-环境感知篇:基于视觉相关技术介绍

...文章介绍了环境感知中不同雷达的作用,一个标准的自动驾驶解决方案需要雷达与视觉技术的配合使用。视觉技术其实是仿生理学的解决方案,因为现实世界中司机驾驶车辆就是依靠视觉去做行车过程中的决策。在本文... 查看详情

自动驾驶激光点云3d目标检测voxelnet论文简述(代码片段)

自动驾驶感知视觉有2个流派,分别是摄像头视觉和激光雷达视觉,本文分析激光雷达视觉当中经典的算法模型VoxelNet。论文:VoxelNet:End-to-EndLearningforPointCloudBased3DObjectDetection这是2017年的论文出自苹果公司算法团队࿰... 查看详情

破局自动驾驶落地难,数据标注行业变革是关键丨曼孚科技

随着过去几年自动驾驶“风口”兴起,越来越多的资本与研发力量投入到自动驾驶领域。相关机构预测,半自动驾驶和全自动驾驶汽车未来几十年的市场潜力巨大。到2035年,仅中国就将有约860万辆自动驾驶汽车,其中约340万辆... 查看详情