自动驾驶自动驾驶感知系统与关键技术介绍

关键词：

文章目录

• • • 1、自动驾驶感知系统介绍
    • • 1.1 什么是自动驾驶？
      • 1.2 什么是自动驾驶系统？
      • 1.3 自动驾驶技术概览（以环境感知系统为主）
      • 1.4 自动驾驶行业现状

1、自动驾驶感知系统介绍

1.1 什么是自动驾驶？

• 百度百科定义：自动驾驶汽车，又称无人驾驶车、电脑驾驶车、无人车、自驾车，为一种需要驾驶员辅助或者完全不需操控的车辆。作为自动化载具，自动驾驶汽车可以不需要人类操作即能感知其环境及导航。
• 上述定义里有两个关键词。
  首先是感知环境和导航，也就是说自动驾驶汽车可以自主的采集和理解周边环境信息，并根据设定的目的地进行决策和行进。
  然后是需要驾驶员辅助或者完全不需操控。关于不需要驾驶员操纵，有个SAE（美国汽车工程师学会）制定的自动驾驶系统标准。
  

1.2 什么是自动驾驶系统？

• 一般来说，自动驾驶系统包含感知，决策和控制这三个主要模块。
  感知系统（眼睛）负责了解周围障碍物和道路的信息。
  决策系统（大脑）根据周围的环境以及设定的目标决定下一步需要执行的动作，转向，加速，刹车等。
  控制系统（四肢）则负责执行这些动作。

• 感知系统里又包括了环境感知和车辆定位两个任务。
  环境感知负责检测各种移动和静止的障碍物（比如车辆，行人，建筑物等）以及收集道路上的各种信息（比如可行驶区域，车道线，交通标志，红绿灯等），这里需要用到的主要是各种传感器（比如摄像头，激光雷达，毫米波雷达等）。
  车辆定位则根据环境感知得到的信息来确定车辆在环境中所处位置，这里需要高精度地图，以及惯性导航（IMU）和全球定位系统（GPS）的辅助。
  

1.3 自动驾驶技术概览（以环境感知系统为主）

• 硬件部分

  • 环境感知系统的硬件基础是多种传感器以及它们的组合，其中摄像头，激光雷达和毫米波雷达用的最多。
  • 摄像头是感知系统中最常用的传感器，优势在于能够提取丰富的纹理和颜色信息，因此适用于目标的分类。但是其缺点在于对于距离的感知能力较弱，并且受光照条件影响较大。
  • 激光雷达在一定程度上弥补了摄像头的缺点，可以精确的感知物体的距离和形状，因此适用于中近距的目标检测和测距。但是其缺点在于成本较高，量产难度大，感知距离有限，而且同样受天气影响较大。
  • 毫米波雷达具有全天候工作的特点，可以比较精确的测量目标的速度和距离，感知距离较远，价格也相对较低，因此适用于低成本的感知系统或者辅助其它的传感器。但是缺点在于高度和横向的分辨率较低，对于静止物体的感知能力有限。

• 软件部分：

  • 软件方面的核心是感知算法。总的来说，感知算法要完成两个主要的任务：
    物体检测是得到的是场景中重要目标的信息，包括位置，大小，速度等。
    语义分割是得到的是场景中每一个位置的语义信息，比如可行驶，障碍物等
  • 这两个任务的结合被称为全景分割。环境感知系统的终极目标就是要得到车辆周边三维空间中全景分割结果。

• 环境感知系统的发展：

  • 自动驾驶驾驶技术这一轮的爆发很大程度上来源于深度学习在计算机视觉领域取得的突破。
  • 这个突破首先是从图像分类和图像中的物体检测开始的。在自动驾驶环境感知中，深度学习最先取得应用的任务是单张二维图像中的物体检测。
  • 但是，车辆不能仅仅依靠一张二维图像上的检测结果来行驶。因此，为了满足自动驾驶应用的需求，这些基础的算法还需要进行进一步的扩展，其中最重要的就是融合时序信息和三维信息。前者衍生出了物体跟踪算法，后者衍生出了单目/双目/多目的三维物体检测算法。以此类推，语义分割包含了图像语义分割，视频语义分割，稠密深度估计。

• 传感器与点云数据

  • 激光雷达一直是自动驾驶感知系统的重要组成部分，尤其是对于L3/4级别的应用。
    激光雷达的数据是相对稀疏的点云，这与图像稠密的网格结构差别非常大，因此图像领域常用的算法需要经过一定的改动才能应用到点云数据。
    点云感知的任务也可以按照物体检测和语义分割来划分，前者输出三维的物体边框，而后者输出点云中每个点的语义类别。
  • 毫米波雷达由于其全天候工作，测速准确，以及低成本的特点，也被广泛的用于自动驾驶感知系统中。毫米波雷达的数据一般来说也是点云，但是比激光雷达的点云更为稀疏，空间分辨率也更低。
    
    
    

1.4 自动驾驶行业现状

• 粗略来说，自动驾驶公司可以分为两大类别。
  首先是传统的车企（比如国外的大众，宝马，通用，丰田等，国内的长城，吉利等），新能源车企（比如特斯拉，蔚来，小鹏等）和Tier1（比如国外老牌的博世，大陆，安波福等，以及国内新兴的华为，大疆等）。这类公司的首要目标是量产，一般以L2级别方案为主，目前也在向L3级别扩展。
  另外一类是一些方案提供商或者初创公司（比如Waymo，Mobileye，Pony.AI，Momenta TuSimple等）。这些公司致力于发展L4级别的自动驾驶技术。

• 对于不同的自动驾驶级别，传感器的配置方案也不相同。
  对于L2级别的应用，比如紧急制动和自适应巡航，可以只采用前视单目摄像头或者前向毫米波雷达。如果需要变道辅助功能，则需要增加传感器对相邻车道进行感知。
  对于L3级别的应用，需要在特定场景下实现车辆的完全自主驾驶，因此需要扩展车辆对周边环境的感知能力。这时就需要增加激光雷达，侧视和后视的摄像头和毫米波雷达，以及GPS，IMU和高精度地图来辅助车辆定位。
  到了L4级别以后，由于在特定场景下不需要人工接管了，传感器就不仅需要高精确度，还需要高可靠性。这就需要增加传感器的冗余性，也就是说需要备用系统。

• 特斯拉纯视觉方案（L2高级） 于2022年10月开始在北美、欧洲、中东制造的Model 3和Model Y上使用，并将进一步推广到Model S和Model X。
  这个系统只采用了视觉传感器，包括了安装在车身不同位置，多种焦距和视野范围的摄像头。这些摄像头可以覆盖360度的视野，并且有一定的冗余性。特斯拉在AI Day上展示的基于深度学习的的多摄像头融合算法。

• 第四代奥迪A8的TJP系统（L3量产） 在2017年夏天就有上市，但是该功能并没有在用户交付的车辆中开启，仅仅只能在奥迪的演示车总看到，且奥迪在2019年底就取消了L3的项目。
  因为在60公里时速以下的结构化道路堵车场景中，TJP系统允许驾驶员低头玩手机或者睡觉。这时如果出现突发状况，可能就会出现接管不及的情况。
  奥迪A8全车共有12个超声波传感器、4个全景摄像头、1个前置摄像头、4个中程雷达、1个远程雷达、1个红外摄像机。此外，奥迪A8首次搭载了一个4线的车规级激光雷达，并且配备中央驾驶辅助系统控制单元（zFAS），这些都是L3级自动驾驶系统的必备选项。

• 图森未来是一家专注于L4级无人驾驶卡车的公司。 2021年4月，图森作为“全球自动驾驶第一股”成功赴美上市，市值一度达到了84.9亿美元。2021年12月，图森未来完成了全球首次无人驾驶重卡在公开道路的全无人化测试。2022年5月31日，与全球图像级超远距激光雷达提供商Innovusion达成合作。据说，图森与其股东车厂合作开发的L4级自动驾驶卡车，将在2024年面市。

深度学习核心技术精讲100篇（五十六）-自动驾驶感知技术的实践与探索

前言自动驾驶中的感知技术如同驾驶员的"眼睛"和"耳朵"，在高速重卡的场景中，感知技术将面临哪些挑战？在量产化道路中，如何让感知技术与产品相结合去看清和理解足够的场景？这里，感知的定义就不多介绍了，感知是我... 查看详情

破局自动驾驶落地难，数据标注行业变革是关键丨曼孚科技

随着过去几年自动驾驶“风口”兴起，越来越多的资本与研发力量投入到自动驾驶领域。相关机构预测，半自动驾驶和全自动驾驶汽车未来几十年的市场潜力巨大。到2035年，仅中国就将有约860万辆自动驾驶汽车，其中约340万辆... 查看详情

自动驾驶技术-环境感知篇：基于视觉相关技术介绍

...文章介绍了环境感知中不同雷达的作用，一个标准的自动驾驶解决方案需要雷达与视觉技术的配合使用。视觉技术其实是仿生理学的解决方案，因为现实世界中司机驾驶车辆就是依靠视觉去做行车过程中的决策。在本文... 查看详情

解析丨自动驾驶核心技术：感知决策与执行(中：决策篇)

本文将继续为大家解析自动驾驶所涉及到的核心技术，上篇《感知篇》内容可以查看历史原文：二、决策篇在一套相对成熟的自动驾驶技术体系中，如果将环境感知模块比作人的眼睛和耳朵，那么决策规划模块就相当于自动驾驶... 查看详情

自动驾驶技术综述2：自动驾驶决策规划模块算法介绍

一、前言：在自动驾驶整个软件框架中，决策规划模块有着重要的作用。决策规划模块一般也叫Planning模块，在整个自动驾驶系统中，Planning模块相当于人类驾驶员的大脑，它的上游是地图、导航、感知、预测... 查看详情

自动驾驶技术-环境感知篇：激光雷达毫米波雷达超声波雷达相关技术介绍

在上一篇《自动驾驶技术架构和综述》文章中我们介绍了自动驾驶三个核心环节，分别是环境感知和定位、决策规划、执行控制。接下来这章将会针对环境感知和定位展开介绍，环境感知和定位包含环境感知、定位、V2X3... 查看详情

自动驾驶感知算法实战16——激光雷达点云处理原理与实战

...光点云感知综述，相关点云深度学习处理方法。最终，以自动驾驶点云感知为实例，分析点云感知，以一个实操案例介绍过程。一、激光雷达工作原理（25%）激光雷达概述激光雷达工作原理激光雷达基本参数和指标激光雷达能做... 查看详情

自动驾驶技术基本知识介绍

参考技术A自动驾驶车，是一种无须人工干预而能够感知其周边环境和导航的车辆。它利用了包括雷达、激光、超声波、GPS、里程计、计算机视觉等多种技术来感知其周边环境，通过先进的计算和控制系统，来识别障碍物和各种... 查看详情

自动驾驶技术-环境感知篇：v2x技术的介绍

V2X技术概述 在前面的几篇文章分别介绍了自动驾驶在环境感知领域的相关技术点，主要介绍了如何通过雷达配合视觉技术实现车辆自身的智能。其实在环境感知方面，除了利用车辆自身的智能，还可以借助外部环境... 查看详情

#百人创作先锋团#自动驾驶最核心的技术是什么？

结论先行：自动驾驶车辆核心技术为环境感知、路径规划、精确定位、线控执行，其中环境感知是所有关键技术的数据基石。:::hljs-center:::自动驾驶车辆核心技术为：环境感知、精确定位、路径规划、线控执行。其中，环境感知... 查看详情

从浪潮登顶nuscenes榜首解读自动驾驶ai感知技术的发展

导读：“自动驾驶是集感知、决策、交互于一体的技术环境感知能力作为自动驾驶的第一个环节，是车辆与环境交互的纽带通过“摄像头、毫米波雷达、超声波雷达、激光雷达”等各类传感器设备，感知环境的手段日... 查看详情

自动驾驶感知——导航与定位

...定位技术的定义•定义：相对某一坐标系，确定自动驾驶车辆位置与姿态(6自由度，X,Y,Z,Yaw,Pitch,RollX,Y,Z,Yaw,Pitch,RollX,Y,Z,Yaw,Pitch,Roll)。•评定方法：精度、鲁棒性、覆盖场景等1.2汽车定位技术实现方式    在任... 查看详情

自动驾驶技术-环境感知篇：多传感器融合技术

传感融合技术概述在前面几篇文章，笔者分别介绍了自动驾驶环境感知领域的一些技术，包含雷达技术、摄像头和视觉建模技术、V2X技术。无论是哪一类型的技术，都是在帮助车辆的决策系统获取车辆运行过程中的数... 查看详情

自动驾驶感知算法实战12——bev基于图像/lidar/多模态数据的3d检测与分割任务

自动驾驶感知算法实战专栏：https://blog.csdn.net/charmve/category_12097938.html目录基本概念背景BEV优势基本方案输入输出参考结构数据集评价指标损失函数关键技术案例分析BEVFormer介绍BEVFormer方案动机实验效果相关工作下一步工作更多... 查看详情

自动驾驶感知算法实战12——bev基于图像/lidar/多模态数据的3d检测与分割任务

自动驾驶感知算法实战专栏：https://blog.csdn.net/charmve/category_12097938.html目录基本概念背景BEV优势基本方案输入输出参考结构数据集评价指标损失函数关键技术案例分析BEVFormer介绍BEVFormer方案动机实验效果相关工作下一步工作更多... 查看详情

自动驾驶感知算法实战12——bev基于图像/lidar/多模态数据的3d检测与分割任务

自动驾驶感知算法实战专栏：https://blog.csdn.net/charmve/category_12097938.html目录基本概念背景BEV优势基本方案输入输出参考结构数据集评价指标损失函数关键技术案例分析BEVFormer介绍BEVFormer方案动机实验效果相关工作下一步工作更多... 查看详情

自动驾驶感知算法实战2——激光雷达原理介绍

自动驾驶感知算法实战专栏：https://blog.csdn.net/charmve/category_12097938.html目录一、激光雷达的工作原理1.1单线激光雷达1.2四线激光雷达1.316/32/64线激光雷达二、激光雷达的数据三、激光雷达能做什么？3.1障碍物检测与分割3.2可通行空... 查看详情

自动驾驶感知算法实战2——激光雷达原理介绍

自动驾驶感知算法实战专栏：https://blog.csdn.net/charmve/category_12097938.html目录一、激光雷达的工作原理1.1单线激光雷达1.2四线激光雷达1.316/32/64线激光雷达二、激光雷达的数据三、激光雷达能做什么？3.1障碍物检测与分割3.2可通行空... 查看详情