关键词：
尽管Waymo已经在开放道路上积累超过10 Million Miles，Waymo的工程师们仍然发现有层出不穷的新自动驾驶场景待解决。
1、自动驾驶长尾场景举例
场景一：一个骑自行车的人手中拿着一个Stop Sign标识牌。我们不知道它何时会举起标识牌。无人车必须理解这种场景，即使他举起了Stop Sign标识牌，自动驾驶汽车也不应该停下来。
场景二: 迎面而来的车辆上装载的塑料管子撒了一地，自动驾驶汽车必须学会应对这种突发情况，并且避开它们对无人车行驶的影响。
场景三：由于道路施工等因素，路面布满锥桶。无人车必须正确识别这些场景，在布满路面锥桶的场景下实现合理驾驶。
场景四：路口绿灯，无人车拥有路权，虽然我们的无人车先到达路口，但必须为稍后到达的特种车辆让行。
场景五： 路口绿灯，无人车准备左转，遇到闯红灯高速通过的社会车辆，无人车需要识别这种场景，并及时停车避让违规车辆。
2、自动驾驶核心模块-Perception, Prediction和Planning
Perception、Prediction和Planning模块是自动驾驶的核心模块，每个模块都存在巨大的挑战。
2.1 Perception
Perception输入：传感器(激光雷达)输入信息以及场景的先验信息。
Perception输出：道路交通对象(行人、车辆等)，对道路场景的语义分割和理解。
Perception本身是一个非常复杂、高难度的问题，它必须能够识别各种形态各异、不同种类的对象。比如下左一图，一群穿着恐龙服的行人，感知必须能够正确识别它们。
相同的物体在不同的时间、不同的季节它们的外观表现也会有很大的差异，这会对Perception带来巨大挑战。
各种复杂场景的分割理解难度极高。如下图左一：一个搬着箱子的人；下图左三：骑马的人。Perception必须能够正确的分割识别这些场景，而不会因为遮挡导致出现识别的错误。
2.2 Prediction
Perception对检测到的物体进行下一步行为的预测，以辅助自动驾驶车辆进行合理的行为决策。
Perception要考虑物体的历史行为，比如车辆不会在短时间内实现90度的转弯，因此我们可以假设车辆在短时间内仍然按照当前的朝向和速度前进；要对场景有更高语义层面的理解；要能够关注到不同对象的属性差异和视觉线索，比如车辆大概率是会在车道上行驶上，行人会走斑马线，车辆的朝向能够大概率反应它的意图，如果行人做出停车的手势，大概率是要过马路；要能够解决待预测物体与其它物体的行为交互。
如下图所示，路边有一辆静止的车辆，骑自行车的人在靠近静止车辆时，会侵入无人车车道。Perception模块需要正确理解这些场景，并生成合理的预测曲线。
如何能够准确的预测社会车辆的行为仍然是一个存在巨大挑战的开放性问题。
2.3 Planning
Planning是Decision Making Machine，它基于Perception和Prediction的输出，规划车辆的行为，并输出Control模块，控制车辆的加减速、刹车等行为。
Planning首要考虑的是安全(safe)，其次要考虑驾乘的舒适性(comfortable)，再次要能够与其它交通参与者正确交互，最后要保证乘客送达目的地。如何能够满足这些条件实现良好的Planning效果仍然是一个开放性的问题。
3. 大规模机器学习技术(Machine Learning At Scale)
Machine Learning是解决自动驾驶长尾问题的一种有效工具。利用Machine Learning技术可以实现从数据采集、标注、训练、车端部署的闭环循环流程，从而实现Case的不断积累，模型的不断完善。
3.1 Automated Machine Learning技术
Waymo使用了Automated Machine Learning技术生成和优化针对无人车的数据模型，极大提升了模型训练的效率。
3.2 机器学习技术的局限(Limits Of Machine Learning)
机器学习模型不能解决所有的问题，但我们需要的是一个安全的自动驾驶系统，所以必须有其它措施来补充ML的不足。
首先可以借助于冗余互补的传感器辅助解决这个问题。车辆同时配备了视觉、Lidar、Radar系统，各个系统彼此独立，相互补充，以最大限度保证无人车不会缺失任何信息。
其次，我们可以采用ML和Non-ML混合系统，利用专家系统来弥补ML的不足。
4、大规模的测试技术(Large Scale Testing)
首先Waymo有庞大的自动驾驶车队，可以支撑大规模的测试。
有些场景在实际道路上出现的概率很低，为了测试验证这些低频问题，需要自己构建场景，进行结构化测试。
仿真是一种重要的验证测试手段，可以轻量级安全的构造各种各样的测试场景。
自动驾驶仿真必须能够真实模拟车辆和行人的行为。这仅仅依靠简单的规则模型是不够的，我们需要更加复杂的模型，Waymo使用一种Mid-2-Mid的Drive Agent机器学习模型，它接收定位、感知等信息，输出更加拟人化的运动规划。
Waymo提出的ChauffeurNet将Map、交通规则、道路环境等信息转化为图像信息，从而可以最大限度的利用比较成熟的机器学习模型，最终输出Agent的Trajectory。
ChauffeurNet可以解决大部分简单场景下的Prediction和Planning问题。
当然ChauffeurNet也有其局限性，比如以下复杂场景目前还不能很好的处理。
5、机器学习难以覆盖的长尾问题挑战
对自动驾驶测试来讲，最大的挑战在于很难收集到所有Corner Case。如下图所示，是人类驾驶行为分布，要经过非常长时间的积累才能得到一些Corner的驾驶行为Case。
在自动驾驶网络的神经网络模型中，可能有上千万的参数，如果Corner Case的样本数量太少，就难以保证网络模型能够学会这些Corner场景。
在神经网络模型覆盖长尾Case前，如何来解决长尾Case呢？专家系统是一个选择。专家系统融入专业的知识，通过小批量的样本就可以获得效果比较好的参数。
比如我们计划得到实现一个轨迹优化机器学习模型，在基于运动控制理论和一系列的约束设计好专家模型之后，通过采集历史车辆轨迹，我们就可以调整参数最小化Cost的方法，使得专家系统的轨迹输出尽可能的逼近人类驾驶轨迹。
轨迹优化专家系统的另一种模型是Inverse Reinforcement Learning技术，通过历史驾驶轨迹训练模型参数，使得它的输出尽可能的逼近预期效果。
如下图所示，红色的主车，蓝色的是社会车辆。左图的社会车辆更加保守，右侧的社会车辆更加激进。用保守的轨迹训练出的模型表现就趋于保守，用激进的轨迹训练出的模型表现就趋于激进。
6、Smart Agent对于自动驾驶规模化不可或缺
不管是专家系统，还是神经网络，它们都在努力模拟人的驾驶行为，使Agent变得聪明起来，聪明的Agent可以辅助自动驾驶技术快速规模化。
个人博客网站地址: http://www.banbeichadexiaojiubei.com
waymo在美国推出自动驾驶汽车共享服务
...驶汽车技术开发，Waymo正式在美国推出了具有商业性质的自动驾驶汽车的共享服务。该公司的WaymoOne项目将为客户提供24小时自动驾驶汽车服务。最初，这项服务将仅限于菲尼克斯周边城市，包括坦佩(Tempe)、梅萨(Tempe)和钱德勒(Cha... 查看详情
waymo在美国推出自动驾驶汽车共享服务
...驶汽车技术开发，Waymo正式在美国推出了具有商业性质的自动驾驶汽车的共享服务。该公司的WaymoOne项目将为客户提供24小时自动驾驶汽车服务。最初，这项服务将仅限于菲尼克斯周边城市，包括坦佩(Tempe)、梅萨(Tempe)和钱德勒(Cha... 查看详情
自动驾驶量产上车只是挑战开始！运营难搞，鹅厂献策
明敏发自凹非寺量子位|公众号QbitAI自动驾驶技术上车，智能车规模化量产上路，然后呢？当自动驾驶成为一种面向用户的持续服务，更长尾的运营中的问题，又该如何应对和解决？目前，行业内随着L2&... 查看详情
waymo自动驾驶汽车扎堆冲进死胡同，一天多达50辆，附近居民蚌埠住了
明敏发自凹非寺量子位报道|公众号QbitAI最近，Waymo自动驾驶汽车和旧金山一条平平无奇的小路“杠”上了。据附近居民表示，总是有Waymo自动驾驶汽车开到这条死胡同里，然后再掉头离开。“有时一天可以来50辆，... 查看详情
自动驾驶攀登顶峰，waymo小马智行们难言轻松
...是从北坡攀登，最终都将到达同一个顶峰。这其实与自动驾驶行业的发展路径之间存在相似之处。对攀登珠峰的人而言，无论走哪条路线都不是容易的事。北坡一开始没有登山的感觉ÿ 查看详情
日均订单量超1500，百度萝卜快跑甩掉waymo
...，经过这些年的技术积累和初步的商业化试验，自动驾驶已经在开放商用的道路上逐渐加速。无论是我们目之所及的搭载L2-L3技术级别的乘用汽车，还是智能重卡、Robotaxi、无人矿卡等自动驾驶全家桶的一一商业化落... 查看详情
自动驾驶行业的挑战
因为这个行业是如此的新颖，我们面临着如此多不同的挑战，我们必须找到许多不同的方法来解决我们以前从未解决过的问题。所以,这是是非常有挑战性的，试图找出创新解决方案对我们所遇到的这样一个难题。大... 查看详情
googlewaymo2017自动驾驶安全技术报告
...43页的安全报告，报告中详细说明了Waymo如何装备和训练自动驾驶车辆，从而避免驾驶中的一般和意外情况发生。这份报告对Waymo的自动驾驶技术进行了详细的解读，希望能够对自动驾驶从业者带来一些启发。自动驾驶技术的必要... 查看详情
自动驾驶相关
01Cruise的无保护左转在实际上行驶中，自动驾驶车辆除了直行，还需要根据需求右转、左转或者是倒车，倒车的可能性很小，几乎没有自动驾驶公司去做这个场景，左转相比右转会更难。尤其是在没有交通信号灯，或者是停车标... 查看详情
车祸频频的无人驾驶距离我们还有多远？
谷歌是无人驾驶技术的开创者，并为无人驾驶创建了子公司Waymo，根据报道谷歌公司方面对于无人驾驶的投入是无限制，只要Waymo需要谷歌公司就会满足Waymo公司的要求。 Waymo公司在今年3月曾宣布自己技术已经成... 查看详情
自动驾驶感知算法实战13——自动驾驶感知未来发展方向分享
自动驾驶感知算法实战专栏：https://blog.csdn.net/charmve/category_12097938.html目录发展方向：分享：自动驾驶3.0未来需要解决的问题发展方向：多模态感知多任务处理大模型（通用智能）分享：自动驾驶3.0第一，自动驾驶3.0是数据驱动... 查看详情
自动驾驶感知算法实战13——自动驾驶感知未来发展方向分享
自动驾驶感知算法实战专栏：https://blog.csdn.net/charmve/category_12097938.html目录发展方向：分享：自动驾驶3.0未来需要解决的问题发展方向：多模态感知多任务处理大模型（通用智能）分享：自动驾驶3.0第一，自动驾驶3.0是数据驱动... 查看详情
自动驾驶感知算法实战13——自动驾驶感知未来发展方向分享
自动驾驶感知算法实战专栏：https://blog.csdn.net/charmve/category_12097938.html目录发展方向：分享：自动驾驶3.0未来需要解决的问题发展方向：多模态感知多任务处理大模型（通用智能）分享：自动驾驶3.0第一，自动驾驶3.0是数据驱动... 查看详情
汽车电子行业入门指南「当下汽车工业的挑战」
1.技术创新的挑战1.1.自动驾驶技术自动驾驶技术是汽车行业目前的热门话题之一，它的发展前景非常广阔，但是也面临着一些挑战和问题。目前，自动驾驶技术已经在一些高端车型上得到了应用，但是在大规模商... 查看详情
万字综述：如何打造自动驾驶的数据闭环？
本文来知乎专栏@黄浴/ 导读 /最近自动驾驶和数据闭环结合在一起，原因是自动驾驶工程已经被认可是一个解决数据分布“长尾问题”的任务，时而出现的cornercase（极端情况）是对数据驱动的算法模型进行升... 查看详情
车联网白皮书（网联自动驾驶分册）
车联网白皮书（网联自动驾驶分册）车联网白皮书（网联自动驾驶分册）一、网联自动驾驶的内涵二、网联自动驾驶的需求及典型应用（一）单车智能自动驾驶发展现状1.单车智能自动驾驶应用尚未成熟2.... 查看详情
收藏|万字综述自动驾驶数据闭环
...c;如有侵权，联系删除转载于：黄浴博士知乎最近自动驾驶和数据闭环结合在一起成为一大解决方案，原因是自动驾驶工程已经被认可是一个解决数据分布“长尾问题”的任务，时而出现的cornercase（极端 查看详情
数据标注，自动驾驶汽车的新“引擎”丨曼孚科技
...，出行生态不断智能化，这其中典型的应用场景就是汽车自动驾驶。1.汽车自动驾驶真的来了2018年，世界上首个无人出租车正式上路。这是硅谷初创公司Drive.ai在美国得克萨斯州Frisco实现的第一批无人出租车出行。国内领域，百... 查看详情