alluxio+weride|加速l4级自动驾驶技术开发进程(代码片段)

Alluxio Alluxio     2023-02-23     661

关键词:

     文远知行WeRide+Alluxio:
   机器学习和人工智能领域的跨区域混合云存储网关

开源云数据编排软件开发商Alluxio近日宣布,全球领先的L4级自动驾驶技术智能出行公司文远知行WeRide已将Alluxio数据编排软件作为混合云存储网关,用于本地应用程序对AWS S3等公共云存储的访问。这一新的数据架构为每个位置都提供了本地化缓存,消除了对S3的冗余请求。除了解决手动数据同步的复杂性问题之外,Alluxio还直接将数据提供给位于同一办公室处理相同数据的工程师,规避与 S3相关的传输成本,同时将终端用户的工作效率提高数倍。

迄今为止,WeRide已累计自动驾驶里程达450万公里,随着更多测试车辆投入使用,数据采集率只会越来越高。除了从试驾收集的数据之外,仿真、SIL(软件在环)测试和模型基准测试等应用程序每天也会产生数 TB 的数据。WeRide 是一家全球化的公司,跨办公室的不同团队并行生成和使用数据,并使用AWS S3 作为数据湖。

WeRide面临的数据挑战

文远知行WeRide基础架构与仿真执行总监 Derek Tan表示:“在为我们的自动驾驶汽车设计新算法或修复现有算法中的错误时,我们的工程师需要根据现有数据对算法进行测试。而我们当前的数据架构导致了一些瓶颈,如开发迭代缓慢、产生不必要且高昂的数据导出成本以及数据同步容易出错等。”

例如,在开发或调试前,开发人员需将最新的数据从云端下载到本地环境中,而下载通常受到下载速度和网络带宽的限制。每次从S3下载数据时,出口数据传输都会产生费用。通常调试一个问题的数据传输成本加起来可达5美元。如果多人协作,即使是下载相同的数据,成本也会成倍增加。WeRide构建了一个自定义数据上传流程,将数据复制到云端并在NAS或HDFS中保留一份本地副本。本地副本可让工程师更快地访问数据,因此是必要的,但也会导致数据同步问题。目前,WeRide通过运行cron作业定期清理本地数据来维护本地副本。

使用Alluxio后的新架构

WeRide决定找寻一种能满足其解决方案要求的既有技术,该技术应是一种低成本或无成本的成熟技术,已经过大规模数据访问的实战测试,随时可用且易于集成,并且不会引入新的 ETL 作业, 同时需允许WeRide在预算许可的情况下使用更好的硬件来进行扩展。

“考虑到上述筛选技术的标准,Alluxio 成为了WeRide在加速数据访问上首选技术,”Tan 表示,“除了与 S3 兼容之外,Alluxio还通过其 POSIX 和 HTTP 端点提供了便捷的访问界面。Alluxio 作为一项开源技术,可以整合到我们的系统中,而不会增加额外的商业成本。”

Alluxio部署

在WeRide的各个办公室都将 Alluxio作为一个小型本地集群进行部署,同时将 S3作为数据源。路测数据直接上传到本地Alluxio集群,同一办公室的工程师即可立即使用数据。同时,Alluxio会在后台自动上传路测数据至S3。如果其他办公室的工程师需要使用路测数据,可通过本地的 Alluxio 集群发送请求。如果请求的数据已在Alluxio中缓存,数据将立即返回,否则将从 S3 抓取数据。为了进一步减少从 S3 抓取新数据的时间,WeRide与 Alluxio 团队合作实施了分布式加载命令,该命令可打开多个同步连接进行数据下载。使用 Alluxio后,从云端获取的应用程序数据也会缓存在本地,而在以前,如果数据不是从同一个办公室上传的话,是不可能实现的。

使用Alluxio后取得显著提升

Tan表示:“我们在使用 Alluxio后实现了诸多提升,包括通过使用单一界面访问数据降低了数据同步的复杂性且无需维护一份自定义本地副本;针对云数据的本地缓存拥有开箱即用的解决方案;快速的数据访问实现了工程生产率提升;此外,也降低了下载冗余数据的S3数据输出成本。”

Tan 总结道:“WeRide 旨在为未来提供 L4 级自动驾驶技术。数据访问是开发智能出行的关键环节。采用 Alluxio 作为本地缓存,消除了对 S3 的冗余请求,解决了数据同步的复杂性问题,为每位工程师在调试每个问题时节约了至少 5 美元的数据传输成本。 我们期待与 Alluxio的进一步合作,以经济有效的方式实现我们的数据访问目标。”

“WeRide 目前使用的Alluxio 数据编排系统,是将本地机器学习应用程序与云端数据连接起来的重要环节,” Alluxio 创始人兼CEO李浩源表示,“我们很高兴能与 WeRide 推进后续合作,增加更多与数据管理策略相关的功能,为WeRide的工程师带来更多价值。”

自动驾驶⻋端算力:达到l4级自动驾驶要求并不遥远算力单位tops

1.⻋端算力:达到L4级自动驾驶要求并不遥远激光雷达方案:降低⻋辆环境感知的算法与算力需求纯视觉方案基于平面数据来识别出周围物体距离、轮廓、色彩,对算法、算力要求高,需要后端强大的数据中心训练算法多传... 查看详情

自动驾驶⻋端算力:达到l4级自动驾驶要求并不遥远算力单位tops

1.⻋端算力:达到L4级自动驾驶要求并不遥远激光雷达方案:降低⻋辆环境感知的算法与算力需求纯视觉方案基于平面数据来识别出周围物体距离、轮廓、色彩,对算法、算力要求高,需要后端强大的数据中心训练算法多传... 查看详情

l4级自动驾驶,插上车路协同的翅膀才能飞?

“自动驾驶商业化元年”的呼声正在明显变高,最有发言权的自动驾驶初创公司们,正在不断开展商业化的军备竞赛。不少自动驾驶公司在今年都收获不小,但在商业化上最引人关注的,可能要数2017年成立的蘑菇... 查看详情

l4自动驾驶标准是啥?

参考技术AL4级自动驾驶,属于“高度自动驾驶”。除了某些特殊情况,一般无需人类干预。依靠特殊地图工作的自动驾驶汽车属于4级自动驾驶,只要是有地图的地方,这类汽车都能实现完全自动驾驶,而无需人类干预,但并非... 查看详情

阿里云ack@edge助力元戎启行加速进入自动驾驶规模化生产

...车辆管理成本。为什么说“云边协同”是自动驾驶发展的加速器?元戎启行科技有限公司是一家专注于研发和应用L4级自动驾驶技术的科技公司,拥有自动驾驶乘用车“元启行”和自动驾驶轻卡“元启运”两大产品,... 查看详情

阿里云ack@edge助力元戎启行加速进入自动驾驶规模化生产

...车辆管理成本。为什么说“云边协同”是自动驾驶发展的加速器?元戎启行科技有限公司是一家专注于研发和应用L4级自动驾驶技术的科技公司,拥有自动驾驶乘用车“元启行”和自动驾驶轻卡“元启运”两大产品,... 查看详情

自动驾驶⻋端算力:达到l4级自动驾驶要求并不遥远算力单位tops

1.⻋端算力:达到L4级自动驾驶要求并不遥远激光雷达方案:降低⻋辆环境感知的算法与算力需求纯视觉方案基于平面数据来识别出周围物体距离、轮廓、色彩,对算法、算力要求高,需要后端强大的数据中心训练算法多传... 查看详情

自动驾驶公司“挤兑”商业化,谁急了?

...一年之后,自动驾驶公司们的商业化动态突然在2022年加速井喷。L5达不到,L4、L3能转化出订单,也是应用级的领先。恰逢深圳、上海等地连续出台地方政策,给予自动驾驶上路更大的权限。似乎一夜之间ÿ 查看详情

自动驾驶公司“挤兑”商业化,谁急了?

...一年之后,自动驾驶公司们的商业化动态突然在2022年加速井喷。L5达不到,L4、L3能转化出订单,也是应用级的领先。恰逢深圳、上海等地连续出台地方政策,给予自动驾驶上路更大的权限。似乎一夜之间ÿ 查看详情

全套l4自动驾驶方案降至1万美元,robotaxi玩家的反击开始了

雷刚发自凹非寺智能车参考报道|公众号AI4Auto如果L4级自动驾驶方案足够便宜…那还图渐进式辅助驾驶啥?图难以预料的无法识别场景?图需要紧急时刻的接管?还是图出事故后“车主使用不当”的回应?只是问题... 查看详情

中国首款l4级robovan发布!文远知行商用落地两条腿走路

...进入Robovan时间。就在今日(9月9日)中国首款L4级自动驾驶轻客——WeRideRobovan——正式发布。自动驾驶独角兽文远知行,再用铁三角模式,联手江铃汽车和中通 查看详情

2022年l4自动驾驶年度答卷,真「无人」笑到最后

金磊贾浩楠发自凹非寺量子位|公众号QbitAIL4自动驾驶,今年走到了“大洗牌”、“大变局”的时刻。一半是寒冬。平台型自动驾驶明星Aurora、背靠福特和大众的Argo……今年都先后传出裁员或破产的消息,还有不少之前专... 查看详情

自动驾驶“芯”战争

...然而,在不确定中,汽车行业对未来的方向又十分笃定。自动驾驶集中出现了几则大新闻——6月23日,刚刚与宝马在自动驾驶领域宣布和平分手的奔驰,宣布与芯片供应商英伟达达成合作,将使用后者的Orin芯片,开发下一代车... 查看详情

国内l4级别自动驾驶究竟到啥程度?

...对其他类型产品我个人不了解,也不妄言,不过对于所谓自动驾驶来说,现有4G网络的带宽和速率的承载量,甚至于云端服务器的计算量等等恐怕都难以从本质上让驾驶这件事真正的智能化、互联化。近段时间,因为国家已经正... 查看详情

自动驾驶带来的变革与车联网安全——逻辑思维软件

...综合措施,加快推动产业化进程。部分车企已经实现部分自动驾驶(L2级)汽车的批量生产,少数高端品牌已率先推出有条件自动驾驶(L3级)汽车;以谷歌为代表的新技术力量,也在积极开展全自动驾驶技术(L4、L5级)的研发... 查看详情

全球最大规模自动驾驶项目落地测试中国公司蘑菇车联引国际媒体关注

近日,中国自动驾驶头部公司蘑菇车联在位于湖南衡阳的智慧交通项目吸引了国际媒体的广泛关注。据报道,该项目投资约5亿元,总里程达200公里,是目前全球已公布规模最大的L4级自动驾驶项目。法新社等数十... 查看详情

自动驾驶l4级别啥意思

参考技术AL4级别自动驾驶是指能在限定的道路及环境中,车辆可完全不需人为干预,自行完成驾驶。这个限定条件不光对车有要求,对道路条件同样也有要求。随着ADAS实现的功能越来越多,渐进式可实现无人驾驶。在了解目前... 查看详情

l4自动驾驶量产成本低至1万元,轻舟智航轻舟智航开启「双擎」战略

...始,我特此开设 “智能驾驶” 专栏,及时更新自动驾驶视觉感知领域的最新产业界和学术界的最新成果。更重要的是,由于自动驾驶是一个极其需要工程能力、系统能力、算法能力结合的方向,极具AI落地需要... 查看详情