[autocars]基于计算机视觉的无人车感知

youngsea youngsea     2023-03-07     171

关键词:

1 传感器
无人车视觉传感器:超声波雷达(倒车)、毫米波雷达、LiDAR与摄像头。
激光雷达精度,速度高(厘米级),成本高;毫米波雷达可适应恶劣天气
2 KITTI数据集
(1)Stereo/Optical Flow数据集:两个摄像头
(2)视觉里程测量数据集
(3)三维物体检测数据集
(4)物体追踪数据集
(5)路面与车道检测数据集
3 计算机视觉能解决的问题:
(1)物体的识别与跟踪:识别(深度学习):行人、行驶空间、地标、红绿灯、其他车辆;跟踪:Optical Flow运动预测算法
(2)车辆的定位(基于拓扑与地标的算法,基于几何的视觉里程计算法)
4 Optical Flow和立体视觉
Optical Flow:图片序列或视频中像素级的密集对应关系,例如在每个像素上估算一个二维的偏移矢量,得到的Optical Flow以二维的矢量场表示。---基于单个摄像头在连续时刻的图像。
立体视觉:从两个或更多的视觉得到的图像中建立对应关系。---基于多个摄像头在同一时刻的图片。
进展:Siamese神经网络
5 物体的识别与追踪
实时地识别与追踪多个运动目标(车辆,行人)。
基于深度学习的物体识别:输出有噪声,如物体识别不稳定,物体被遮挡,物体短暂误识别。
进展:基于马尔科夫决策过程(MDP)的MOT算法:基于有噪声的识别结果获得鲁棒的物体运动轨迹。
6 视觉里程计算法
(1)基于拓扑与地标的算法:把所有的地标组成一个拓扑图,当无人车监测到某个地标时,可以大致推断自身的位置。
条件:建立精准的拓扑图,比如将每个路口的标志物做出地标。
(2)基于几何的视觉里程计算法:无需预先建立精准的拓扑图,分成单目和双目两种。
单目:无法推算出观察到的物体的大小,需要假设物体的初步大小,或结合其他传感器(如陀螺仪)进行准确的定位。
双目:通过左右图的三角测量法计算出特征点的深度,然后从深度信息推算出物体的大小。


























无人驾驶技术系列(干货)

...士,加州大学洛杉矶分校博士后,研究方向包括计算机和生物视觉,互联网广告算法,互联网文本和视频的推荐系统,语音识别和自然语言处理,曾在NIPS等国际会议中发表文章。 刘少山,PerceptIn联合... 查看详情

自动驾驶|apollo无人驾驶课程笔记0

在公众号【计算机视觉联盟】后台回复【9076】获取我的AI学习笔记;我的微信:Kingsplusa;  --by 王博Kings,985AI博士,CSDN博客专家,华为云专家我用了一周的晚上,将Apollo基础入门课程学习了一遍本笔... 查看详情

autoware使用激光雷达进行目标检测(代码片段)

...多,根据使用的传感器的不同,算法也截然不同,有单纯基于图像视觉的方法,也有基于激光雷达的方法,激光雷达以其稳定可靠、精度高并且能同时应用于定位和环境感知而被广泛采用。激光雷达环境感知一般的流程为:分割... 查看详情

智能车竞赛技术报告|智能车视觉-中原工学院-逐鹿-分母队(代码片段)

...级辅助驾驶等功能于一体的综合系统,它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术,是典型的高新技术综合体。目前对智能 查看详情

计算机视觉方向三大顶级会议

ICCV的全称是IEEEInternationalConferenceonComputerVision,国际计算机视觉大会,是计算机视觉方向的三大顶级会议之一,通常每两年召开一次,2005年10月曾经在北京召开。会议收录论文的内容包括:底层视觉与感知,颜色、光照与纹理处... 查看详情

自动驾驶技术-环境感知篇:基于视觉相关技术介绍

01 概述 在前面的文章介绍了环境感知中不同雷达的作用,一个标准的自动驾驶解决方案需要雷达与视觉技术的配合使用。视觉技术其实是仿生理学的解决方案,因为现实世界中司机驾驶车辆就是依靠视觉去做行车过程... 查看详情

激光slam与视觉slam的区别

...?激光SLAM地图构建视觉SLAM(基于视觉的定位与建图)随着计算机视觉的迅速发展,视觉SLAM因为信息量大,适用范围广等优点受到广泛关注。(1)基于深度摄像机的视觉SLAM,跟激光SLAM类似,通过收集到的点云数据,能直接计算... 查看详情

ubuntu部署deepsort目标跟踪算法,无人车/无人机应用(代码片段)

...0c;它通过预先训练的深度关联度量来整合外观信息。使用视觉外观空间中的最近邻查询来建立测量到跟踪的关联,能够通过更长时间的遮挡来跟踪对象,有效减少身份切换的数量。使Sort成为当时最先进的在线跟踪算法&# 查看详情

自动驾驶自动驾驶感知系统与关键技术介绍

...动驾驶?百度百科定义:自动驾驶汽车,又称无人驾驶车、电脑驾驶车、无人车、自驾车,为一种需要驾驶员辅助或者 查看详情

无人车定位技术

无人车定位技术定位目的定位的目的是让自动驾驶汽车找到自身确切位置的方法,可以说,定位导航技术是整个自动驾驶技术的核心。在日常生活中,我们一直使用谷歌、百度、高德或者其他地图来确定自己的位置,其实质就是... 查看详情

ida-3d解读基于实例深度感知的自动驾驶立体视觉三维目标检测

...目标检测是自动驾驶和虚拟现实中重要的场景理解任务。基于激光雷达技术的方法具有高性能,但激光雷达昂贵。考虑更一般的场景,没有3d激光雷达数据的数据集,我们提出一个3d对象立体视觉检测的方法,只需... 查看详情

为什么历途机器人可以实现越障清洗?

历途机器人借助计算机视觉和人工智能技术来感知外界环境,并配合其它系统完成机器人的场景感知、行动规划和任务执行。1、采用视觉slam技术采用几何视觉slam和基于深度学习的slam相结合的技术进行机器人位置和周围环境距... 查看详情

slam算法解析

...。机器人定位导航方面,SLAM可以用于生成环境的地图。基于这个地图,机器人执行路径规划、自主探索、导航等任务。        SLAM技术的发展距今已 查看详情

自动驾驶无人驾驶车联网笔记分享

...尔曼滤波学习笔记自动驾驶-寻径自动驾驶-神经网络介绍_基于神经网络的自动驾驶自动驾驶-使用fcn语义分割_自动驾驶语义分割自动驾驶-利用tensorflow实现fcn对图片语 查看详情

如何用python进行基于深度学习的计算机视觉项目开发?

令人惊喜的“智能”年代深度学习有着广阔的前景我们正处在一个“智能”的年代,比如智能手机中的语音助手、机器翻译和人脸识别;战胜过日本将棋冠军、国际象棋冠军,2017年又打败世界围棋冠军的棋类AI;... 查看详情

基于双目视觉的三维重建c++实战(代码片段)

就在一年前,在我开始写这篇文章之前,我观看了特斯拉人工智能总监AndrejKarapathy的一次演讲,他向世界展示了特斯拉汽车如何使用连接到汽车上的摄像头感知深度、在3D中重建其周围环境并实时做出决策,一切&#... 查看详情

基于python环境搭建-yolo实现吸烟行为监测

...秋键出品|AI科技大本营(ID:rgznai100)引言目标检测是一种与计算机视觉和图像处理有关的计算机技术,用于检测数字图像和视频中特定类别的语义对象(例如人、建筑物或汽车等),其在视频安防,自动驾驶,交通监控,无人机场景分析和机... 查看详情

智能车竞赛技术报告|智能车视觉-青岛工学院-青工战斗(代码片段)

...的智能车系统以LPC54606J512微控制器为核心控制单元,基于MT9V034摄像头的图像采样获取赛道图像信息,提取赛道中心线,计算出小车与黑线间的位置偏差,采用PD方式对舵机转向进行反馈控制。使用PID控制算法调节... 查看详情