Understanding the Limitations of Vehicle-Infrastructure Cooperative Perception
随着多智能体系统在各个领域的快速发展,协作感知作为一种关键技术引起了广泛关注,以提升自主系统的智能水平。然而,面对实际复杂场景时,单一智能体的感知能力往往受到遮挡和感知范围有限等问题的制约。为此,多智能体间的协作感知应运而生,通过合作共享感知信息来增强整体感知性能。
单车感知的限制:
(1) 遮挡:当单个智能体被遮挡时,它无法看到或感知其后的场景。遮挡造成的感知盲点可以通过与其他智能体协作,从不同角度共享信息来补偿。 (2) 远程感知:任务要求检测远距离或难以到达的区域,而单个智能体的感知范围有限。通过多个智能体共同工作,可以覆盖更大的区域,实现对远程目标的感知和监控。
(1) 遮挡:当单个智能体被遮挡时,它无法看到或感知其后的场景。遮挡造成的感知盲点可以通过与其他智能体协作,从不同角度共享信息来补偿。 (2) 远程感知:任务要求检测远距离或难以到达的区域,而单个智能体的感知范围有限。通过多个智能体共同工作,可以覆盖更大的区域,实现对远程目标的感知和监控。
协同感知的优势:
协作感知是指多个智能体(通常是机器人、传感器或其他自主系统)合作并共享彼此的感知信息,以改善整体感知能力。通过协作感知,智能体之间可以共享互补的感知数据,使整个系统能够获得比单个智能体更全面和准确的信息。图1描述了车与基础设施在车路协同场景中的感知情况

协作感知是指多个智能体(通常是机器人、传感器或其他自主系统)合作并共享彼此的感知信息,以改善整体感知能力。通过协作感知,智能体之间可以共享互补的感知数据,使整个系统能够获得比单个智能体更全面和准确的信息。图1描述了车与基础设施在车路协同场景中的感知情况

不同于单车感知的协作方式:
协作感知的目标是利用车辆和其他设备上的传感器在交通环境中检测对象,提出了一个多智能体传感器融合问题。基于融合阶段,协作阶段可以广泛分为三种类型,即早期融合、中间融合和后期融合。当前的工作被分类为早期融合、中间融合和后期融合,如图2所示,中间融合因其在性能和传输带宽之间的良好平衡而被青睐。在这种背景下,一些杰出的工作探索了有效的协作机制。一个直接的解决方案,在早期工作中得到了广泛的研究,即在协作智能体之间直接传输和融合原始传感器数据。尽管这些方案在性能改善方面表现出有望的效果,但传输高维数据所需的昂贵通信带宽限制了它们在实际情况下的部署。最近,一系列新的解决方案,即基于中间融合的方法,因其在感知性能和网络带宽之间提供更好的平衡能力而被广泛研究。
]
协作感知的目标是利用车辆和其他设备上的传感器在交通环境中检测对象,提出了一个多智能体传感器融合问题。基于融合阶段,协作阶段可以广泛分为三种类型,即早期融合、中间融合和后期融合。当前的工作被分类为早期融合、中间融合和后期融合,如图2所示,中间融合因其在性能和传输带宽之间的良好平衡而被青睐。在这种背景下,一些杰出的工作探索了有效的协作机制。一个直接的解决方案,在早期工作中得到了广泛的研究,即在协作智能体之间直接传输和融合原始传感器数据。尽管这些方案在性能改善方面表现出有望的效果,但传输高维数据所需的昂贵通信带宽限制了它们在实际情况下的部署。最近,一系列新的解决方案,即基于中间融合的方法,因其在感知性能和网络带宽之间提供更好的平衡能力而被广泛研究。
]协同感知整体框架:

该框架包括五个关键模块:

该框架包括五个关键模块:
- 特征提取:处理原始点云数据。
- 特征压缩:传输提取的特征。
- 协作:多个智能体协作方式。
- 特征融合:确保来自不同智能体的信息的空间对齐和时间延迟校正。
- 目标检测:在融合特征上进行目标检测。
实验结果




