专栏感知PedView:基于单目摄像头的行人碰撞预测系统

PedView:基于单目摄像头的行人碰撞预测系统

CSY2024-05-29
67
0

ADAS中的关键角色:行人碰撞预警

行人碰撞预警系统(Pedestrian Collision Warning,PCW)是ADAS中的关键组成部分,它通过计算行人与车辆的位置和运动状态,评估潜在的危险程度。然而,现有的系统通常依赖激光雷达(LiDAR)和立体摄像头来测量行人-车辆的距离,这在资源受限的环境中难以应用。

然而,现有的方法通常依靠一组子任务来协助预测过程,其中包括计算碰撞时间 (Time to Collision,TTC) 和考虑行人的意图以做出判断。这些单独的任务增加了系统的整体复杂性。此外,精确计算 TTC 可能会导致频繁且不必要的系统警告,从而可能降低驾驶员对 ADAS 系统的信任。

PedView是一种以视觉为中心、端到端行人碰撞预测系统,主要利用了单目3D目标检测器获得行人位置和意图,结合模糊规则进行危险预警,整体效果:

  • 在文中提到的nuScenes-collision数据集上PedView相对于离散条件方法(Discrete Conditional Rules,DCR)精度和召回率都得到了提升。(精确度0.844 到 0.937,召回率0.746到0.835)

  • PedView 可以显著减少频繁和不必要的警告数量,从而提高驾驶员对系统的信任度

端到端系统

PedView系统主要分为两部分:3D行人检测和行人碰撞预测。

3D行人检测

3D行人检测部分主要基于单目3D目标检测器FCOS3D进行了一些优化,以此来获取行人的位置和运动状态信息。通过预测行人的三维边界框,测量车辆与行人之间的距离。

行人碰撞预测

由于硬件的限制,单目测距是个不适定问题,直接计算TTC可能会造成较大的误差。同时经验丰富的驾驶员也不会依赖精确的语义信息来做决定。受此启发,文中开发了一种基于行人信息的新型模糊控制系统,利用模糊逻辑将定性评估与定量测量结合起来,从而可以更细致、更准确地预测现实世界场景中的潜在碰撞。

碰撞指标

文中基于三种碰撞指标?,?和????,分别表示行人与汽车的横向距离,行人与汽车的纵向距离,行人的移动状态(移动、静止)来分析和评估与每个行人相关的碰撞风险。

模糊化

分别定义了每个指标的模糊子集,应用成员函数(membership function)进行模糊化。

推理引擎

推理引擎模仿驾驶员用来评估行人碰撞潜在危险的逻辑判断过程。PedView 中定义了 18 条 if-then 规则,这些规则捕获了输入条件及其相关输出危险的不同组合。采用了 Mamdani 的推理方法。

去模糊化

一旦执行模糊推理过程并将输出风险确定为模糊集,就会应用去模糊化来获得清晰的值。在 PedView 中,采用质心法进行去模糊化。

实现结果

可视化效果

精度和召回率得到了提升

有效减少了不必要的警告

局限性:

无法很好地处理雨天,遮挡情况

以及行人检测器的误差

总结

PedView 利用前视单目摄像头进行 3D 行人检测,集成 3D 检测和模糊推理可以更全面地了解行人的运动和意图,从而提高碰撞预测准确性,使其特别适合资源有限的环境。

感知
评论0
0/1000