当前位置：首页 > news >正文

【人工智能与机器人研究】基于改进长短焦图像融合技术的轨道交通障碍物检测系统研究

news 2025/6/28 7:20:15

导读：

近年来，随着轨道交通网络的快速扩展和列车速度的不断提升，传统轨交障碍物检测系统在视觉感知能力上面临目标模糊、范围受限等挑战，难以满足日益严格的铁路运输安全需求。针对这一问题，本文提出了一种基于改进长短焦图像融合技术的轨道交通障碍物检测系统。该系统通过结合长焦相机的高分辨率细节捕捉能力与短焦相机的广角场景感知优势，生成清晰且信息丰富的融合图像用于障碍物检测。同时，设计了一种结合SIFT特征提取与相位相关法的创新配准算法，将边缘对齐误差从2.16像素显著降低至0.27像素，显著提升了铁轨区域的对齐精度和全局图像一致性。在此基础上，利用YOLO11目标检测模型的多尺度特征提取能力与高效推理性能开发障碍物检测系统。检测结果表明，相比单一长焦或短焦图像，融合图像可有效探测近距离障碍物并兼顾远距离细节，目标检测mAP50-95指标由64.19%提升至81.32%，增幅达26.69%。这展现了融合图像在远近目标识别、铁轨细节捕捉和全局视野感知方面的显著优势。本研究为轨道交通障碍物检测系统的视觉感知能力提升提供了重要的技术参考。

正文

本文将改进的长短焦图像融合技术应用于轨道交通障碍物检测系统，提出了一种基于SIFT特征提取与相位相关法相结合的创新图像配准方法。该方法既考虑了SIFT特征等空间域信息，又引入了变换域的轨道相位信息进行细化对齐。相比单一的空间域方法，本文方法能够更好地应对轨道场景下的复杂融合需求，实现对图像细节与全局信息的良好兼顾，解决了传统方法难以应对的铁轨错位和割裂问题。

本文提出的轨道交通障碍物检测系统整体方案如图1所示，涵盖数据采集、数据预处理、数据分析处理及数据输出四个核心模块。

首先对长短焦图像进行预处理，包括畸变校正和立体校正，以消除成像畸变并对齐两幅图像的成像平面；随后，通过空间域的SIFT特征提取、特征匹配与过滤以及单应性矩阵对齐，完成长短焦图像的初步配准；最后，结合变换域的相位相关法对铁轨等关键区域进行精细配准，以进一步提高融合图像的边缘对齐精度。

基于长短焦图像在轨交场景应用的先验知识，如图4所示，铁轨主要集中在长焦图像中间1/3区域的下半部分。根据此特点，可将相位相关法的计算范围限定于该特定区域，从而有效提高配准效率，减少非目标区域的干扰，实现长焦图像与短焦图像在铁轨区域的进一步精细配准。

YOLO算法作为首个实现单阶段目标检测的框架，将目标检测问题转化为回归问题，通过直接回归目标包络框的类别和位置，展现了卓越的实时性和工程应用价值。YOLO11是Ultralytics团队于2024年10月发布的最新模型，通过重新设计网络架构和优化训练流程，进一步提升了模型的精度与效率。如图5所示，YOLO11的网络结构主要引入了C3k2 (Cross Stage Partial with kernel size 2)和C2PSA (Convolutional block with Parallel Spatial Attention)等创新组件，增强了特征提取和处理能力。其中，C3k2模块结合C2f和C3模块的优势，通过将BottleNeck的卷积核转变为两个核大小为3的卷积层提升了特征提取能力，并且C3k2模块存在两种结构，支持灵活切换标准Bottleneck或C3k结构，以适应多尺度目标检测任务。

为进一步验证本算法在边缘对齐精度和时间效率方面的表现，表2给出了与空间域特征配准算法的对比结果。在1000组图片的对比实验中，边缘对齐误差(边缘错位的像素值)评估表明，本算法将误差从2.16像素显著降低至0.27像素，减少幅度高达87.5%。在时间效率方面，本算法的整体耗时为86 ms，相较于空间域特征配准算法的78 ms略有增加，但这一时间成本在大幅提升对齐精度的情况下完全可以接受。

我们在实验室专用视频分析服务器平台上部署并测试了该系统，验证了融合图像在提升障碍物检测性能方面的效果，并与原始短焦图像进行了对比分析。

表3展示了短焦图像和融合图像在障碍物检测模型中的性能对比。由于长焦图像在同一场景下仅能够捕捉部分目标物，未能涵盖全部检测目标，因此无法在同一数据集上进行全面评估。通过在同一时刻场景的短焦图像与融合图像数据集上进行评估，结果表明，融合图像在所有关键指标上均明显优于短焦图像。

以上结果表明，改进的长短焦图像融合技术不仅可以克服单一视角图像所存在的局限性，还能够通过集成不同焦段的优点，进一步提升障碍物检测系统的环境感知能力，为轨道交通等智能驾驶系统的安全性和可靠性提供有力支持。

结论

试验结果表明，该系统不仅保留了长焦相机在捕捉远处高分辨率细节方面的优势，还结合了短焦相机在全局场景感知上的广角能力，实现了对远近目标的精准检测和早期预警。其目标检测性能的mAP50-95指标从短焦图像的64.19%提升至81.32%，显著提升了系统的整体性能和安全性。研究成果为轨道交通障碍物检测系统的视觉感知能力提升提供了重要参考，展现出良好的应用价值与推广潜力。