新能源与智能汽车技术丛书--智能汽车环境感知技术

汽车产业正在经历百年未有之大变局，电气化、智能化和网联化是未来汽车发展的主要趋势。一方面，能源消耗、环境保护、供需失衡、交通拥堵和行车安全给汽车产业可持续发展带来的压力与日俱增，要求汽车行业必须把握新机遇，提供全新解决方案。另一方面，新一轮科技革命推动科技公司、创业公司及新型模式运营公司等外部力量加速跨界进入汽车领域，汽车的产品属性、产业价值链和生态结构都将完全不同。
近年来，全球自动驾驶汽车发展迅速，以Waymo、Tesla、百度等为代表的企业持续加大自动驾驶算法研发投入，大规模开展自动驾驶测试、验证和示范应用，并逐步探索无人驾驶汽车商业化运营。
现阶段，汽车的电气化已经取得了阶段性的进展，接下来应该把智能化放到更加重要的位置上。环境感知技术一直是智能汽车的核心议题，它可与自主导航、路径规划和决策控制等算法形成闭环的自动驾驶系统。目标检测算法作为环境感知的基础任务，旨在识别传感器数据中感兴趣的物体，并确定物体的位置、尺寸及类别，帮助车辆理解前方障碍物“是什么”“在哪里”。为了进行更强的环境感知和更可靠的目标检测，自动驾驶汽车上同时部署了相机传感器和激光雷达传感器，通过单模态、多模态传感器算法实现智能汽车的平稳安全行驶。
本书全面系统地展示了最新的智能汽车环境感知算法研究成果。全书共分8章：第1章介绍了汽车的智能化、环境感知技术的重要性，智能汽车环境感知算法的国内外研究现状；第2章介绍了智能汽车感知系统及传感器标定方法，包括感知系统介绍、单目相机标定、相机和激光雷达联合标定；第3章介绍了基于单目视觉的环境感知技术，包括深度学习理论及相关方法介绍、VisionTransformer、Swin DeformableTransformer-BiPAFPN-YOLOX的目标检测算法、实验与分析、实车实验；第4章介绍了基于MobileNetv2_CA-YOLOv4的环境感知技术，包括轻量化目标检测算法；第5章介绍了基于MCDVformer的多任务环境感知技术，包括多任务主干MCDVformer介绍、目标检测实验、实例分割实验、目标分类实验、语义分割实验、消融实验、实车实验；第6章介绍了基于点云数据增强的环境感知技术，包括点云密度和语义增强框架和流程、点云和图像之间的坐标转换、数据集和检测器细节、消融实验；第7章介绍了基于两阶段序列融合的环境感知技术，包括多模态传感器融合方法及概念、两阶段序列融合网络、最近群组关联的点云语义增强、基于置信度和距离的非极大值抑制、消融实验；第8章介绍了基于多模态融合的环境感知技术，包括多模态融合环境感知算法问题描述、MFF-Net总体框架、实验设置、消融实验。
本书由时培成教授撰写。参与资料收集、整理及相关数据统计的有刘志强、齐恒、陈新禾、张程辉、刘糠继、李龙等博、硕士研究生。
特别感谢梁涛年博士、周定华正高级工程师，他们为本书提供了宝贵的意见和建议。此外，还要感谢海滨、倪绍勇、赵夕长、王文冲、蒋爱强等高级工程师，他们为本书提供了相关数据和统计信息。
由于笔者学识有限，书中不足之处在所难免，恳盼读者给予指正。

著者

本书全面系统地介绍了智能汽车环境感知技术，包括汽车的智能化、环境感知技术的重要性及国内外研究现状，智能汽车感知系统及传感器的标定方法，基于单目视觉的环境感知技术，基于MobileNetv2_CA-YOLOv4的环境感知技术，基于MCDVformer的多任务环境感知技术，基于点云数据增强的环境感知技术，基于两阶段序列融合的环境感知技术，基于多模态融合的环境感知技术，等等。
本书从学术界及工业界的角度出发，全面阐述了全新的环境感知算法，深入探讨了深度学习和神经网络等关键算法在环境感知领域的应用以及学术界需要攻克的重难点，可作为从事汽车行业的工程算法人员及相关专业的本科生、研究生的参考书，也可供智能汽车爱好者阅读。

第1章　绪论001
1.1　汽车的智能化002
1.1.1　智能汽车002
1.1.2　智能网联汽车002
1.1.3　无人驾驶汽车003
1.2　环境感知技术的重要性004
1.3　国内外研究现状006
1.3.1　基于图像的环境感知技术006
1.3.2　基于点云的环境感知技术010
1.3.3　基于多传感器融合的环境感知技术012
1.3.4　基于多任务网络的环境感知技术013

第2章　智能汽车感知系统及传感器标定方法015
2.1　感知系统介绍016
2.1.1　感知系统架构016
2.1.2　传感器介绍017
2.2　单目相机标定019
2.2.1　相机成像模型019
2.2.2　相机内参标定022
2.3　相机和激光雷达联合标定025
2.3.1　相机坐标系和激光雷达坐标系的转换模型025
2.3.2　外参的联合标定026
本章小结031

第3章　基于单目视觉的环境感知技术033
3.1　深度学习理论及相关方法介绍034
3.1.1　注意力机制034
3.1.2　注意力机制的计算034
3.1.3　自注意力机制035
3.2　VisionTransformer037
3.3　SwinDeformableTransformer-BiPAFPN-YOLOX目标检测算法041
3.3.1　DarkNet53-PAFPN-YOLOX目标检测算法041
3.3.2　SwinDeformableTransformer-BiPAFPN-YOLOX目标检测算法整体结构045
3.3.3　重建可变形自注意力机制046
3.3.4　主干网络：SwinDeformableTransformer048
3.3.5　颈部：BiPAFPN051
3.4　实验与分析053
3.4.1　实验平台搭建053
3.4.2　数据集053
3.4.3　评价标准053
3.4.4　训练策略055
3.4.5　实验数据统计与分析055
3.5　实车实验062
3.5.1　实验设备介绍062
3.5.2　实时检测064
本章小结067

第4章　基于MobileNetv2_CA-YOLOv4的环境感知技术069
4.1　MobileNetv2_CA-YOLOv4的轻量化目标检测算法070
4.1.1　深度可分离卷积070
4.1.2　网络结构的构建071
4.1.3　注意力机制及对比074
4.1.4　协调注意力机制CoordinateAttention（CA）的嵌入075
4.1.5　构造网络损失函数078
4.1.6　马赛克图像增强方法079
4.2　MobileNetv2_CA-YOLOv4目标检测算法的实验与分析080
4.2.1　实验平台080
4.2.2　数据集介绍081
4.2.3　模型训练081
4.2.4　评价指标082
4.2.5　实验结果分析082
4.2.6　目标检测结果对比086
本章小结089

第5章　基于MCDVformer的多任务环境感知技术091
5.1　多任务主干MCDVformer介绍092
5.1.1　整体结构092
5.1.2　移位窗口自注意力机制092
5.1.3　重建可变形自注意力机制093
5.1.4　关键点可变形自/交叉注意力机制094
5.1.5　SwinDeformableEncoder-Decoder095
5.1.6　密集残差连接097
5.2　目标检测实验098
5.2.1　数据集与评价标准098
5.2.2　训练策略098
5.2.3　定量实验分析099
5.2.4　定性实验分析100
5.3　实例分割实验101
5.3.1　数据集、训练策略与评价指标101
5.3.2　定量实验分析101
5.3.3　定性实验分析103
5.4　目标分类实验103
5.4.1　数据集以及评价指标103
5.4.2　训练策略104
5.4.3　定量实验分析104
5.5　语义分割实验106
5.5.1　数据集与评价指标106
5.5.2　训练策略106
5.5.3　定量实验分析106
5.5.4　定性实验分析108
5.6　消融实验109
5.7　实车实验113
5.7.1　目标检测实车实验113
5.7.2　实例分割实车实验115
5.7.3　语义分割实车实验117
本章小结118

第6章　基于点云数据增强的环境感知技术119
6.1　点云密度和语义增强框架与流程120
6.1.1　点云密度增强121
6.1.2　点云语义增强122
6.2　点云和图像之间的坐标转换124
6.3　数据集和检测器细节125
6.4　实验和结果分析126
6.4.1　nuScenes数据集的评价指标126
6.4.2　nuScenes数据集上的实验结果127
6.4.3　KITTI数据集上的实验结果127
6.5　消融实验128
6.5.1　点云密度增强的有效性验证129
6.5.2　点云语义增强的有效性验证131
6.5.3　D-SAugmentation整体性能的有效性验证132
本章小结134

第7章　基于两阶段序列融合的环境感知技术135
7.1　多模态传感器数据融合方法及概念136
7.2　两阶段序列融合网络137
7.3　最近群组关联的点云语义增强137
7.3.1　点云语义增强模块138
7.3.2　最近群组关联138
7.4　基于置信度和距离的非极大值抑制141
7.4.1　基于置信度的非极大值抑制141
7.4.2　级联距离与置信度的非极大值抑制141
7.5　实验结果及分析143
7.5.1　数据集介绍143
7.5.2　二维检测器的配置143
7.5.3　三维检测器的配置144
7.5.4　融合模块的配置144
7.5.5　检测结果及对比145
7.6　消融实验146
7.6.1　NGP模块的有效性146
7.6.2　C-DNMS模块的有效性147
7.6.3　TSF整体网络的有效性149
本章小结150

第8章　基于多模态融合的环境感知技术151
8.1　多模态融合环境感知算法问题描述152
8.2　MFF-Net总体框架153
8.2.1　空间变换投影（STP）154
8.2.2　自适应表达增强（AEE）融合155
8.2.3　自适应非极大值抑制（A-NMS）算法157
8.3　实验设置158
8.3.1　实验环境158
8.3.2　网络细节159
8.3.3　KITTI数据集评价指标159
8.3.4　网络训练参数159
8.4　实验结果和分析160
8.4.1　KITTI测试结果与分析160
8.4.2　nuScenes测试结果与分析162
8.5　消融实验162
8.5.1　定量实验分析163
8.5.2　定性实验分析164
本章小结167

参考文献168