快速了解一个网络：CFTrack, Center-based Radar and Camera Fusion for 3D Multi-Object Tracking

以下内容偏向于记录个人学习过程及思考，非常规教学内容

背景

提出一种端到端的、基于radar-camera融合的多目标检测-跟踪联合模型。

核心思想

结合CenterFusion和CenterTrack的思路

魔改CenterFusion输入，支持增加上一帧的camera、radar和目标检测结果同时作为输入。

基于融合的radar-camera features，输出部份增加预测一个上一帧目标与当前帧目标的偏置displacement（类似于用网络来代替tracking中的预测部份）

再基于贪心算法实现关联部份以达到tracking的目的。

Pipeline

亿些细节

Detection Network

上一帧的目标检测结果，通过基于中心点的2d-Gaussian核产生heatmap，作为一个channel输入给网络。

进一步了解

• CenterFusion
• CenterTrack

原文和代码

https://arxiv.org/abs/2107.05150

参考资料

无