论文标题：NOT-156: Night Object Tracking using Low-light and Thermal Infrared: From Multimodal Common-aperture Camera to Benchmark Datasets

数据集主页：http://rsidea.whu.edu.cn/NOT156_dataset.htm

论文：https://ieeexplore.ieee.org/abstract/document/10938642

收录期刊：IEEE Transactions on Geoscience and Remote Sensing

关键字：

首套微光-热红外共口径成像技术。设计研制微光-热红外共口径成像平台，同视场同步成像，提供高精度、高质量的多模态数据。

场景最全面的夜间视觉视频数据集。所有数据均为真实夜间场景，大量场景采集自照度低于10-2lux的极端低照度环境，充分考虑目标类别、属性、背景环境等，保障数据集多样性。

体系化的多模态夜间目标跟踪方法基准。广泛测试现有跟踪器性能，基于噪声、热交叉等微光-热红外模态特性，提出18种挑战性属性，提供更全面评估依据。

研究背景

夜间目标跟踪（Night Object Tracking, NOT）任务旨在夜间低照度环境下，基于视频初始帧目标位置，从视频序列中持续定位感兴趣目标。该任务有助于打破目标跟踪天时限制，在灾害、军事等领域的全天时动态监测方面有着巨大应用潜力。然而，由于成像机理、拍摄环境等原因，现有数据集用于夜间目标跟踪依然面临以下难题：

（1）现有夜间目标跟踪数据大都使用RGB、热红外或RGB-T数据，采集自光照充足环境下，难以覆盖夜间普遍存在的低照度场景。

（2）现有数据依赖RGB模态提供空间细节，在夜间低照度环境下RGB无法捕获目标，而热红外模态空间细节缺失，对夜间目标区分度不足。

为此，研究组结合高灵敏微光成像与热红外成像技术，利用微光模态在极低照度环境下的成像能力，与热红外模态的热信息捕捉能力互补，研制共口径微光-热红外成像技术，实现夜间环境清晰成像。在此基础上，设计多样化的夜间动态场景，建立微光-热红外多模态夜间目标跟踪数据集，为夜间低照度环境下重点目标跟踪提供数据支持。相比于以往工作，本研究有着以下突出贡献：

（1）先进的多模态共口径成像技术。

（2）涵盖极端低照度条件的夜间专用数据集。

（3）全面且成体系的方法测试基准。

图1 现有RGB、热红外与RGB-T数据集中的夜间场景

图2 NOT-156数据集典型夜间场景/div>

主要贡献

1. 微光-热红外共口径成像

成像平台采用研究组设计研制的微光-热红外(LOw-Light and Thermal infrared, LOL-T)共口径相机，如图3所示。通过分光镜将光、热信号同时传递至微光与红外传感器，实现双传感器同步成像，且视场中心完全对齐。相较于现有多模态数据采用多个相机成像的方式，共口径成像具备以下优点：

1) 简单配准精准对齐。通过简单的配准、裁剪等操作，即可获取像素级精准对齐的微光-热红外多模态视频对。配准后共享标签，无需对每个模态单独标注，减少标注失误，降低标注成本。

2) 具备实时处理能力。无论成像角度、距离和运动状态如何，微光-热红外图像对在所有场景下的配准参数一致。获取配准参数后，只需编写简单的预处理程序，即可实现微光-红外多模态数据的实时采集与预处理，为遥感平台在线处理提供数据支持。

图3 微光-热红外共口径成像示意图

2. 夜间专用数据集

NOT-156数据集中所有场景均在夜间拍摄，其中一半以上为RGB相机难以清晰成像的低照度场景。数据集共包含156个视频序列、总计17万帧的标注数据、4大类目标以及18种挑战性属性。图4和图5分别展示了数据集的代表性场景以及目标和属性的统计信息。

图4 NOT-156数据集代表性场景

图5 NOT-156挑战性属性与目标类别统计

3.多模态夜间目标跟踪方法基准

采用现有的RGB单模态跟踪器、热红外多模态跟踪器与RGB-T多模态跟踪器开展实验。跨模态直接推理实验用于测试RGB、热红外以及RGB-T预训练模型在NOT-156数据集的表现，其定量结果如图6所示。重训练实验采用RGB-T跟踪器在NOT-156数据集上进行训练与测试。通过以上实验，构建起多模态夜间目标跟踪方法基准，为后续研究奠定基础。此外，为全面评估各类跟踪器在NOT-156上的表现，本文在现有数据集属性基础上进行归纳扩充，提出了18种挑战性属性，用于全面评估跟踪器在微光、红外以及双模态通用挑战上的表现，各类属性定义如表1所示。

图6 跨模态直接推理实验定量结果

表1 NOT-156数据集18种挑战性属性

研究团队

该成果是武汉大学RSIDEA研究团队在多模态目标跟踪领域的重要工作，凝聚了团队师生的集体智慧与协作精神，历时半年构建完成。研究由王心宇副教授与钟燕飞教授共同指导，博士生孙晨第一作者，主导数据集构建，戴小兵副教授负责微光-热红外共口径相机设计与研制，万瑜廷博士后为数据集提供了宝贵的设计意见与技术支持，团队成员姜枭、朱曾亮、李静涛分别参与数据标注、预处理与拍摄，充分展现了团队在技术攻关与任务执行中的协同能力。此外，樊盛华博士后为场景设计、数据采集、数据标注到方法测试做出巨大贡献，本科生科研梯队的牛中煜、廖非凡、李伟静、陈雪珂、刘嘉伟、郭晨宇、谭品聪等同学均为本数据集提供了帮助，玉汝于成，功不唐捐！同时，该研究得到了国家自然科学基金青年科学基金项目（A类，42325105）和国家重点研发计划（2022YFB3903404）的支持。

下载方式

NOT-156提供了百度网盘和Google云盘两种下载方式，用户通过下方链接填写简单的调查问卷后即可获取数据集下载链接。

数据集主页：http://rsidea.whu.edu.cn/NOT156_dataset.htm

百度网盘：https://www.wjx.cn/vm/wF92PO4.aspx

Google云盘：https://www.wjx.cn/vm/Q0fEowo.aspx

版权及联系方式

本数据集版权归智能化遥感数据提取分析与应用研究组（RSIDEA）所有，该研究组隶属于武汉大学测绘遥感信息工程国家重点实验室（LIESMARS）。NOT-156数据集仅限于学术目的使用，并需引用以下论文，任何商业用途均被禁止。

参考文献：

[1] C. Sun, X Wang et al., "NOT-156: Night Object Tracking using Low-light and Thermal Infrared: From Multi-modal Common-aperture Camera to Benchmark Datasets," in IEEE Transactions on Geoscience and Remote Sensing, vol. 63, pp. 1-11, 2025, Art no. 5618911, doi: 10.1109/TGRS.2025.3553695.

如果您在使用NOT-156数据集时有任何问题或反馈，请联系：

孙 晨 博士生：sunchen@whu.edu.cn

王心宇 副教授：wangxinyu@whu.edu.cn

钟燕飞 教 授：zhongyanfei@whu.edu.cn

供稿：孙晨    排版：柯天    审核：吴娇、王心宇