2024年IEEE WHISPERS（Hyperspectral Image and Signal Processing: Evolution in Remote Sensing）多模态遥感图像语义分割挑战赛圆满落幕，吸引了来自全球多个国家和地区的顶尖团队参与，推动了遥感技术领域的发展与创新。本次竞赛聚焦长江经济带的多模态土地覆盖制图，采用Sentinel-1合成孔径雷达（SAR）和Sentinel-2多光谱遥感数据，旨在推动土地资源管理和生态保护领域的技术进步。

武汉大学测绘遥感信息工程全国重点实验室钟燕飞教授课题组RSIDEA，在77支参赛队伍中脱颖而出，荣获亚军。团队成员包括2023级硕士生徐显、2024级硕士生吴颖欣、郭祺、肖开义和博士后刘寅贺。

图1 IEEE Whisper多模态语义分割竞赛简介

本次竞赛的数据集选取了位于长江上下游的Sentinel-1合成孔径雷达（SAR）和Sentinel-2多光谱遥感数据结合做分割，其训练集位于长江上游，而测试集位于长江下游。该竞赛的挑战之一是如何在数据跨域整合和类别严重不平衡的情况下进行高精度的土地覆盖制图。在遥感图像处理任务中，尤其是面对跨域整合和类别严重不平衡的问题时，传统的数据增强方法（如旋转、缩放、平移等）往往不足以生成具有足够多样性和代表性的样本。

针对这一挑战，团队成员创新性地提出了一种基于ControlNet和Stable Diffusion XL扩散模型的数据增强语义分割框架。ControlNet通过引入可控条件生成图像，使得生成样本具备一定的领域知识和语义特性。而Stable Diffusion XL则通过逆向过程逐步恢复图像内容，生成具有高度逼真和多样化的伪样本，显著增强了数据的多样性。

图2 使用ControlNet根据合成标签生成的图像

通过利用Stable Diffusion XL和ControlNet生成伪标签和多光谱图像，团队成功增加了数据的多样性，提供了更丰富的训练样本，从而有效提升了模型的泛化能力和分类精度，尤其在处理不同地理环境下的遥感图像时，模型的稳定性得到了显著增强。

图3 多模态遥感图像语义分割挑战赛亚军证书

图4 团队成员合影

供稿：徐显    排版：柯天    审核：吴娇、刘寅贺、钟燕飞