|
我组发布大规模超高分辨率城市语义变化检测数据集Hi-UCD | |||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||
近日,我组发布大规模超高分辨率城市语义变化检测数据集Hi-UCD (ultra-High Urban Change Detection Dataset)。该数据集由课题组2021级博士生田诗琪收集与标注,是目前规模最大的超高分辨率城市语义变化检测基准数据集。Hi-UCD数据集以爱沙尼亚首都塔林为研究区,面积为102平方公里,共有 40800对512×512影像块、9 种土地覆盖地物和48种语义变化类型,可同时开展语义分割、二类变化检测、语义变化检测方法研究。研究成果发表于遥感领域顶刊ISPRS Journal of Photogrammetry and Remote Sensing。
1、研究背景 基于遥感的城市变化检测是指通过解译不同时相的遥感数据,分析比较地物变化特征,获取变化信息。图1中给出了城市区域中四种典型地物及其变化示例,由于城市场景的复杂性和地物类型的多样性表明城市变化具有以下特点: (1)城市变化类型复杂多样。从图1(a)可以看出,城市地物种类繁多,包括自然地物(如植被、水体)和人工地物(如道路、建筑物),具有较强的区域异质性和类间异质性。即使是同一类别的地物,如高速公路和城市绿道,也可能具有不同的几何形状、光谱特征和纹理特征。高速公路宽阔笔直,而城市绿道狭窄蜿蜒。地物的组成和分布复杂,导致变化类型多样。另外,由于多时相影像的成像时间不同,同一地物状态也可能存在差异,例如夏季和冬季植被冠层高度和丰度不同,产生伪变化干扰检测。 (2)城市变化尺度差异大。城市地物具有多尺度特性,例如图1(a)中商业区、居民区、工业区的建筑尺度不同,城市变化因而继承了地物的多尺度特性。由于城市发展是一个渐进的过程,变化多为地物的局部变化。例如图1(b)中荒地改为道路,涉及拓宽原有道路,改变部分面积,与建筑施工相比,规模有明显差异。
基于上述城市地物及其变化的特点,为了更好地利用先进的算法提取城市变化,助力城市可持续发展,对遥感数据提出了新的要求: (1)更高的空间分辨率。空间分辨率越高,能够提供的空间细节信息就越丰富,这有助于识别地物边界,精准定位变化区域,为精细化城市变化检测提供了可能。 (2)更丰富的地物类别先验。现有变化检测多集中于发现变化,而缺少变化类型判断,不利于后续研究分析。在拥有地物类别先验知识后,即可获取地物变化方向,分析城市地物类别变化情况。 (3)更大规模的数据体量。深度学习算法受训练数据规模与质量影响,大规模数据能够增加地物多样性,提高变化复杂性,使得模型所学特征更具泛化性与可扩展性。 在表1中,我们总结了现阶段公开的基于光学影像的城市变化检测数据集。可以发现现有公开变化检测数据集规模小,空间分辨率集中于0.5m,缺乏语义标注,难以满足基于深度学习的大范围城市精细化变化检测需求。与此同时,由于理想数据集缺乏,各类变化检测方法实验环境及评测指标不一,难以进行有效比较,极大阻碍了变化检测方法研究。
为了解决上述问题,本文构建了大规模超高分辨率城市语义变化检测数据集—Hi-UCD,该数据集覆盖面积为102平方公里,使用超高分辨率(0.1 m)遥感数据,标注9类城市土地覆盖地物,共生成48 种语义变化类别,可同时支持多时相语义分割、二类变化检测与语义变化检测方法研究,为验证算法的有效性与泛化性提供了基准。 2、Hi-UCD数据集 2.1 研究区
Hi-UCD数据集的研究区如图2所示,位于爱沙尼亚首都——塔林,是爱沙尼亚最大的城市。本文选取了面积为102km2的区域来采集数据。当地土地局提供了该区域2018年与2019年由Leica ADS100-SH100 拍摄的空间分辨率为0.1m的航空影像及对应矢量文件,经过人工核对及再标注,最终生成了Hi-UCD数据集。为方便深度学习算法研究的开展,Hi-UCD数据集依据明确的地理边界被分为三个部分:训练集,验证集及测试集,可验证变化检测方法的泛化性及可迁移性。为方便数据读取,提前将对应区域内的影像裁剪为大小为512×512 的影像块,共40800对。在图2中,橘色区域为训练集,面积为30 km2,包含12000 对影像块;绿色区域为验证集,面积为18 km2,包含7200对影像块;蓝色区域为测试集,面积为54 km2,包含21600 对影像块。 2.2 标注体系 在参考了官方提供的矢量数据详情说明文件后,本文选取了4类典型城市土地覆盖类型(水体、植被、构筑物、交通设施)及2类变化相关类别(裸地、其他)作为一级类。由于建筑物变化不仅出现在与其他地物类间(建筑物的新建、拆除),还出现在类内(建筑物的翻修,施工过程监测)。因此,本文将建筑物不同时期的表现形式单独作为一类——其他类,主要包括破损建筑物、在建建筑物、施工地基等。这六大类总体上涵盖了研究区地物,但对于城市变化检测来说,个别地类过于粗糙。考虑到地物实际变化特点及人们较为关心的地物,最终对植被、构筑物与交通设施这三类进行了细分。植被进一步分为草地与林地,交通设施分为道路与桥。而构筑物为城市重要组成部分,大量变化与其相关,根据官方文件,将其划分为建筑物及大棚两个二级类,最终形成9个地物类别:水体、草地、林地、建筑物、大棚、道路、桥梁、裸地及其他,由此构成数据集标注体系。将这九类地物与官方提供的矢量文件中的地物类型进行映射,得到表2,并给出每个土地覆盖类别的详细说明。
2.3 Hi-UCD数据集特点 与现有公开遥感影像变化检测数据集相比,所提出的Hi-UCD 数据集具有以下特点: 1)大规模数据量。(为方便深度学习模型训练与测试,本文将数据集裁剪成512×512 大小的影像块,最终获得40800对带有语义标签与变化标签的影像块。除此之外,Hi-UCD 与现有语义标注数据集相比,其语义标注类别数及语义变化数是最多的,9 类语义标注类别共生成48语义变化。 (2)精细的语义注释。本文考虑了典型的城市地物和变化相关地物,共9类。在标注过程中,对地形数据库中每个像素的原始标签进行了细化,例如将城市绿道和公园人行道标记为道路,并将绿地与道路分开。与图3所示的其他语义变化检测数据集相比,Hi-UCD数据集更有利于描绘城市地区。
(3)超高空间分辨率。Hi-UCD数据集由空间分辨率为0.1m的航空影像组成,是公开数据集中空间分辨率最高的。这些影像中地物几何形状清晰,边界明显,提供了丰富的空间纹理信息。因此,Hi-UCD数据集有利于检测地物的局部变化,实现精细化的变化检测。 3、深度学习方法测试 本文选取6种二类变化检测方法及5种语义变化检测方法在Hi-UCD数据集上进行了基准测试。各类方法特点总结如表3所示。
3.1 二类变化检测基准 各类方法在Hi-UCD测试集上的精度如表4所示,其中HRSCD Str.1得分最低,因为其结果包含较多虚警。UNetLSTM表现良好,因为LSTM网络有效地提取了时空特征。ChangeMask表现最好,变化的IoU得分远远超过其他方法。ChangeMask采用了特征提取能力较强的主干网络,在验证集和测试集上都有稳定的效果。可视化结果如图4所示。
3.2 语义变化检测方法基准 本文分别评估了各方法的分类效果和语义一致性,各方法在Hi-UCD测试集上的精度见表5。HRSCD系列方法在分类上的得分相近,ChangeMask表现最好,具有较好的鲁棒性。从各项评价指标来看,HRSCD Str.4表现略优于HRSCD Str.3。这证明了增强变化检测分支与分类分支之间的联系有利于变化检测效果的提升。各方法可视化结果见图5。
4、Hi-UCD 数据集下载与使用 Hi-UCD数据集现已公开,请点击下方链接下载。该下载路径下提供Hi-UCD数据集训练集、验证集与测试集影像。如果您想获取测试集得分,欢迎将测试集结果提交至我们托管的基准测试平台。 数据下载链接:http://rsidea.whu.edu.cn/Hi-UCD_dataset.htm 模型测评链接:https://www.codabench.org/competitions/3485/ 5、版权所有 本数据集版权归智能化遥感数据提取分析与应用研究组(RSIDEA)所有,该研究组隶属于武汉大学测绘遥感信息工程国家重点实验室(LIESMARS)。Hi-UCD数据集仅限于学术目的使用,并需引用以下论文,任何商业用途均被禁止。 [1] Tian, S., Zhong, Y., Zheng, Z., Ma, A., Tan, X., Zhang, L., 2022. Large-scale deep learning based binary and semantic change detection in ultra high resolution remote sensing imagery: From benchmark datasets to urban application. ISPRS Journal of Photogrammetry and Remote Sensing 193, 164–186. [2] Tian, S., Tan, X., Ma, A., Zheng, Z., Zhang, L., Zhong, Y., 2023. Temporal-agnostic change region proposal for semantic change detection. ISPRS Journal of Photogrammetry and Remote Sensing 204, 306–320. 6、联系方式 如果您在使用Hi-UCD数据集时有任何问题或反馈,请联系: 田诗琪 博士: shiqitian@whu.edu.cn 马爱龙 副教授:maailong007@whu.edu.cn 钟燕飞 教授: zhongyanfei@whu.edu.cn 供稿:田诗琪 排版:柯天 审核:吴娇、马爱龙、钟燕飞 |
||||||||||||||||||||||||||||||||||||||||||||