对于非合作目标智能分类任务，由于无法获取足够有效的样本图像来训练网络模型，使网络易陷入过拟合的情况，直接影响智能算法模型性能。因此，围绕少量图像样本开展高价值样本数据扩增是遥感图像智能处理领域的重点研究内容之一。现有样本数据扩增方法包括基于图像变换的数据扩增方法、基于生成对抗网络的数据扩增方法与基于图像仿真的数据扩增方法。基于图像变换的数据扩增方法只是对原始数据进行基本二维几何变换或灰度变化，难以实现立体目标探测、复杂场景的样本类型扩增；基于生成对抗网络的数据扩增方法，训练过程对非合作场景样本数据数量和样本类型要求较高，生成图像存在样本模糊、扭曲等不足；基于图像仿真的数据扩增方法通过对目标场景开展建模及物理仿真，能够制作生成多样化环境与目标特征的图像样本数据，但现有将仿真样本与真实样本简单混合的样本构建模式，忽略了仿真样本与真实样本存在的误差、风格差异及两种数据集的特征分布差异，导致训练生成智能算法模型性能提升有限。
中国科学院国家空间科学中心复杂航天系统电子信息技术院重点实验室研究员李立钢团队硕士肖奇结合非合作目标智能分类的应用场景，提出了一种渐进式的光学遥感目标高价值图像样本数据扩增生成方法。该方法将整个数据扩增流程分为样本仿真生成阶段和风格迁移阶段：在样本仿真生成阶段，基于物理仿真工具预先生成多样化类型的目标仿真图像样本，样本类型覆盖目标典型探测角度、探测能见度以及成像分辨率等，这一阶段的主要目的在于提高原始目标数据集的特征丰富度；在风格迁移阶段，通过构建风格迁移网络sim2realnet，sim2realnet以densenet-121为主干网络，能够有效地提取仿真样本和真实图像内容信息和风格信息，从而实现从仿真样本到真实样本的风格迁移处理，该阶段的主要目的在于减少仿真样本与真实样本之间的域差异，整个数据扩增的处理流程如图1所示。为了验证该研究提出的方法有效性，科研人员针对六类目标开展了两组光学遥感目标分类实验，第一组分别利用传统图像变换数据扩增、图像仿真数据扩增以及本文提出的渐进式数据扩增方法开展样本扩增及分类模型训练，具体分类结果如图2所示；第二组对传统图像变换数据扩增、图像仿真数据扩增以及本文提出的渐进式数据扩增方法进行组合样本扩增及分类模型训练，具体分类结果如图3所示。第一组实验结果表明，与现有数据扩增方法相比，该研究提出的方法能够使得光学遥感目标分类准确度平均提高5%；第二组实验结果表明，通过将本文提出的数据扩增方法与其他方法进行组合数据扩增，与单一使用现有方法扩增，光学遥感目标分类准确度仍可提高6%，表明本研究提出的渐进式数据扩增方法在使用上具有较强的鲁棒性。
该理论研究成果为空间探测等非合作场景稀少样本目标的数据扩增提供了新颖有效的方法。相关研究成果发表在ieee journal of selected topics in applied earth observations and remote sensing上。
图1.本文提出的渐进式遥感目标数据扩增方法
图2.对比试验一：传统图像变换数据扩增、图像仿真数据扩增与本文方法对比实验结果
图3.对比试验二：传统图像变换数据扩增、图像仿真数据扩增分别与本文方法联合使用实验结果
研究团队单位：国家空间科学中心
下一篇：