基于生成对抗网络的数据增强方法在语义分割中的应用

简介：

生成对抗网络（GAN）的图片生成能力已经到了令人叹为观止的地步。比如：

以及这些：

这些惟妙惟肖的人脸图片都不是真实的照片，而是由英伟达公司的StyleGAN自动生成的。

除了生成可以以假乱真的人脸以外，我们与北航智能计算与机器学习实验室(http://dsd.future-lab.cn) 合作提出了GAN的另一种用途——用于语义分割任务的数据增强。大家都知道，数据集的标注一直都是一项耗时耗力的工作，特别是对于语义分割任务中像素级别的高精度数据而言。另一方面，数据集中普遍存在着类别不平衡的问题：一些类别总是频繁的出现，而另一些类别在数据集中的占比却少的可怜。利用GAN强大的图片生成能力，提出了一种用GAN来生成数据的策略，可以较好地解决数据标注困难以及数据集类别分布不平衡的问题。

该方法利用GAN这一类的生成模型作为数据生成器，将语义标签图转换为增补数据集。这样我们通过对语义标签图进行操作，就可以实现对特定类别的增加。并且在GAN的帮助下，可以以极高的效率生成新的数据。实验结果表明，借助该数据增强方法，可以将语义分割网络的分割准确率提升2.1%左右。

类别分布对语义分割的影响：

现有的数据集大多都存在着类别分布不均的问题。以Cityscapes数据集为例，车、道路等类别的出现频率非常高，几乎每张图片里都有；而墙、篱笆等类别则很少出现。该团队对类别分布和语义分割准确率之间的关系进行了分析，二者之间呈很高的相关性，如图1所示。某一标签类分割的准确率与其在数据集中的占比成正相关。