团队近期成果--基于HP-VAE-GAN改进网络的材料图像数据增强方法

我们团队在国际期刊《Computational Materials Science》上发表论文”Data augmentation in material images using the improved HP-VAE-GAN”。该论文上海大学计算机工程与科学学院为第一单位，韩越兴为第一作者，刘宇虹为第二作者，陈侨川为通讯作者。

在材料研究领域，收集图像数据的成本相对较高，小样本数据集的图像识别面临诸多挑战。为解决材料研究中图像样本不足的问题，本研究提出了一种改进的HP-VAE-GAN网络来生成材料图像以实现数据增强。

HP-VAE-GAN是一种单样本生成模型，由Patch-VAE和Patch-GAN组成。改进的HP-VAE-GAN将注意力机制引入模型中，通过在Patch-VAE的编码器中添加CBAM（卷积块注意力模块），进一步提高了网络的特征提取和表示能力。使用该模型训练单一图像，然后生成一定数量的样本以实现训练集的扩充。

研究结果表明，对于超高碳钢微观结构图像的分类任务，使用真实图像与生成图像融合数据集训练得到的分类模型（MobileNet、ResNet50和VGG16）的准确率明显提高。此外，在类似材料图像的纹理图像上的实验也验证了改进型HP-VAE-GAN的有效性。

论文链接：Data augmentation in material images using the improved HP-VAE-GAN

该论文的代码开源在GitHub: https://github.com/han-yuexing/Improved-HP-VAE-GAN