团队近期成果--基于预形状空间中测地曲面增强的零样本文本引导图像风格迁移

我们团队在国际期刊《VISUAL COMPUTER》(IF:2.9, 中科院三区)上发表论文”Geodesic feature augmentation for zero-shot text-guided diffusion style transfer”。该论文上海大学计算机工程与科学学院为第一单位。

图像风格迁移致力于将一幅图像的内容与另一种艺术风格相结合，但长期以来面临诸多挑战。传统方法大多依赖于特定的“风格参考图”，这极大地限制了用户地创造力，且寻找合适地参考图费时费力。近年来兴起地文本引导方法虽然更加灵活，却普遍面临着一个核心难题：如何在注入新风格的同时，避免原图的核心内容和结构被破坏或扭曲，即“内容和风格的平衡”问题。

为应对这一难题，我们团队提出FAGStyle，一种零样本文本引导的扩散图像风格迁移方法。该方法创新性地将形状空间理论思想应用于先进地扩散生成模型。们的方法通过将滑动窗口裁剪技术和测地线曲面上的特征增强技术融入到风格控制损失函数中，增强了图像块间的信息交互。此外，我们还集成了预塑形自相关一致性损失函数，以确保内容的一致性。

大量的定性和定量实验结果表明，面对多样的抽象组合风格，FAGStyle方法克服传统风格迁移方法对参考图像的依赖以及在内容保持上的不足，在风格化强度、忠实度以及内容保真度上均优于当前主流方法。

论文链接：Geodesic feature augmentation for zero-shot text-guided diffusion style transfer

代码链接：https://github.com/han-yuexing/FAGStyle

阮礼恒