团队近期成果--基于划线标注的弱监督伪标记纹理语义分割（PTS）网络

我们团队在国际期刊《Expert Systems With Applications》(IF:8.5，计算机科学1区TOP)上发表论文”A pseudo-labeling based weakly supervised segmentation method for few-shot texture images”。该论文上海大学计算机工程与科学学院为第一单位，韩越兴为第一作者，李睿祺为第二作者，韩越兴和陈侨川为共同通讯作者。

基于深度学习的材料微结构图像分割面临着样本稀缺、注释难度和模型通用化等问题。在具有复杂纹理的材料图像中，不同物相之间的边界往往难以精确地划分。这些问题导致了现有的深度学习网络在材料微观结构图像分割上的性能不佳。为了解决这些问题，本文提出了一种基于划线标注的弱监督伪标记纹理语义分割（PTS）网络。相较于完全标注，划线标注只需要对少数具有明确类别的像素进行标注，这显著减少了标注工作所需要的领域知识。然而，划线标注所覆盖的像素数量极少，不易对复杂的神经网络进行充分的监督学习。因此，PTS 网络通过在训练阶段生成伪标签，获取更多可用的监督信息。

如上图所示，PTS网络采用双分支结构，包含主分支和辅助分支两个部分。主分支用于提取图像特征和分割预测，辅助分支用于生成伪标签，帮助主分支进行训练，从而实现对主分支分割预测结果的双重监督（划线标注与伪标签）。在测试阶段，只有主分支被用于预测图像的分割结果。PTS网络实现了基于一到两张划线标注的复杂纹理材料图像，训练得到具有泛化能力的图像分割模型，且模型具有普适性。下图是不同模型在钛合金数据集上基于划线标注的分割结果。

在对PTS网络的特征和Unet++网络的特征分别使用t-SNE方法进行降维后，可以得到如图3所示的特征分布。通过比较PTS网络与Unet++网络的特征分布可以发现，Unet++网络的不同类别特征相比于PTS网络存在互相混淆的情况。下图中Unet++网络的蓝色和橙色特征点的分布相互重叠，可能限制了Unet++网络最终的分割结果。相比之下，PTS网络的特征分布不同类别之间的界限更加明显，有助于更好地进行预测分割。

我们的代码和论文都公布在github：https://github.com/han-yuexing/Scribble_Segmentation