チームの最近の成果：スクリブル注釈に基づく弱監督擬似ラベルテクスチャセマンティックセグメンテーション（PTS）ネットワーク

私たちのチームは、国際ジャーナル「Expert Systems With Applications」（IF: 8.5、コンピュータサイエンス1区TOP）にて「A pseudo-labeling based weakly supervised segmentation method for few-shot texture images」という論文を発表しました。この論文では、上海大学コンピュータ工学科学学院が第一機関であり、Han Yuexingが第一著者、Li Ruiqiが第二著者、Han YuexingとChen Qiaochuanが共同通信著者であることをご報告いたします。

深さ学習に基づく材料微細構造画像分割は、サンプルの希少性、注釈の難易度、モデルの汎用化などの問題に直面している。複雑なテクスチャを持つ材料画像では、異なる物相間の境界を正確に区別することは困難であることが多い。これらの問題は、材料微細構造画像分割における既存の深さ学習ネットワークの性能低下をもたらしている。これらの問題を解決するために、本文はスクライブマークアップに基づく弱監督擬似マークアップテクスチャ意味分割（PTS）ネットワークを提案した。完全な寸法に比べて、スクライブ寸法は明確なカテゴリを持つ少数のピクセルに対してのみ寸法を行う必要があり、寸法作業に必要な分野の知識を大幅に削減します。しかし、スクライブ表示によってカバーされる画素数は極めて少なく、複雑なニューラルネットワークを十分に監視学習することは容易ではない。したがって、PTSネットワークは、トレーニング段階で偽ラベルを生成することにより、より利用可能な監視情報を取得する。

上図に示すように、PTSネットワークは二重分岐構造を採用し、主分岐と補助分岐の2つの部分を含む。主分岐は画像特徴と分割予測を抽出するために用いられ、補助分岐は偽ラベルを生成するために用いられ、主分岐が訓練を行うのを助け、それによって主分岐の分割予測結果の二重監督（スコアリングと偽ラベル）を実現する。試験段階では、主分岐のみが画像の分割結果を予測するために使用される。PTSネットワークは、1〜2枚のスクライブラインに基づく複雑なテクスチャ材料画像を実現し、汎化能力を持つ画像分割モデルを訓練し、モデルは普遍的である。次の図は、チタン合金データセット上のスクライブ表示に基づく異なるモデルの分割結果です。

PTSネットワークの特徴とUnet++ネットワークの特徴をそれぞれt-SNE方法を用いてディメンションダウンした後、図3に示すような特徴分布を得ることができる。PTSネットワークとUnet++ネットワークの特徴分布を比較することにより、Unet++ネットワークの異なるカテゴリの特徴はPTSネットワークに比べて混同されていることが分かった。下図のUnet++ネットワークの青とオレンジの特徴点の分布は互いに重なり合い、Unet++ネットワークの最終的な分割結果を制限する可能性がある。対照的に、PTSネットワークの特徴分布の異なるカテゴリ間の境界はより明確であり、予測分割をより良く行うのに役立つ。

私たちのコードと論文は、以下の場所で公開されています：https://github.com/han-yuexing/Scribble_Segmentation