お祝い!

池洳婷，本科は上海大学を卒業し、2021年から上海大学コンピュータ工学と科学学院で学術型修士大学院生を専攻している。池λ婷さんは本科大学4年生から韓越興研究グループに入り、画像処理に関する技術と応用を学び、韓先生の指導の下で、以下の研究を続け、推進した。

1. 材料画像の意味分割に存在する小サンプルとミクロ構造特徴が複雑である問題に対して、特徴ピラミッドと十字交差注意力に基づく二分岐意味分割ネットワークを提案する。このネットワークは、プライマリブランチとセカンダリブランチに分かれています。主ブランチは、特徴ピラミッドモデルを使用して多層的な画像特徴を集約して詳細情報を強化する、セカンダリブランチは、バックボーンネットワークの低層フィーチャを使用して画像を分割し、セカンダリネットワークはテクスチャと境界情報を学習する。マルチタスク監視とマルチスケール特徴の協力の下で、この方法は比較モデルに比べて、複数の小サンプル材料画像データセット上で最適な性能を得る。

2. 材料画像インスタンス分割における顕著な小サンプル問題に対して、既存データの利用率を高めることから、多モード融合と偽ラベル技術に基づくインスタンス分割方法を提案する。この方法は画像とテキストの多モードデータを融合することによって、ネットワークの物体分類、位置決め、分割の精度を高める。本論文では訓練を2段階に分けた：全監督訓練と半監督訓練。半監督訓練の段階では、偽ラベル技術を用いて、表示されていないデータを監督モデルの最適化に参加させる。多モード情報と2段階訓練の協力の下で、この方法は比較モデルに比べて、多種の小サンプルインスタンス分割シーンにおいて優れた性能を得る。

3. 2205二相ステンレス鋼顕微鏡画像に対して、統計分析方法を設計して材料画像分割結果と材料性能の内的関係掘削を完成する。本論文はそれぞれ意味分割結果及び実例分割結果に基づいて、材料経験式を用いて、人工分析結果に近いミクロ構造の成長速度と材料性能変化情況を効率的かつ正確に獲得する。

卒業後、池洳婷さんは小米に入ってカメラアルゴリズムの仕事に従事した。池洳婷さんは上海大学の3年間の大学院生生活の中で努力して勉強し、真剣に科学研究し、絶えず自分の専門知識を強化して、幸運にも多くの良師良友と知り合いました。池洳婷さんが未来の道で初心を忘れず、使命を銘記し、棘を切り、研磨して前進してほしい。

論文へのリンク：小样本图像分割方法研究及其在材料性能挖掘的的应用

万冠新、本科は桂林理工大学を卒業し、2021年9月から上海大学コンピュータ工学と科学学院で修士課程大学院生を専攻し、課題グループに加入した後、韓越興先生に従って形状空間理論と画像特徴の増強などの関連技術と応用を学習した。韓先生のご指導のもと、以下の研究が完成しました。

1. 小サンプル画像シーンにおける利用可能なデータの少なさと多様性の不足の特徴に対して、事前形状空間測地曲線に基づく画像特徴の増強方法を提案し、FAGC-PSS（Feature Augmentation on Geodesic Curves in Pre-Shape Space）と略称する。まず深さ学習モデルを用いて小サンプル画像の特徴を抽出する、形状空間理論に基づいて画像特徴の次元を向上させ、それを前形状空間に投影する、それぞれのカテゴリの特徴データに対応する測地曲線を構築する、最後に最適な測地曲線に沿って特徴データを生成し、画像処理モデルの訓練に用いた。この方法の革新は以下の3点を含む：第一に、小サンプル画像の特徴強化を実現し、モデルが訓練サンプルの分布と規則を全面的に理解し、モデルのロバスト性と信頼性を高めるのに役立つ、第二に、提案したFAGC-PSS特徴増強方法は、機械学習の分類モデルと結合することでより良い結果を得ることができるなど、複数の下流タスクに応用することができる。第三に、小サンプル画像分類タスクの交差エントロピー損失関数にランダム確率関数と影響因子を設計し、生成特徴と画像特徴がモデルに与える影響をバランスさせることができる。

2. 材料画像に小サンプルと材料性能予測精度がよくない特徴があることに対して、本論文はFAGC-PSSに基づく材料性能予測方法を提案する。この方法はFAGC-PSSの下流タスクフレーム構造を設計し、偽ラベル機構を結合することにより、小サンプル材料画像上の材料性能予測タスクを実現する。具体的なプロセスは4つのステップを含む：材料画像特徴の抽出、FAGC-PSSを通じて特徴を生成し、偽ラベル機構を利用して特徴のために性能値ラベルを表示し、最後に強化特徴を利用して材料性能予測モデルを訓練する。この方法の革新は以下を含む：予測材料性能モデルにFAGC-PSSモジュールを導入して、特徴データの多様性と複雑性を強化する、生成された特徴データに対して擬似ラベル機構を設計して寸法を付ける。実験の結果、異なる種類の材料性能予測任務に対して、この方法は良好な有効性と普遍性を示すことができることが明らかになった。

卒業後、万冠新学友はファーウェイ会社に入社した。万冠新学友は上海大学の3年間の大学院生生活の中で努力して学習し、科学研究プロジェクトに参加し、優れたプログラミング技能とアルゴリズム開発能力を示した。複雑な技術問題に対して、迅速に分析し、有効な解決策を提案することができ、強い独立研究能力と革新意識を示した。万冠新入生が未来の道で初心を忘れず、使命をしっかり覚え、勇敢に前進し、より輝かしい前途を切り開くことを望んでいる。

論文へのリンク：基于形状空间理论的图像特征增强及其在材料性能预测中的应用

韓思凡氏は、2021年9月に上海大学コンピュータ工学・科学学院に入学し、修士課程の大学院生段階の学習生涯を開き、課題グループに参加した後、陳僑川氏と韓越興氏の2人の先生に従って、材料の性能を予測するために深学習に基づいて材料画像を処理する研究に専念した。2人の先生の指導のもと、以下の研究内容を完成した。

1.グローバル・ローカル特徴抽出、多特徴融合に基づく深学習予測材料性能ネットワークを構築した。このネットワークは2分岐マルチスケールの構造設計を採用し、グローバル分岐ネットワークとグローバル部分分岐ネットワークを用いて、それぞれの材料微細構造画像に対してグローバルとローカル特徴の抽出を行い、それぞれの特徴のモデリング過程を破壊することはない。グローバルブランチネットワークに多頭自発力メカニズムを組み込み、特徴図を複数の異なるサブ空間に分割し、特徴間の内在的な関連関係を発掘する。現在の既存の方法に比べて、ネットワークはより完全で正確なStructure-Performanceマッピング関係を構築することに成功しました。

2.現在のアルゴリズムが複雑な場面で材料微細構造画像に対する理解が不足し、予測精度に影響を与える問題に対して、高効率多モード特徴融合ネットワークを提案した。このモデルには、エネルギースペクトル特徴抽出モジュール、局所要素特徴抽出モジュール、および材料のミクロ構造特徴を抽出するGLFS−Netモジュールが含まれる。多情報融合を通じて、材料要素支援強化ネットワークの詳細と材料画像のミクロ構造の戦略を採用し、最終的にはネットワークが複雑なシーンで材料性能の正確な予測を実現できるようにした。

3.「材料性能予測方法」の特許を出願した。この特許は軽量級ネットワークアーキテクチャに基づいており、材料の画像とテキストを結合した多モード情報を総合的に利用することにより、材料微細構造の分析及び性能予測の正確性をさらに向上させた。

卒業後、韓思凡さんは中車株洲電力機関車有限会社株機研究院で自動運転に関する研究に従事した。上海大学の3年間の大学院生の間で、一生懸命勉強すると同時に、多くの良師益友と知り合い、上海の多くの隅を歩いて、忘れられない、これからも皆さんと再会する機会があることを願っています。

論文へのリンク：基于多特征融合的材料性能预测研究

我々のチームは、国際定期刊行物『Journal of the European Ceramic Society』（IF：5.7、中央科学院1区）に論文「Thermal Conductivity Prediction of Al 2 O 3-Doped Tetragonal YSZ Coatings Using Deep Learning」を発表した。同論文は上海大学コンピュータ工学・科学学院が第1単位、陳僑川が第1著者、韓思凡が第2著者、宋雪梅が第3著者、韓越興と曽毅が共同通信著者である。

深さ学習に基づいて材料画像の性能を予測することは、データの希薄化と材料画像を同時に抽出できない局所的な特徴と大域的な特徴及び発見的な特徴との関連性などの問題に直面している。材料分野では、製造コスト、商業保護などの要因により自然シーン画像を取得するようにデータを一括取得することができず、データ量不足により深さ学習モデルを材料分野に直接適用することが困難になっている。一方、自然なシーン画像と異なり、材料画像は自身の特性のため、非常に細かく複雑なテクスチャ構造を持つことが多い。また、マクロ性能は局所的なミクロ構造の影響を受けるだけでなく、特徴と特徴の間の関連、構造間の相互作用、すなわちグローバルな特徴と同様に非常に重要である。既存のほとんどの深さ学習方法は、自然シーン画像に優れた表現を持つCNNモデルを直接材料分野に応用し、的確な最適化をしていないが、CNNは固定的な畳み込み核サイズのため、感受野が制限され、画像の局所的な特徴しか抽出できず、大域的な特徴を無視することが多い。そのため、アルゴリズムはデータ量が不足しているため、訓練が不足しているため、局所的な特徴と大域的な特徴を同時に抽出することができず、予測精度が不足し、ロバスト性が悪いという問題を引き起こしている。これらの問題を解決するために、本文は二重構造特徴抽出とマルチスケール注意力融合ネットワーク（RCFNet）を提案した。このモデルはグローバル特徴抽出モジュールとローカル特徴抽出モジュールの二分岐構造を採用し、材料画像のグローバル特徴とローカル特徴を独立に抽出し、それぞれの特徴のオリジナルモデリングを破壊しない。提案したマルチスケール注意力融合モジュール（Merge）により、各スケールで抽出されたグローバル特徴と局所特徴を融合し、融合モジュールは前の融合結果の情報を蓄積する。最終的な融合特徴はFCNNに送られて処理され、予測結果が得られる。下図はマルチスケール集中力融合モジュールの構造概略図である。

各スケールにおける大域的特徴と局所的特徴については、まずSCSE注意メカニズムを採用し、チャネルと空間の2次元における重要な情報を同時に励起して、最も重要な特徴を際立たせ、顕著な重みを割り当てる。次に、グローバル意味を持つグローバル特徴はチャネル注意メカニズムによってさらに処理され、ローカル意味情報を持つローカル特徴は空間注意メカニズムによってさらに処理される。その後、高次元空間マッピングと非線形変換を行い、現在の段階の融合結果を得た。提案した方法は材料画像の局所と大域特徴抽出を両立し、その中でMergeモジュールは特徴に対して多段融合を行い、多注意力は持続的に重要な特徴に焦点を当て、ノイズ情報を抑制し、情報損失を減少し、そしてモデルの大量の訓練データへの依存を低減する。サンプルが希少な材料画像の分野でも、非常に顕著な予測結果が得られた。

論文へのリンク：Thermal Conductivity Prediction of Al2O3-Doped Tetragonal YSZ Coatings Using Deep Learning

私たちのコードと論文は、以下の場所で公開されています：https://github.com/han-yuexing/RCFNet_Conv_Resnet50_MHSA/tree/main

我々のチームは、国際材料遺伝子工学分野の新刊『Materials Genome Engineering Advances』に「Prediction of ultimate tensile strength of Al-Si alloys based on multimodal fusion learning」という論文をオンラインで発表した。同論文は上海大学材料科学・工学院が第1単位、コンピュータ工学・科学学院が第2単位、朱龍飛が第1著者、陳僑川が第3著者、韓越興助教授と材料科学・工学院李謙教授が共同通信著者である。

現在、Al-Si合金の引張強度は主に引張試験によって得られ、サンプルの製造、加工、試験に関連し、専門的な技能と試験設備が必要で、試験周期が長く、コストが高く、材料の浪費の問題がある。また、複雑な形状の部材に対して、標準化された引張試料を製造して性能試験を行うことは課題である。

そのため、材料の引張強度をいかに効率的かつ正確に取得するかは現在の課題である。 この問題に対して、Al−Si合金の引張強度を予測するために、成分とミクロ組織を総合的に考慮した多モード融合学習フレームワークを革新的に提案した。本作業は広く応用されているサブ共晶Al-Si合金に焦点を当て、まず、文献と実験データから合金成分、添加合金元素、α-Al画像、共晶Si画像、引張サンプルサイズ、引張速度を含む異なるモードのデータを収集した。次に、画像処理技術を用いて微細構造特徴パラメータを抽出し、画像を分割し定量分析する。次に、異なるモダリティからの33個の特徴を3段階の特徴選別を行い、12個の重要な特徴を得た。最後に、12個の重要な特徴を入力として、4種類の機械学習モデル（決定木（DT）、ランダム森林（RF）、適応強化（AdaBoost）と極端勾配向上（XGBoost）を用いて引張強度回帰予測モデルを構築する。その結果、XGBoostモデルはすべてのモデルの中で最もよく表現され、データが限られ、主に異なる文献から来た場合、高い引張強度予測精度が得られた（R 2=0.94、相対誤差は8.1%未満、絶対誤差は14.2 MPa未満）。また、UTSに顕著な影響を与える5つの混合特徴（Grain size、Ti、Si、ECD、Number density）及びその臨界値を特徴重要性解析及びSHAP解析により決定した。本作業は亜共晶Al-Si合金成分、組織と性能の間のマッピング関係の構築にヒントを提供することが期待され、他の合金に応用することができる。

論文へのリンク：Prediction of ultimate tensile strength of Al-Si alloys based on multimodal fusion learning