2022年11月25日、国家および学校の感染予防政策に応えるため、韓越兴准教授の研究グループは2022年度の懇親会兼新入生歓迎会を計算機学院の402室で開催しました。参加者には韓越兴先生、張瑞レディー、陳侨川先生などが含まれています。会の間、韓先生は張先生にグループの新旧メンバーを紹介し、学術研究の合間に積極的にスポーツ活動を組織するよう呼びかけました。それによって、健康促進とグループの雰囲気向上の両方を実現することができます。陳先生は学生時代の楽しいエピソードを皆さんと共有しました。張先生は幸せな家庭生活について皆さんと共有しました。会食の途中、学年ごとに好きな曲を選んで共有し、歌唱しました。古い名曲から現在人気のある曲まで、多様な音楽が披露されました。最後に、和やかな笑い声とともに懇親会は幕を閉じました。

魏惠姗さんは、安徽理工大学で学士号を取得し、2019年に上海大学のコンピュータ工学と科学学院で学術的な修士課程に進学しました。指導教員は韓越兴先生で、主な研究分野は材料画像のセグメンテーションです。韓先生の指導のもと、以下の研究を完成しました：

1. 材料画像の小規模データと複雑なテクスチャの問題に対して、グラフ畳み込みと深層学習を組み合わせた材料画像セグメンテーション手法を提案しました。この手法では、残差接続とマルチスケール融合モジュールを使用して特徴マップの情報を豊かにし、グラフ畳み込みに基づく二重注意機構を使用して重要な特徴に焦点を当て、逆畳み込み部分に畳み込み層を追加することでネットワークの非線形表現能力を向上させました。

2. 小規模データセットでの畳み込み層の過剰な使用による特徴の損失の問題に対し、UNetをバックボーンネットワークとして使用し、スキップ接続に基づいたグラフ注意力モジュールを設計しました。この手法では、畳み込みニューラルネットワークの考え方を取り入れ、グラフ畳み込みとグラフ注意力層を結合させ、グラフ構造の視点から複数の次元のノード特徴を統合することに取り組んでいます。ネットワークの深度を増加させる一方で、ピクセルレベルの情報と空間情報の損失を減らし、ネットワークのセグメンテーション性能を向上させることを目指しています。

3. グラフ畳み込み技術を異なる領域のセマンティックセグメンテーションタスクに応用しました。グラフエンコーダーとグラフデコーダーを提案し、特徴マップをグラフ構造に変換することで、畳み込みプロセス中の特徴マップをその次元に基づいて対応するノード数のグラフ構造に変換できるようにしました。これにより、グラフ畳み込みニューラルネットワークがセマンティックセグメンテーションタスクに適用されることを促進することができます。

魏惠姗さんは卒業後、上汽グループの零束ソフトウェア分社で働くことになりました。3年間の修士課程の生活は彼女の視野を広げ、魅力的なコンピュータビジョンの分野に触れる機会を与え、特に画像処理の領域での深層学習の応用について知ることができました。また、多くの優れた指導教員や友人とも出会いました。彼女は将来も成長し続け、この経験に恥じないように頑張りたいと思っています。

論文へのリンク：Research on Material Image Segmentation based on Graph Convolutional Neural Networks

私たちのチームは、国際ジャーナル「Scientific Report」（IF: 4.996）において、「Center-environment feature models for materials image segmentation based on machine learning」という論文をオンラインで発表しました。この論文では、上海大学の計算機工学と科学学院が第一所属機関であり、韓越兴准教授が第一著者および通信著者として参加しています。この研究は、陳侨川先生、王冰先生、刘轶先生の大きなサポートを受けて行われました。また、李睿祺さんと杨珅さんも多くの貢献をしました。

材料の性能は、成分だけでなく、さまざまな加工条件下での微細構造にも依存しています。これまで、複雑な微細構造の画像の解析は主に人間の経験に依存しており、自動的かつ定量的な特性評価方法が不足していました。機械学習は、さまざまな複雑な材料相を知識を活用して知覚するための新たな重要なツールを提供しています。この研究では、「中心環境分割」（CES）特徴モデルを提案し、画像セグメンテーションに使用されます。このモデルは、機械学習アルゴリズムを用いて環境特徴とドメイン知識に基づいて画像をセグメンテーションします。CESモデルでは、与えられたピクセルの特徴として近傍情報を導入し、研究対象のピクセルと周囲の環境との関係を反映します。そして、反復的な統合機械学習アプローチを使用して、画像セグメンテーションモデルをトレーニングおよび補正します。CESモデルは、鋼鉄や木材などの複雑なテクスチャを持つ7種類の異なる材料画像に適用され、成功を収めました。鋼鉄画像のセグメンテーション研究では、CES手法は境界輪郭の特定において、多くの伝統的手法よりも優れたパフォーマンスを示しました。この研究は、ドメイン知識と環境特徴の反復的な導入が、さまざまな複雑な材料の微細構造画像のセグメンテーションの精度向上に寄与することを示しています。

李睿琪

杨珅

論文へのリンク：Center-environment feature models for materials image segmentation based on machine learning

張宏坤さんは、内蒙古農業大学を卒業し、2019年に上海大学の計算機工学と科学学院で学術的な修士研究生として入学しました。入学後、韓越兴研究グループに所属し、材料画像処理の研究を行いました。韓先生の指導のもと、次の研究を完成させました：

1. 異なる組織の不均一な分布や重なり合いを持つ複雑な材料画像に対して、複雑ネットワーク理論に基づいた特徴情報処理手法を設計しました。この手法では、複雑ネットワーク内のコミュニティ構造を使用して、材料内の異なる組織を表現しました。また、ネットワーク構築プロセスでのRおよびTの閾値を使用してネットワークのトポロジーのダイナミックな進化プロセスを加速しました。さらに、RT-モジュラリティ指標を提案し、ネットワークのトポロジーを評価し、画像処理を完了しました。セラミックや鋼鉄などの画像を用いたセグメンテーション実験により、この手法の有効性が確認されました。

2. 複雑なテクスチャ画像の多様な特徴に対処するため、伝統的な画像処理技術に基づく特徴情報処理手法を提案しました。この手法では、材料画像の特性を利用し、対応する特徴情報処理アルゴリズムを設計しました。抽出した形状特徴を活用してテクスチャ特徴の処理を加速し、処理時間を大幅に削減しました。不規則な形状と複雑なテクスチャを持つ膜パターンの実験により、この手法の有効性が検証されました。

3. 処理速度をさらに向上させ、計算リソースの消費を減らすために、深層学習に基づく特徴情報処理手法を設計し提案しました。この手法では、軽量なネットワークモデルをテクスチャ防偽の研究に適用し、注意機構の導入と損失関数の設計を調整することで、アルゴリズムの識別精度を確保しました。他の深層学習を使用したテクスチャ防偽の研究と比較して、この手法はリソース消費を削減するだけでなく、複雑なテクスチャを持つ大規模な材料画像データベースでの検証も行い、手法の有効性を証明しました。

毕业后、張宏坤さんはAMD社でソフトウェア開発関連の仕事に従事しました。上海大学での3年間の研究生生活で、張宏坤さんは一生懸命学び、専門知識と研究報告能力を向上させるために努力しました。彼は熱心に人と交流し、多くの素晴らしい師匠や友人を得ました。私たちは、張宏坤さんが将来の道のりで初心を忘れず、使命を心に留め、困難を乗り越え、努力を続けることを願っています。

論文へのリンク：Research on Feature Information Processing Methods for Complex Material Images

杨珅さんは、安徽中医药大学で学士号を取得し、2019年入学のコンピューターアプリケーション技術の修士号を取得しました。韓越兴先生の指導のもと、主に材料画像のセグメンテーションについて研究しました。3年間の努力の結果、杨珅さんは複雑なテクスチャに特化した材料の微細構造のセグメンテーションと識別の手法を提案し、材料画像の小さなサンプル、データの分布の不均衡、複雑なテクスチャの問題に対して一定の貢献をしました。また、材料ジェノムデータベースの構築にも貢献しました。卒業後、杨珅さんは中興通信株式会社でワイヤレス製品の開発に従事する予定です。また、杨珅さんは読書や執筆を好み、積極的にサークル活動に参加し、興味深い優れた教師や学友と知り合いました。研究生活は山登りのようなもので、泣いたり笑ったり、疲れたりもしましたが、最終的には頂上に立ち、自分だけの特別な景色を見ることができました。将来の人生で常に情熱を持ち、勇敢に前に進んでいくことを願っています！

大学院生の間に働く

材料画像の中に存在する小さなサンプル、データ分布の不均衡、複雑なテクスチャの問題を解決するために、様々なディープラーニング技術を組み合わせ、材料画像の微細構造を自動的にセグメンテーションすることで、材料ジェノムデータベースの構築にデータの基盤を提供します。

1. 材料画像セグメンテーションにおける小さなサンプルの問題に対処するため、深層学習とスーパーピクセルに基づく材料画像セグメンテーション手法を提案しました。材料画像の類似したピクセルの特性を捉え、スーパーピクセルアルゴリズムを使用して矩形ブロックを取得することで、小さなサンプルの問題を解決しました。改良されたDenseNetでは、特徴強化モジュールを適用することでテクスチャ特徴を保持し、冗長な特徴の干渉を除去しました。また、設計されたトランジション層のアップサンプリング手法により、特徴マップ情報をより正確に復元することができました。

2. 材料画像中のデータ分布の不均衡に対処するため、2つの損失関数を使用して改善しました。分類タスクにおけるデータ分布の不均衡問題に対処するため、Focal損失に基づいてPrecison Focal損失を提案し、信頼度を精度に置き換えて、サンプルの分類の難しさをより正確に反映し、ネットワークにフィードバックしてトレーニングプロセスを最適化しました。セグメンテーションタスクにおけるデータ分布の不均衡問題に対処するため、Dice損失に基づいてCE-Dice損失を提案し、交差エントロピー損失とDice損失を組み合わせて、トレーニングプロセスをよりスムーズにし、セグメンテーション結果を最適化しました。

3. 複雑なテクスチャを持つ材料画像の正確なセグメンテーションを実現しました。第3章で提案された改良されたDenseNetは、重要なテクスチャ特徴を保持し、冗長な特徴が矩形ブロックの認識に干渉しないようにしました。第4章で提案された改良されたFCNは、テクスチャが類似した材料画像の正確なセグメンテーションを実現しました。カスケード特徴融合モジュールは、高層と低層の意味的特徴を統合し、多尺度学習モジュールは、微細な情報とグローバルなコンテキスト情報を深く掘り下げます。アテンション機構モジュールを使用して重要な特徴マップに注目し、資源配置を最適化し、3つのモジュールが相互補完的に機能します。

論文へのリンク：Research on segmentation and recognition methods for complex texture in material microstructures

私たちのチームは、上海大学コンピュータ工学科学学院を第一単位とし、魏惠姗を第一著者、韓越興准教授を通信著者とする論文「材料画像分割に応用されるUNet」を中国のコアジャーナルである「計算機応用研究」に掲載しました。また、この研究には、私たちのチーム内の陳侨川先生をはじめとする指導教員のご指導もいただきました。

材料画像の微細構造は通常、形状が異なり、テクスチャが複雑で、境界がぼやけるという特徴があり、材料画像処理分野における深層学習手法の発展を制限しています。本研究では、Graph-UNetと呼ばれる手法を提案し、UNetとグラフ畳み込みニューラルネットワークを融合することで、小規模サンプルの材料画像自動分割の課題を解決しました。本手法では、畳み込みニューラルネットワークの多次元特徴の融合とスキップ接続のアイデアをグラフ畳み込みニューラルネットワークに移植し、グラフ畳み込みとグラフ注意の効果的な組み合わせを実現し、特徴マップとグラフ構造の相互変換を実現する汎用モジュールを構築しました。材料画像データセットでの比較実験と消融実験を行い、Graph-UNetの分割結果が多くの先進的な手法よりも優れていることを証明し、多様な材料構造を正確に認識することができ、材料構造と性能の関係を探求することに貢献しました。

論文へのリンク：Graph-UNet applied in material image segmentation

私たちのチームは、上海大学学報（自然科学版）に「軽量ネットワークを使用した防偽ラベル検出アルゴリズム」を発表しました。 この論文は、上海大学コンピュータ工学科学学院を第一単位とし、修士課程の張宏坤を第一著者、韓越興教授を通信著者としています。また、この研究には、陳侨川先生、巫金波先生の大きなサポートも受けました。

近年、偽造盗品による経済的損失は年々増加し、偽造技術はますます向上しています。防偽検査の問題は、研究者の広範な関心を集めています。現在の防偽検査方法は、計算量が多く、リソースを多く占有し、検査に時間がかかるという問題を解決するために、本研究では、軽量ネットワークを使用した防偽ラベル認識検出モデルを提案しました。 このモデルは、形状とテクスチャの認識により、より軽量な畳み込みニューラルネットワーク（CNN）を使用しています。形状認識のタスクでは、プーリング層のサイズを減らしてモデルの学習能力を強化し、テクスチャ分類のタスクでは、協調注意（coordinate attention, CA）モジュールを使用して単一の特徴マップの情報取得を強化しています。また、損失関数を設計して、真偽のサンプル識別能力を強化し、最後に、特徴ベクトルの最大値を使用して予測結果を得ることができます。 実験結果から、提案手法は全体的な識別検出精度が95.67％に達し、従来の方法に比べて検出時間が大幅に短縮されていることが示されました。

我们团队在国际期刊《Displays》（IF：2.167）上在线发表论文“Facial Expression Recognition in Facial Occlusion Scenarios: A Path Selection Multinetwork”。この論文は、上海大学コンピュータ工学科学学院を第一単位とし、阮礼恒を第一著者、韓越興准教授を第二著者および通信著者としています。

今日、まだ続くパンデミック下では、外出時にマスクを着用することが当たり前の状態になりました。マスクは、鼻や口を覆うため、顔の特徴が隠れてしまいます。また、サングラスをかけたり、帽子をかぶったり、物体の陰影がある場合もあります。これらの顔の遮蔽は、表情認識に一定の困難をもたらします。本論文では、上半分、下半分、および目を覆う3つの一般的な顔の遮蔽シーンを基に、パス選択型のマルチネットワーク構造を提案しています。 この方法には2つの部分があります。第1部分は、マルチネットワーク構造であり、元のデータセットをラベル単位で3つのサブデータセットに分割し、各サブデータセットには元のデータセットの一部のラベルが引き継がれ、3つのサブネットワークがそれぞれ訓練されます。第2部分は、パス選択式のマルチネットワーク統合方法であり、各サブデータセットに含まれる画像を同じラベルとして扱い、新しいデータセットに入れ、初期ネットワークを訓練します。初期ネットワークが出力した予測結果に基づいて、子ネットワークの1つを選択して最終的な予測結果を出力します。 本論文では、Fer2013、Jaffe、KDEF、RAF-DBの4つの一般的な公開表情データセットを合わせて、より大きなデータセットにまとめ、トレーニングサンプル数を増やしました。そして、遮蔽処理を模擬し、実験結果では、本手法が遮蔽された顔の表情を効果的に認識でき、さまざまな顔の遮蔽シーンに適用できることが示されました。これにより、表情認識がより正確かつ信頼性の高いものになり、より多くのシーンで使用できるようになります

論文へのリンク：https://doi.org/10.1016/j.displa.2022.102245

プロジェクトアドレス：https://github.com/han-yuexing/A-Path-Selection-Multinetwork

私たちのチームは、コアジャーナル「上海大学学報（自然科学版）」で、「基于数字图像处理技术的熱防護コーティング表面形状特徴認識方法」と題する論文を発表しました。本論文は、上海大学コンピュータ工学科学学院を第一単位とし、修士課程の劉宇虹を第一著者とし、韓越興教授を通信著者としています。また、この仕事は、曾毅教授、汪語嫣教授の大きな支援を受けました。

熱防護コーティング表面の形状特徴の人工的な検出には複雑さや大きな誤差などの欠点があるため、機械ビジョンを利用して熱防護コーティング表面の形状特徴を自動認識し、形状特徴パラメータを計算する方法を提案します。本研究では、数学形態学に基づく層状輪郭の自動抽出と形状パラメータの計算を行い、最大クラス間分散法を使用して2値分割閾値を求め、平滑化フィルタと形態学操作を使用してノイズを除去し、単一の層の連結性を確保します。輪郭抽出により、層の端部情報を取得し、最後に抽出された輪郭に基づいて層の実測パラメータを計算します。同時に、熱防護コーティング中のクラックの自動認識と長さの計算を遍歴探索に基づいて行います。まず、画像の層を認識して除去し、閉じた演算によるクラックの修復を行い、画像細線化によりクラックのスケルトンを取得します。そして、各クラックを探索し、長さを計算します。結果は、提案された方法による層の輪郭検出とクラックの認識の効果が良好で、ノイズ耐性が高く、形状特徴パラメータを正確に計算できることを示しています。これにより、熱プラズマスプレーによる溶融した粒子の基板表面への沈着過程の研究に重要な貢献が期待されます。

論文へのリンク：https://www.journal.shu.edu.cn/CN/10.12066/j.issn.1007-2861.2371

私たちのチームは、超像素アルゴリズムと深層学習を基にした複雑なテクスチャ画像の認識とセグメンテーションに関する論文を、国際誌「Computational Materials Science」（IF：3.3000）にオンラインで発表しました。本論文は、上海大学コンピュータ工学科学学院を第一単位とし、韓越興准教授を第一著者とし、チームメンバーの陳侨川教師が通信著者として、また、多大な貢献をした杨珅さんも同じく著者として、論文を執筆しました。

材料の画像は通常、十分な数のトレーニングサンプルが不足しているため、機械学習技術や深層学習技術の材料画像への適用を妨げています。そこで、この研究では、材料画像の重要な特性である同相性の高いピクセルを捉え、超像素と深層学習を組み合わせた材料画像の微視的構造の認識とセグメンテーション手法を提案しました。この手法は、3つのステップに分かれています。まず、矩形ブロックを取得します。つまり、古典的な超像素アルゴリズムであるSLICアルゴリズムを使用して、異なる数の超像素を取得し、その後、各超像素から最大の内接矩形ブロックを抽出します。次に、矩形ブロックを認識します。具体的には、これらの矩形ブロックを畳み込みニューラルネットワーク（CNN）に入れ、本研究ではDenseNetを主幹ネットワークとして選び、改良して認識します。また、材料画像における分布の不均一性やいくつかの相を区別するのが困難な問題があるため、本研究では、Focal lossを選択して改良し、材料画像に適応させました。最後に、各ピクセルのクラスを予測することで、画像全体のクラスを出力します。トレーニングが終了した後、ステップサイズ1、サイズl*l（lは奇数）のスライドウィンドウを使用して、n*nサイズの画像全体にスライドして、n*n個の矩形ブロックを取得し、モデルはこれらの矩形ブロックのクラスを予測し、同じクラスのピクセルを接続することで、材料画像の微視的構造の認識とセグメンテーションのタスクを実現することができます。

論文へのリンク：https://doi.org/10.1016/j.commatsci.2022.111398

論文へのリンク：https://www.sciencedirect.com/science/article/pii/S0927025622001690?dgcid=coauthor

私たちのチームは、ラドン変換とPPHTを基にしたキクチ帯の自動検出に関する論文を、国際誌「Journal of Microscopy」（IF：1.758、中科院4区）にオンラインで発表しました。本論文は、上海大学コンピュータ工学科学学院を第一単位とし、韓越興准教授を第一著者および通信著者とし、李睿祺氏、曾毅氏、刘梦炀氏が多大な貢献をしました。

晶体構造と配向情報は、EBSD（電子バック散乱衝撃）パターンの分析によって取得することができ、これらのパターンはEBSD装置によって取得されます。得られた情報の信頼性と正確性は、EBSDパターンのストライプと交点の位置に依存します。この研究では、EBSDパターン（キクチバンド）と交点の位置を自動的に取得する方法を提案しています。この方法では、Radon変換と累積確率ハフ変換を使用して、キクチバンドのエッジの直線と線分をそれぞれ検出します。次に、線分の端点を使用して、キクチバンドを双曲線でフィットさせることができます。これらの結果は、キクチバンドの情報を定量化することができます。実験結果は、この方法が堅牢であり、より正確なキクチバンドと交点を検出できることを示しています。

論文へのリンク：http://dx.doi.org/10.1111/jmi.13079