我们团队在国际期刊《Computational Materials Science》上发表论文”Data augmentation in material images using the improved HP-VAE-GAN”。该论文上海大学计算机工程与科学学院为第一单位，韩越兴为第一作者，刘宇虹为第二作者，陈侨川为通讯作者。

在材料研究领域，收集图像数据的成本相对较高，小样本数据集的图像识别面临诸多挑战。为解决材料研究中图像样本不足的问题，本研究提出了一种改进的HP-VAE-GAN网络来生成材料图像以实现数据增强。

HP-VAE-GAN是一种单样本生成模型，由Patch-VAE和Patch-GAN组成。改进的HP-VAE-GAN将注意力机制引入模型中，通过在Patch-VAE的编码器中添加CBAM（卷积块注意力模块），进一步提高了网络的特征提取和表示能力。使用该模型训练单一图像，然后生成一定数量的样本以实现训练集的扩充。

研究结果表明，对于超高碳钢微观结构图像的分类任务，使用真实图像与生成图像融合数据集训练得到的分类模型（MobileNet、ResNet50和VGG16）的准确率明显提高。此外，在类似材料图像的纹理图像上的实验也验证了改进型HP-VAE-GAN的有效性。

论文链接：Data augmentation in material images using the improved HP-VAE-GAN

该论文的代码开源在GitHub: https://github.com/han-yuexing/Improved-HP-VAE-GAN

我们团队在国际期刊《Expert Systems With Applications》(IF:8.5，计算机科学1区TOP)上发表论文”A pseudo-labeling based weakly supervised segmentation method for few-shot texture images”。该论文上海大学计算机工程与科学学院为第一单位，韩越兴为第一作者，李睿祺为第二作者，韩越兴和陈侨川为共同通讯作者。

基于深度学习的材料微结构图像分割面临着样本稀缺、注释难度和模型通用化等问题。在具有复杂纹理的材料图像中，不同物相之间的边界往往难以精确地划分。这些问题导致了现有的深度学习网络在材料微观结构图像分割上的性能不佳。为了解决这些问题，本文提出了一种基于划线标注的弱监督伪标记纹理语义分割（PTS）网络。相较于完全标注，划线标注只需要对少数具有明确类别的像素进行标注，这显著减少了标注工作所需要的领域知识。然而，划线标注所覆盖的像素数量极少，不易对复杂的神经网络进行充分的监督学习。因此，PTS 网络通过在训练阶段生成伪标签，获取更多可用的监督信息。

如上图所示，PTS网络采用双分支结构，包含主分支和辅助分支两个部分。主分支用于提取图像特征和分割预测，辅助分支用于生成伪标签，帮助主分支进行训练，从而实现对主分支分割预测结果的双重监督（划线标注与伪标签）。在测试阶段，只有主分支被用于预测图像的分割结果。PTS网络实现了基于一到两张划线标注的复杂纹理材料图像，训练得到具有泛化能力的图像分割模型，且模型具有普适性。下图是不同模型在钛合金数据集上基于划线标注的分割结果。

在对PTS网络的特征和Unet++网络的特征分别使用t-SNE方法进行降维后，可以得到如图3所示的特征分布。通过比较PTS网络与Unet++网络的特征分布可以发现，Unet++网络的不同类别特征相比于PTS网络存在互相混淆的情况。下图中Unet++网络的蓝色和橙色特征点的分布相互重叠，可能限制了Unet++网络最终的分割结果。相比之下，PTS网络的特征分布不同类别之间的界限更加明显，有助于更好地进行预测分割。

我们的代码和论文都公布在github：https://github.com/han-yuexing/Scribble_Segmentation

我们团队在国际期刊《Computational Materials Science》（IF：3.3000）上在线发表论文”A literature-mining method of integrating text and table extraction for materials science publications”。该论文上海大学计算机工程与科学学院为第一单位，张瑞副教授为第一作者，张家旺为第二作者，韩越兴副教授为通讯作者。

科学文献作为展示研究成果的重要方式，本研究提出一种大规模材料科学文献信息处理方法，分别提取科学文献中文本和表格信息并分析。首先，提出通用性动态词向量与领域性静态词向量融合的材料文本命名实体识别模型；其次，提出一种高效准确的图像型表格识别和成分提取方法，从成分表格中提取材料名称、单位和成分；最后，利用从文本和表格中提取的成分、工艺、性能和性能变化，使用机器学习对抗腐蚀性、延展性、强度和硬度进行性能预测。本文以不锈钢为示范材料，从11058篇不锈钢材料文献中，挖掘得到236万个实体和7970组成分，并对四种性能变化进行预测。本文提出的方法能够实现大规模从材料科学文献中提取知识，提取结果可供相关研究人员使用，促进材料性能改善工作。

论文链接：A literature-mining method of integrating text and table extraction for materials science publications

我们团队在国际期刊《Journal of Materials Research and Technology》（IF:6.4，中科院1区top）上在线发表论文”Microstructural evolution and coarsening behavior of the precipitates in 2205 duplex stainless steel aged at 850℃“。该论文上海大学计算机工程与科学学院为第一单位，韩越兴为第一作者，池洳婷为第二作者，材料基因组工程研究院刘微老师提供了大量的支持和帮助，韩越兴副教授、材料科学与工程学院何燕霖教授为共同通信作者。

2205双相不锈钢（DSS）中二次相的形成对其机械性能影响很大。研究2205 DSS中析出相的微观结构演化和粗化行为具有科学和技术意义。在目前的工作中，通过SEM/EDS（扫描电子显微镜/能谱仪）和TEM（透射电子显微镜）系统地研究了在850℃下粗化长达200小时的2205 DSS中析出物的成分和形态的演变。此外，利用深度学习和数字图像处理技术，基于SEM图像对金属间化合物析出物，特别是σ相进行尺寸统计。在此基础上，根据奥斯特瓦尔德粗化机制合理估计了σ相和γ相之间的平均相间能。这项工作提供了对2205 DSS中析出物的微观结构演变和粗化行为的全面了解。

论文链接：Material structure segmentation method based on graph attention

该论文的代码以软件形式开源在GitHub: https://github.com/han-yuexing/Roughening-Behavior

上海大学四位已经毕业了的2020届研究生王迎港，刘宇虹，夏锦桦，李睿祺重返母校，重温了他们曾经的校园生活，并与曾经的导师韩越兴老师交流了许多。在这次回校之旅中，他们分享了他们在工作和生活中的经历和感受，并表达了他们对母校的深厚感情和热爱。几位同学刚毕业的同学回到学校，不禁感慨万千。这个校园见证了他们的成长和变化，这里的一切都让他们充满感激和珍惜。

在与曾经的导师韩老师的交流中，四位研究生分享了他们在工作和生活中的一些经历和感受。他们认为，研究生时期的学习和生活让他们更加自信和独立，为他们的职业生涯奠定了坚实的基础。同时，他们也表达了对导师的感激和敬意，认为导师的指导和帮助对他们的成长和发展有着重要的作用。

这次回校之旅让四位研究生重新感受到了母校的魅力和使命，也让他们更加珍视和关注母校的发展和进步。他们表示，无论身在何处，他们都会时刻关注和支持母校的发展和进步，为学校和社会做出自己的贡献。

祝贺黄子昂、姚知远、吴泽铭、葛嘉浩、贺维琪、吴文杰、徐甜语、王英尧本科顺利毕业!几位同学本科就读于上海大学计算机科学与技术专业，毕业设计也由韩老师指导完成。

黄子昂同学的毕业设计是关于材料图像数据库系统平台的研究与开发，构建一个可以实现数据上传、数据查询、算法使用的系统平台，提供可供访问和操作前端页面与可以进行数据存储、查询和算法调用的后端系统，最终实现对于单组或批量材料图像关键数据的检索、处理等工作。

姚知远同学的毕业设计是针对材料文献数据库系统平台的研究与开发，实现对于单组或批量材料文献关键数据的检索、处理等工作。

吴泽铭同学的毕业设计是对基于视频处理的街道环境治理评估系统的研究与开发，该课题基于面向视频处理的深度学习算法和图像处理的研究，构建出街道环境治理评估系统，并给出评估的分值。

葛嘉浩同学的毕业设计是关于不同视频关键内容融合的方法研究，本课题基于视频处理，从一个视频中分割出关键物体，并把这个关键物体的影像投影到另一个视频中，从而完成不同视频的内容的融合。

贺维琪同学的毕业设计是对于碳纤维树脂基复合材料数据库的构建及开发，针对碳纤维树脂基复合材料多种数据的复杂性，需要进行高效的管理，在给出数据模版的情况下，实现碳纤维树脂基复合材料数据库的构建及开发。

吴文杰同学的毕业设计是关于铜合金微观组织图像的晶粒形状提取和统计方法研究，本课题将以电子工业广泛应用的铜合金为例，发展基于材料图像分割和识别的算法，从合金显微组织图像中提取量化描述特征，并关联其力学和电学性能，为基于合金材料组织的性能预测和设计奠定基础。

徐甜语同学的毕业设计是构建学术文献知识图谱的研究及开发，本课题通过应用自然语言处理领域技术与机器学习算法，设计能够自动提取学术文献中的知识、生成知识图谱并进行可视化展示的工具。

王英尧同学的毕业设计是关于C++高并发内存池的开发，该项目实现的是一个高并发内存池，它是以Google的开源项目tcmalloc为原型，然后将核心框架进行了简化，模拟实现了一个简化版的高并发内存池。

王迎港，本科毕业于华侨大学，电气工程及其自动化专业，于2020年秋季开始于上海大学计算机学院攻读软件工程专业型硕士，加入课题组后，跟随陈侨川、韩越兴和张瑞老师研究科学文献中的曲线信息处理方法，在老师们的悉心指导下，完成了以下研究：

1. 首先，针对当前科学文献中普遍存在的曲线坐标图曲线数据提取困难与耗时费力问题，本文探索从边缘检测角度实现曲线信息自动提取。曲线图像大多数绘制种类多样、密度较大、连续性较强，导致不同的方法提取的曲线信息不准确。本文尝试在密集网络模型基础上提出端到端的曲线提取模型以用来解决曲线检测方法产生的曲线线条杂乱且模糊等问题，提高曲线信息提取准确率。通过增加自适应空洞卷积模块扩大感受野，添加逐层反向细化路径模块，每一层的中间输出引入后续细化模块，精心设置损失函数参数，进而优化了网络性能。此外还自主构建了曲线检测的数据集，对改进后的模型进行训练，进一步提高了网络对曲线图像中曲线边缘信息提取的能力。定性评价结果进一步体现了本文方法相比于其他方法的优越性。

2. 其次，针对上述方法堆叠过多的密集卷积模块而造成通道特征信息损失，模型可训练参数较大、训练推理耗时较长等问题，本文提出了基于双重高效通道注意力机制的曲线提取网络结构。该方法以Vgg作为主干特征提取网络，采用双重高效通道注意力机制结构表征不同通道的特征的权重，更好地学习图像中通道之间的关系，提高特征表示的能力;然后嵌入阶段特征融合模块，减少特征丢失并增加特征表达能力，通过将不同阶段的低分辨率和高分辨率特征进行融合，使得模型可以更好地理解图像中的语义信息，同等情况下模型参数大幅降低。在曲线数据集上进行训练与测试，结果表明，该方法提取的曲线结构轮廓清晰、层次分明、定位准确，用更少的参数解决了曲线周边模糊等问题，提升了曲线提取精度。

3. 最后，曲线数据提取算法的复杂性和实现难度往往限制了其应用范围。因此，开发易用的数据提取软件可以使曲线数据提取更加普及和易于使用，进一步推动其在实践中的应用。本文着眼于曲线数据提取的实用价值，开发桌面端数据提取软件，推动算法落地，可以让更多的人受益于曲线数据提取的实用价值，促进其在各个领域的广泛应用。

王迎港同学毕业后加入京东零售集团，从事服务端软件开发工作。在上海大学研究生期间，他努力学习，增强专业知识和研究能力，收获了良师益友。他将怀瑞初心，牢记使命，勇往直前，为京东的发展贡献智慧与力量。相信他将成为行业佼佼者，砥砺前行。

论文链接：科学文献中的曲线信息处理方法研究

张家旺，本科毕业于南京信息工程大学，于2020年开始在上海大学计算机工程与科学学院攻读专业型硕士研究生，加入课题组后，跟随张瑞、韩越兴和陈侨川老师研究材料文献信息挖掘方法，在老师们的悉心指导下，完成了以下研究：

1. 针对材料文献文本的表述特点和成分表格的结构特征，提出一种基于上下文感知的文献信息提取方法，分别对文本和表格信息进行挖掘。使用命名实体识别技术对材料文本进行挖掘，将动态词向量与材料领域静态词向量相融合，使得每个词向量中都包含上下文语境信息和材料领域知识，显著提高材料文本的命名实体识别效果，并在不锈钢材料和无机材料的命名实体识别数据集上实验。 针对材料文献中成分表格的结构特点，结合形态学、目标轮廓检测、文本相似度等方法，提出基于传统图像技术的表格识别方法，将成分表格的结构拆解为标题、表头和表体，分别从不同区域中提取出材料名称、元素、元素含量和单位信息。经过实验验证，成分表格识别方法能够达到较好的效果。

2. 针对从材料文献上下文中挖掘得到的抗拉强度和材料成分数据，提出一种基于文献信息提取的材料性能预测方法。该方法利用XenonPy材料信息学库对成分数据进行特征扩充，根据扩充的计算原理，设计一种十字交叉特征压缩及特征选择方法，筛选得到元素级统计特征和抗拉强度数据，并使用机器学习在这些数据上训练预测模型。实验采用日本国立材料科学研究所公布的数据，结果证明所提出的成分特征处理方法能够显著提升模型的预测性能。

3. 以不锈钢为示范材料，将提出的文献挖掘和性能预测方法应用在11058篇不锈钢科学文献上。从文献文本中挖掘得到236万个材料实体，从文献表格中提取得到7970组材料成分信息，从中筛选出相关数据，对抗拉强度进行数值预测，对抗腐蚀性、延展性、强度和硬度进行变化趋势预测。

张家旺学长以优秀毕业生的身份毕业,毕业后张家旺同学进入华为上海研究所从事软件开发相关工作。张家旺同学在上海大学三年的研究生生涯中努力学习，不断增强自己的专业知识和研究能力，有幸结识了许多良师益友。希望张家旺同学在未来的道路上不忘初心，牢记使命，披荆斩棘，砥砺前行。

论文链接：基于上下文感知的材料文献文本与表格信息挖掘及应用方法研究

刘宇虹，本科毕业于安徽中医药大学，于2020年9月开始在上海大学计算机工程与科学学院攻读硕士研究生，加入课题组后，跟随韩越兴老师学习材料图像处理和材料图像增强等相关技术与应用。在韩老师的悉心指导下，完成了以下研究：

1. 提出了一种基于图像增强的热障涂层形貌特征识别方法。该方法包括三个步骤：孔隙轮廓增强与图像去噪、孔隙去除与裂纹修复以及裂纹识别与长度计算，能够顺利完成对热障涂层中裂纹的识别。同时，图像滤波和数学形态学等增强方法的合理使用，使热障涂层中裂纹识别的完整性高、偏差小。所提方法能够自动化识别热障涂层中的裂纹，并计算裂纹长度。相比于人工检测，该方法对裂纹的识别更精确，裂纹长度的计算速度也更快，有效辅助了材料科学领域的研究者便捷高效地分析热障涂层微观结构。

2. 设计了两款用于识别热障涂层形貌特征的软件。一款软件实现了热障涂层图像增强与裂纹的骨架提取，另一款软件实现了裂纹识别与长度计算。两款软件的结合使用，进一步提高了热障涂层微结构分析的速度，降低了时间成本和人力成本。并且，该软件也可处理与热障涂层图像类似的其他材料图像，促进了材料科学的研究与发展。

3. 提出了一种使用改进的 HP-VAE-GAN 进行材料图像数据增强的方法。 改进的HP-VAE-GAN 使用注意力机制 CBAM 模块来细化特征映射，从而提高网络的特征表示能力。与此同时，还在编码器网络中增加了1个卷积块，以进一步提高网络的特征提取能力，并消除 CBAM 插入位置对模型性能的影响。生成结果表明，本文提出的结合 CBAM 注意力机制的 HP-VAE-GAN能够有效地提高 生成图像的质量。分类实验的结果表明，该方法比使用HP-VAE-GAN 进行数据扩充的方法取得了更好的效果，这也为小样本材料图像数据集提供了一种新的数据增强思路。

毕业后刘宇虹同学在上海振华职校担任人工智能专业课教师。刘宇虹同学在上海大学三年的研究生生涯中努力学习，不断增强自己的专业知识和研究能力，有幸结识了许多良师益友。希望刘宇虹同学在未来的道路上不忘初心，牢记使命，披荆斩棘，砥砺前行。

论文链接：面向小样本材料图像的增强方法研究

夏锦桦，本科毕业于江苏科技大学，于2020年开始在上海大学计算机工程与科学学院攻读专业型硕士研究生。夏锦桦跟随韩越兴老师研究材料文献信息挖掘方法，在韩老师的悉心指导下，完成了以下研究：

1. 数值图信息的提取。结合数值图及其对应的标题，提出了一种图片和文本相结合的文献挖掘方法。该方法首先使用 Yolov5s 截取科学文献中的单一数值图图片，并应用改进的科学文献图片检测方法来提升准确性。接着利用PDFminer 工具解析科学文献中的文本内容。然后计算语句间的余弦相似度和Jaccard相似度匹配数值图对应的标题文本。其次采用Sci-Bert模型与CRF算法在标题中识别坐标轴名称。另外应用形态学操作和字符识别等技术从数值图图上提取具体的数据信息。最后将挖掘出的坐标轴名称和数据整合以获得完整的数值图信息。

2. 针对上述识别数值图坐标轴名称任务中模型识别精度低的问题，本文抓住科学文献中数值图图片和文本之间的关系，提出了一种提升识别效果的方法。该方法首先识别数值图图上的标签文本，并将其填入样本模板以生成无需标注的文本数据，达到数据增强的效果。同时，利用文本相似度匹配技术在科学文献的正文部分寻找对应的数值图描述语句，将其以扩充文本的形式与标题文本拼接，依靠上下文关联改善输入语句生成的向量表征，从而优化模型的预测性能。

毕业后夏锦桦同学进入杭州广立微电子公司从事软件开发相关工作。夏锦桦同学在上海大学三年的研究生生涯中努力学习，不断增强自己的专业知识和研究汇报能力，有幸结识了许多良师益友。希望夏锦桦同学在未来的道路上不忘初心，牢记使命，披荆斩棘，砥砺前行。

论文链接：基于上下文感知的材料科学文献中图文信息挖掘方法研究

我们团队在国际期刊《Materials Today Communications》（IF：3.662）上在线发表论文“Material Structure Segmentation Method Based on Graph Attention”。该论文上海大学计算机工程与科学学院为第一单位，陈侨川老师为第一作者，魏惠姗为第二作者，韩越兴副教授为通讯作者。

随着多学科的发展和融合，计算机视觉与材料科学的融合极大地改变了原有的材料研究方法。现有的方法可以有效地分割特定场景的图像，但没有通用的方法来精确地分割和分析材料的图像。为了解决材料图像中纹理复杂、边界模糊和对比度低的问题，我们提出了一种依赖于多维特征融合的方法，以有限且可用的注释样本更有效地训练网络。该体系结构由编码器、图注意力模块、多尺度特征融合模块和解码器组成。我们展示了这样一个网络可以从图像中进行端到端的训练。在电子显微镜图像中，分割结果优于以往许多先进的方法。使用这种方法，我们可以准确识别材料图像中的多个结构，这为材料图像的多阶段分割和寻找材料科学中结构转换的新机制提供了重要的见解。

论文链接：Material structure segmentation method based on graph attention

李睿祺，本科毕业于上海大学，于2020年开始在上海大学计算机工程与科学学院攻读学术型硕士研究生。李睿祺同学自本科大四开始进入韩越兴研究组学习研究材料图像处理相关技术与应用，在韩老师的悉心指导下，延续并推进了以下研究：

1. 菊池带花样的自动化检测。晶体的结构和取向信息可以通过分析EBSD（电子背散射衍射）花样来获取，这些图案是通过EBSD设备获得的。所得信息的可靠性和准确性取决于EBSD花样条带和交点的定位。在这项研究中，提出了一种方法结合Radon变换和累计概率概率霍夫变换实现自动获得EBSD花样（菊池带）和交点的位置。实验结果表明，该方法是鲁棒的，并可以检测出更多准确的菊池带和交点。

2. 为了解决材料图像分割任务中标注代价与分割精度二者之间的平衡问题，实时获得分割模型，设计了基于交互式划线标注与机器学习的材料图像分割算法。该方法以实时获取分割模型为首要目标，提取材料图像的中心点邻域特征并进行多轮交互式划线标注，采用增量学习方法训练得到最终的图像分割模型。

3. 为了实现根据有限且易获取的标注数据，获得高精度的分割模型，设计了基于伪标签的弱监督深度学习材料图像分割方法。该方法以基于有限标注数据获取最佳分割结果为目标，设计了新的双分支网络结构，提出新的上下文特征差异监督损失用于生成伪标签，使得模型可以仅根据划线标注的训练图像获得较高的分割准确率。本方法解决了深度学习神经网络在材料图像分割任务中面临的小样本问题、标注困难问题和测试过程中的资源浪费问题。

4. 由于相变的快速性和板条马氏体的复杂形态，基于马氏体图像的传统研究难以提供相变过程中的足够信息数据。本研究提出了一种新的视频处理方法，用于提取并分析板条马氏体转变视频中的信息数据。图像数据分析提供了板条马氏体相变的以下动态信息，包括转化的数量、最大长度、最大宽度、平均长度、平均宽度、面积和类别朝向。该研究打破了基于静态图像研究马氏体的局限性，充分描述了马氏体动态转变的各种数据和信息。

毕业后李睿祺同学进入联影智能从事软件开发相关工作。李睿祺同学在上海大学三年的研究生生涯中努力学习，不断增强自己的专业知识和研究汇报能力，有幸结识了许多良师益友。希望李睿祺同学在未来的道路上不忘初心，牢记使命，披荆斩棘，砥砺前行。

上海大学三位已经毕业了的研究生魏惠姗、张宏坤、杨珅于3月18日重返母校，重温了他们曾经的校园生活，并与曾经的导师韩越兴老师交流了许多。在这次回校之旅中，他们分享了他们在工作和生活中的经历和感受，并表达了他们对母校的深厚感情和热爱。 几位同学回到学校，不禁感慨万千。回到这里，让大家有一种回家的感觉，这个校园见证了他们的成长和变化，这里的一切都让他们充满感激和珍惜。 在与曾经的导师韩老师的交流中，三位研究生分享了他们在工作和生活中的一些经历和感受。他们认为，大学时期的学习和生活让他们更加自信和独立，为他们的职业生涯奠定了坚实的基础。同时，他们也表达了对导师的感激和敬意，认为导师的指导和帮助对他们的成长和发展有着不可替代的作用。 这次回校之旅让三位研究生重新感受到了母校的魅力和使命，也让他们更加珍视和关注母校的发展和进步。他们表示，无论身在何处，他们都会时刻关注和支持母校的发展和进步，为学校和社会做出自己的贡献。

魏惠姗

杨珅

张宏坤