我们团队在《Knowledge-Based Systems》(IF: 7.6, 中科院一区Top)上发表论文“Tiny object detection via implicit feature fusion and hybrid metric adaptive label assignment”。该论文上海大学计算机工程与科学学院为第一单位。
微小目标检测（Tiny Object Detection, TOD）在农业场景中有广泛应用。微小目标检测的像素极其有限，这限制了特征的提取、融合并对主流检测方法的标签分配策略提出了挑战。为了应对这些问题，本文提出了一种基于隐式特征融合（Implicit Feature Fusion, IFF）和混合自适应标签分配（Hybrid Adaptive Label Assignment, HALA）的微小目标检测网络，命名为IHANet，旨在实现高精度的微小目标检测。
具体而言，IFF通过利用隐式神经表示，缓解了多尺度融合中的特征不对齐问题，将来自不同金字塔层级的特征图映射为统一尺寸后进行融合。通过将特征图建模为连续表示，IFF能够在任意分辨率下实现有效融合，保留微小目标的细节并减少信息损失。HALA通过结合交并比（IoU）和在微小目标检测中表现更为优越的感受野距离（Receptive Field Distance, RFD），并采用自适应选择策略挖掘高质量训练样本，优化了标签分配过程，从而提升模型的训练和检测性能。在 AI-TOD、SODA-D、VisDrone 和 AgriPest 数据集上进行的广泛实验表明，IHANet 在多个 TOD 场景中均实现了先进的性能，其中在 AI-TOD 数据集上的 AP 值达到 29.1。
论文链接：Tiny object detection via implicit feature fusion and hybrid metric adaptive label assignment
代码链接：https://github.com/han-yuexing/IHANet
我们团队在《Journal of Magnesium and Alloys》（中科院一区，JCR Q1）上发表论文“Deep learning-driven microstructure characterization and Vickers-hardness prediction of Mg-Gd alloys”。该论文以高强度 Mg-Gd 合金为研究对象，围绕合金“工艺—微观组织—性能”之间的定量关联建模问题，提出了一种基于图像识别与深度学习的多模态融合框架，实现了对 Mg-Gd 合金维氏硬度的自动化预测。
高强度 Mg-稀土（Mg-RE）合金中，固溶处理和时效处理会显著影响合金的微观组织与力学性能。然而，传统实验方法和物理建模方法仍难以有效建立加工参数、微观组织特征与性能响应之间的定量映射关系。针对这一问题，本文以高强度 Mg-Gd 合金为案例，构建了一个面向“工艺（固溶与时效）—微观组织—性能”的定量分析框架。具体而言，固溶态 Mg-Gd 合金的力学性能主要受 Gd 含量、晶界特征以及第二相存在情况影响；而时效态合金的性能则进一步受到 Gd 含量、时效参数以及析出相特征的共同影响。
为建立上述映射关系，本文提出了一种两阶段多模态融合框架，将元素成分、工艺参数与由合金显微图像提取的微观组织特征相结合，用于预测合金硬度。该框架首先利用深度学习方法从不同状态下的合金图像中自动提取晶粒尺寸、第二相和析出相等关键微观组织特征；随后，将这些图像特征与成分及加工参数进行融合，分别构建固溶态数据集和时效态数据集。其中，固溶态数据集用于预测固溶态硬度，时效态数据集则用于预测由时效处理引起的硬度增量。实验结果表明，两个预测模型分别取得了 0.90 和 0.89 的 R² 值，表现出较高的预测精度。
与人工分析结果的对比验证表明，本文提出的两阶段框架能够实现 Mg-Gd 合金最终室温硬度的自动化预测，有效降低人工微观组织分析成本。
论文链接：Deep learning-driven microstructure characterization and Vickers-hardness prediction of Mg-Gd alloys
代码链接：https://github.com/han-yuexing/MCVHPA
我们团队在 《Neurocomputing》(IF: 6.5, 中科院二区)上发表论文 “Scribble consistency match and pixel-level prototype contrastive calibration for weakly supervised medical segmentation”。该论文以上海大学计算机工程与科学学院为第一单位，针对医学图像像素级标注成本高、涂鸦标注监督信息不足的问题，提出弱监督医学图像分割框架 FW2SS。
医学图像分割是医学图像分析中的重要任务，主要用于从 CT、MRI 等影像中准确分离器官、组织或病灶区域，可为疾病诊断、定量分析和临床治疗提供辅助支持。近年来，深度学习显著提升了分割性能，但其通常依赖大量精确的像素级标注，而医学图像标注成本高、专业性强，弱监督医学图像分割逐渐成为研究热点。 FW2SS 基于 CNN-Transformer 混合结构，结合 CNN 的局部细节建模能力和 Transformer 的全局结构感知能力。论文提出 Scribble Consistency Match 技术，通过网络扰动与输入扰动的一致性学习生成更可靠的密集伪标签，从稀疏涂鸦标注中学习完整形状信息；同时提出 Pixel-level Prototype Contrastive Calibration技术，利用高置信度像素构建类别原型，并通过对比学习增强类内一致性和类间区分性，从而提升边界和细节区域的分割效果。
在 ACDC 和 MSCMRseg 数据集上的实验表明，FW2SS 在涂鸦监督条件下取得了先进性能，平均 Dice 分别达到 90.0% 和 88.2%，显著优于多种现有弱监督医学图像分割方法。该研究在降低医学图像标注成本的同时提升了分割精度，为弱监督医学影像分析和临床智能辅助提供了有效技术方案。
代码链接：https://github.com/han-yuexing/FW2SS
我们团队在《Information Sciences》(IF: 6.8，中科院二区)上发表论文“A multi-task learning framework for integrated assessment in agricultural applications”。该论文上海大学计算机工程与科学学院为第一单位。
水果和蔬菜的自动化评估是智慧农业、质量控制和供应链管理中的重要任务。传统人工称重和目视检查存在耗时、劳动成本高、主观性强等问题，现有自动化方法也多针对单一任务，难以在同一框架下完成多属性综合评估。此外果蔬多属性标注的数据集也较少。为了解决这一问题，本文提出了一种面向农业应用的多任务深度学习框架，能够从单张RGB图像中同时完成重量预测、关键表型特征分析和品质等级分类。
具体而言，本文构建了水果和蔬菜综合评估数据集FruVegSet（FVS），包含黄瓜和香蕉两类农产品，并提供图像、重量、关键表型特征和品质等级等多属性标注。在模型设计上，本文采用基于ResNet18的预分类模块识别农产品类别，并将输入图像路由至对应的类别专属子网络；随后通过重量分支和关键表型分支分别提取任务相关特征，引入特征金字塔网络增强形态特征表达，结合大核注意力融合模块和交叉注意力机制实现任务间信息交互，最终同时预测重量、关键表型特征分析和品质等级分类，完成综合评估。实验结果表明，所提出框架在黄瓜和香蕉数据上均取得了良好的综合评估效果，并优于单任务模型及代表性农业品质分类模型。
论文链接：A multi-task learning framework for integrated assessment in agricultural applications
我们团队在《Information Sciences》（IF：6.8，中科院二区TOP）上发表论文“A Dual-Domain Detection Transformer for Fine-Grained Weed Detection in Complex Agricultural Scenes”。该论文上海大学计算机工程与科学学院为第一单位。
杂草检测是精准农业、智能除草和智慧农田管理中的关键技术。然而，在复杂农业环境中，由于作物与杂草外观高度相似、目标遮挡严重、背景干扰复杂以及尺度变化显著等因素，现有检测方法容易出现误检和漏检，难以满足实际应用需求。针对上述问题，本文提出了一种双域融合检测Transformer框架FS-DETR（Frequency-Spatial Detection Transformer），通过协同建模空间域与频域信息，实现复杂农业场景下细粒度杂草目标的精准检测。
具体而言，本文提出了一种混合特征融合模块（Hybrid Feature Fusion，HFF），通过融合多尺度空间特征与频域高频信息，增强模型对细粒度纹理特征和边缘信息的表达能力，从而有效缓解杂草与作物重叠以及复杂背景干扰带来的检测困难。同时，设计了双域注意力机制（Dual Domain Attention Mechanism，DDAM），将频域注意力与可变形注意力进行自适应融合，在编码阶段充分挖掘空间结构信息与频域纹理信息，提高模型在复杂农业环境中的特征提取与目标辨识能力。进一步地，构建了基于高斯分布与约束引导的标签分配模块（Gaussian Distribution-based and Constraint-guided Label Assignment，GCLA），优化杂草与作物目标的标签匹配过程，提高训练阶段的监督质量和检测精度。
在WeedCrop、LincolnBeet和MH-Weed16三个公开农业杂草数据集上的实验结果表明，FS-DETR均取得了优异性能。其中，在WeedCrop、LincolnBeet和MH-Weed16数据集上分别获得47.2%、60.4%和32.5%的AP，相较基线模型分别提升1.4%、1.0%和0.6%。此外，在小目标杂草检测任务中，FS-DETR分别较当前次优方法提升1.2%和0.2%，展现出良好的细粒度目标检测能力和复杂场景鲁棒性，为智能农业中的精准杂草管理提供了新的技术方案。
论文链接：A Dual-Domain Detection Transformer for Fine-Grained Weed Detection in Complex Agricultural Scenes
代码链接：https://github.com/YanSun-github/FS-DETR
我们团队在《Expert Systems with Applications》(IF: 7.5, 中科院一区)上发表论文“PDDNet: An End-to-End Object Detection Framework for Real-World Plant Leaf Disease Diagnosis”。该论文上海大学计算机工程与科学学院为第一单位。
植物叶片病害检测是智慧农业、精准植保与作物健康管理中的重要任务。然而，在真实农业场景中，叶片病斑通常受到复杂自然背景、多尺度病害区域、光照变化以及不同病害类别间视觉差异细微等因素影响，导致现有检测方法在定位精度、分类鲁棒性和跨场景泛化能力方面仍面临挑战。为解决这一问题，本文提出了一种端到端植物叶片病害检测框架 PDDNet，通过级联编码器-解码器结构融合局部病斑细节与全局上下文信息，从而提升模型在真实场景下的病害检测性能。
具体而言，我们提出了一种基于增强注意力的多尺度聚合模块（Enhanced Attention-based Multi-scale Aggregation，EAMA），通过空间注意力与通道注意力的协同建模，增强模型对不同尺度病斑区域的特征表达能力。同时，引入基于先验的自注意力机制（Prior-guided Self-Attention，PGSA），将位置先验与 IoU 几何关系融入注意力计算，使模型能够更加关注病斑边界与形态结构。进一步地，本文设计了多任务特征解耦模块（Multi-task Feature Decoupling Module，MFDM），通过任务特定的动态掩码分离分类特征与定位特征，缓解分类与回归任务之间的冲突。在 PlantDoc 和 Tomato Leaf Disease 等真实场景数据集上的实验结果表明，PDDNet 在复杂背景、多尺度病斑以及细粒度类别识别任务中均取得了良好的检测效果，为精准农业中的自动化病害诊断提供了可靠的技术支撑。
论文链接：PDDNet: An End-to-End Object Detection Framework for Real-World Plant Leaf Disease Diagnosis
