团队近期成果--高效融合本地模型与大语言模型的命名实体识别方法研究
我们团队在《Expert Systems With Applications》(IF:9.4,中科院一区)上发表论文“NERLLM: Efficient integration of local NER models and large language models for named entity recognition”。该论文以上海大学计算机工程与科学学院为第一单位。
本地命名实体识别(Named Entity Recognition,NER)模型通常具有推理效率高、领域内识别准确等优势,但在面对语义歧义、新兴实体和分布外文本时性能容易下降。相比之下,大语言模型(Large Language Model,LLM)具备更广泛的知识和更强的上下文推理能力,但直接应用于NER任务时往往存在实体边界不稳定和识别精度较低等问题。现有混合方法主要依赖本地命名实体识别给出的实体置信度进行路由,且通常采用直接删除的方式处理疑似错误的实体,难以在有限的计算成本下优先处理真正的预测错误,也无法有效修正部分正确的实体。
针对上述问题,本文提出了一种兼顾识别精度与调用成本的混合框架NERLLM,通过选择性复核本地模型输出的低置信度实体,实现对预测结果的高效验证与修正。该框架由置信度评分器(Confidence Scorer)与大语言模型复核器(LLM Rechecker)两个核心模块组成。置信度评分器根据本地模型输出和数据集统计特征,学习实体跨度层面的可靠性,并将更可能出错的预测优先路由至大语言模型。复核器采用多阶段处理流程,对候选实体进行标签修正、边界细化与冲突消解,并通过二次LLM评估,避免大模型幻觉造成的影响,提高修正结果的可靠性。
在CleanCoNLL、WNUT’16和WNUT’17三个数据集上的实验结果表明,NERLLM在不同本地模型与大语言模型组合下均能有效提升Micro-F1,在包含歧义的实体和新兴实体的社交媒体文本上提升更为显著。其中,Binder-large与DeepSeek-R1结合后在WNUT’16上取得61.0%的F1值,较本地模型提高5.8%。同时,该框架减少了不必要的大语言模型调用,在识别效果与计算成本之间取得了较好的平衡,为高效、准确的命名实体识别提供了新的解决方案。