チームの最近の成果：ローカルモデルと大規模言語モデルの効率的な統合による固有表現認識手法の研究
私たちのチームは『Expert Systems With Applications』（IF：9.4、中国科学院ランクI）に論文「NERLLM: Efficient integration of local NER models and large language models for named entity recognition」を発表しました。本論文の第一所属機関は上海大学コンピュータ工学・科学学院です。
ローカル固有表現認識（Named Entity Recognition、NER）モデルは通常、高い推論効率とドメイン内での正確な認識性能を有するが、意味的曖昧性、新出エンティティ、分布外テキストに対して性能が低下しやすい。一方、大規模言語モデル（Large Language Model、LLM）は幅広い知識と優れた文脈推論能力を備えるものの、NERタスクに直接適用すると、エンティティ境界が不安定になり、認識精度が低下する場合がある。既存のハイブリッド手法は主にローカルNERモデルが出力したエンティティの信頼度に基づいてルーティングし、疑わしいエンティティを直接削除する傾向があるため、限られた計算コストの下で真の予測誤りを優先的に処理し、部分的に正しいエンティティを効果的に修正することが難しい。
これらの問題に対し、本論文では認識精度と呼び出しコストを両立するハイブリッドフレームワークNERLLMを提案した。ローカルモデルが出力した信頼度の低いエンティティを選択的に再検証することで、予測結果を効率的に検証・修正する。NERLLMは、信頼度スコアラー（Confidence Scorer）とLLM再検証器（LLM Rechecker）という2つの中核モジュールから構成される。信頼度スコアラーは、ローカルモデルの出力とデータセットの統計的特徴に基づいてスパン単位の信頼性を学習し、誤りの可能性が高い予測を優先的にLLMへルーティングする。LLM再検証器は多段階処理により、候補エンティティのラベル修正、境界調整、競合解消を行う。さらに、二次LLM評価によって大規模言語モデルのハルシネーションの影響を抑制し、修正結果の信頼性を向上させる。
CleanCoNLL、WNUT’16、WNUT’17の3つのデータセットにおける実験結果から、NERLLMはさまざまなローカルモデルとLLMの組み合わせにおいてMicro-F1を効果的に向上させ、曖昧性を持つエンティティや新出エンティティを含むソーシャルメディアテキストで特に顕著な改善を示した。Binder-largeとDeepSeek-R1の組み合わせは、WNUT’16において61.0%のF1値を達成し、ローカルモデルより5.8ポイント向上した。また、本フレームワークは不要なLLM呼び出しを削減し、認識性能と計算コストの良好なバランスを実現することで、効率的かつ高精度な固有表現認識に新たな解決策を提供する。
