PN9-Global Pointer: Novel Efficient Span-based Approach for Named Entity Recognition

论文阅读。原文。Global Pointer全局指针框架进行NER。

概述

本文提出了全新的基于跨度的NER框架,其使用了旋转位置编码,请见。

模型结构

NER,即识别句子中所有可能实体的跨度,再将其分类。跨度由起始和结束索引定位。

Global Pointer的的架构如下。

image-20240521191534391

首先,一个具有n个单词的句子通过BERT预训练模型进行嵌入。每个单词对应长为v的向量。

使用

image-20240521192516967

来表示实体类别为$\alpha$的实体起始终止索引(向量)。一个跨度的打分如下。

image-20240521192919898

为了显示的使用边界信息,显式地引入相对位置信息,

image-20240521193107534

参数优化

矩阵参数会随着类别急剧增加,因此我们将NER是为两个自任务。具体来说,先识别一个跨度为实体,再识别其对应的类型。这样第一步就相当于只有一个类别的NER任务,使用image-20240521194512760来计算。分类任务即image-20240521194652840打分函数为

image-20240521194724318

我们使用qi,ki代替hi,进一步减少参数

image-20240521194852454

Loss优化