论文阅读。原文。Global Pointer全局指针框架进行NER。
概述
本文提出了全新的基于跨度的NER框架,其使用了旋转位置编码,请见。
模型结构
NER,即识别句子中所有可能实体的跨度,再将其分类。跨度由起始和结束索引定位。
Global Pointer的的架构如下。
首先,一个具有n个单词的句子通过BERT预训练模型进行嵌入。每个单词对应长为v的向量。
使用
来表示实体类别为$\alpha$的实体起始终止索引(向量)。一个跨度的打分如下。
为了显示的使用边界信息,显式地引入相对位置信息,
参数优化
矩阵参数会随着类别急剧增加,因此我们将NER是为两个自任务。具体来说,先识别一个跨度为实体,再识别其对应的类型。这样第一步就相当于只有一个类别的NER任务,使用来计算。分类任务即
打分函数为
我们使用qi,ki代替hi,进一步减少参数