一份完整的命名实体识别NER实战：使用WordEmbedding和BiLSTM-CRF模型从零开始手把手指南

命名实体识别（NER）的核心流水线离不开三个组件：WordEmbedding、BiLSTM、CRF。WordEmbedding本质上是NER模型的“输入底座”——将字或词转化为携带语义的稠密向量，使BiLSTM能够捕捉上下文语义。真正完成边界识别与类别判定的，是BiLSTM捕获序列依赖 + CRF保障标签合规性，而WordEmbedding决定了上游特征的质量起点。

WordEmbedding在NER中的落地方式

它并非独立模块，而是嵌入整个流程的起始环节：

• 每个字（中文通常按字粒度切分）或词被映射为固定维度的稠密向量，例如96维或300维
• 向量可选择随机初始化，或加载预训练词向量（如Word2Vec、GloVe、BERT子词向量），后者能大幅提升模型泛化到新文本的能力
• 举例来说，“安徽”与“江苏”在向量空间内距离相近，模型即便只见过“安徽”标注为LOC，也能更大概率将“江苏”判定为地名
• 针对未登录词（新公司名、罕见地名等），统一使用向量兜底，避免序列崩溃

BiLSTM-CRF模型的分工逻辑

WordEmbedding负责“语义编码”，后续两层分别承担“语境理解”与“序列决策”：

• BiLSTM层：将词向量序列双向读取，输出每个时间步的隐藏状态，融合前后文信息。例如“马云”在“创办阿里巴巴”中是人名，在“马云路”中更倾向于地名，BiLSTM依托上下文进行消歧
• CRF层：不孤立地为每个位置打分，而是对整个标签序列（如B-PER、I-PER、O、B-ORG…）计算全局得分，强制符合约束：I-PER不能出现在B-PER之前，O后面不能跟I-ORG等
• 最终预测并非取每个位置最高概率标签，而是通过Viterbi算法搜索全局最优标签路径

实战中高频踩坑点

代码能跑通不难，但要达到工业级效果，以下几点常被忽视：

• BIO标注必须严格对齐：每个字符只能分配一个标签，空格、标点、换行符均需参与标注，否则输入长度与标签长度不匹配会导致索引错误
• 填充与截断需同步操作：短句补，长句截断，word_ids与tag_ids必须等长，且对应的标签需设为掩码值（如-1），CRF计算时主动忽略
• CRF转移矩阵要可学习：初始化不宜全零，建议用较小随机数；训练中它会自动习得“B-PER→I-PER高转移分，B-PER→B-ORG低转移分”这类先验
• 评估指标别只用accuracy：NER关注实体级准确率，应采用实体边界+类型双重匹配计算F1，seqeval库比逐token精度更能反映真实性能

快速上手建议（PyTorch为例）

无需从零手写CRF，推荐直接复用成熟实现快速迭代：

• 使用torch.nn.Embedding构建词表，提前创建word_to_ix与tag_to_ix映射
• 参考PyTorch官方NER教程的CRF实现（包含_forward_alg与_viterbi_decode），已处理LogSumExp数值溢出问题
• 从小数据起步：先用CLUE的CLUENER（10类中文NER）或自建500句医疗/客服样本，验证流程闭环
• 调试阶段打印前3个batch的logits与viterbi_path，确认CRF确实在发挥作用（例如O后不再出现I-ORG）