WordEmbedding模型评测指南：主流指标与权威数据集解析

仅凭训练损失曲线下降来判断词向量模型的质量是片面的。真正的评估核心在于模型能否精准捕捉词语在真实语境中的语义与关联。这需要从三个层面进行系统性检验：首先验证其是否符合基础的语言学直觉，其次在具体下游任务中测试其性能，最后还需诊断其向量空间的数学结构是否健康。

一、语言学特性测试（微观语义能力）

这类方法无需标注数据，直接检验模型对词语关系的“直觉”，类似于对模型进行语言能力摸底考试。

• WordSim353（WS）：该数据集包含353对词语，每对都有人工标注的语义相似度分数（0-10分）。通过计算模型输出的向量余弦相似度与人工评分之间的斯皮尔曼相关系数进行评估。得分越高，表明模型对词语相似度的判断越接近人类共识。
• TOEFL同义词检测：模拟托福考试的同义词选择题形式。给定一个目标词和四个候选词，要求模型选出语义最接近的选项。通过统计准确率，可以评估模型区分近义词和辨析细微语义差异的能力。
• 类比任务（Analogy）：词向量领域的经典评估任务，分为语义类比（如“国王-男人+女人≈女王”）和句法类比（如“跳舞-舞蹈+预测≈预测着”）。通过向量运算后，检查目标词的最近邻是否为正确答案，并以Top-1准确率作为指标。语义类比考察常识关联，句法类比则检验对词形和语法结构的捕捉能力。
• Coherence（一致性）：该测试用于评估模型局部语义结构的合理性。例如，给定“苹果”一词，模型会返回其排名第1、第2和第100的近邻词。将这些词与干扰词混合后，由人工判断“哪个词不属于该语义簇”。入侵词被选中的频率越低，说明模型围绕中心词构建的语义邻居圈越可靠。

二、下游任务验证（实用性能）

理论测试优秀，还需实战验证。将词向量作为特征或模型初始化参数，投入实际应用场景进行性能检验。

• 文本分类：使用词向量的简单平均或TF-IDF加权来表征句子或文档，后接轻量级线性分类器。在AG News、MRPC等标准数据集上计算准确率，可以快速评估词向量作为文本表示的基础质量。
• 命名实体识别（NER）：将词向量作为BiLSTM-CRF等序列标注模型的输入嵌入层。在CoNLL-2003等数据集上，最终的F1分数能够有效反映词向量对实体边界和类别信息的编码能力。
• 情感分析：使用词向量初始化CNN或LSTM网络，在SST、IMDB等情感数据集上进行零样本评估或微调。模型对情感极性的判断精度，很大程度上依赖于词向量对情感语义色彩的承载质量。
• 聚类任务（Categorization）：将已知类别（如动物、水果、工具）的词语集合输入KMeans等聚类算法，以词向量作为特征。通过计算聚类结果的纯度（Purity）或调整兰德指数（ARI），可以量化评估词向量在无监督条件下对语义类别的归纳能力。

三、空间几何与对齐性质（深层表征健康度）

一个优质的词向量空间，不仅要求“语义准确”，更需“结构稳健”。这需要借助更深入的数学工具进行诊断。

• Alignment & Uniformity：评估句子向量质量的经典双指标。对齐性（Alignment）衡量语义相同的文本对（如释义句）在向量空间中是否足够接近；均匀性（Uniformity）则评估所有向量在超球面上的分布是否均匀，避免所有向量塌缩到狭小区域。二者需取得平衡，理想表征应做到“相似聚集，相异分散”。
• BEIR / MTEB / C-MTEB基准：若需对模型进行全面体检，这类综合基准是首选。例如MTEB覆盖58个数据集、8大类任务（检索、聚类、重排等），运行一次即可获得综合评分，便于横向比较不同模型。C-MTEB则是专门针对中文的评测版本。
• STS-B / SICK相似度任务：这两个是句子级语义相似度评测的经典数据集。它们提供句子对及人工标注的相似度分数，通过计算模型输出的句子向量相似度与人工分数的相关系数（皮尔逊或斯皮尔曼），专门用于评估模型在句子层面的语义理解能力。