基于ShareGPT真实对话的模型幻觉率统计方法
部署一个大语言模型后，最棘手的难题并非模型能否流畅作答，而是它输出的内容有多少是凭空编造的。ShareGPT数据集为此提供了一条贴近真实对话的验证路径，能有效量化模型在真实使用场景中的“幻视”倾向。以下方法基于该数据集，逐步构建一套可执行的幻觉率评测框架。
关键在于利用ShareGPT天然的对话结构——用户追问、上下文连贯性以及回复的合理性——本身就是极佳的隐式标注信号。与其自行构造脱离实际的测试用例，不如直接利用这些真实交互。整个流程可拆解为五个核心环节。
一、提取高风险问答对并定义幻觉判定边界
ShareGPT原始会话中大量包含用户提出具体技术问题（例如“Python中如何用pandas读取Excel文件？”），而后助手指着确凿信息给出回复。这类样本天然具备可验证性，是检测幻觉的理想目标。第一步即筛选出这类“高风险”问答对，同时为回复内容预设三条判定维度：事实错误、虚构引用、逻辑矛盾。
具体操作如下：
1、遍历每条会话，标记所有用户消息中包含疑问词（“如何”“是什么”“为什么”“是否”等）且长度≥15字符的句子。
2、定位紧跟其后的助手回复作为待检对象，剔除含有“我不确定”“可能”“据我所知”等模糊表述的回复——这些本身已保留余地。
3、对剩余回复进行结构化解析，逐句标出涉及的实体（人名、工具名、函数名、版本号）、操作步骤和因果关系链。
4、将标记项逐一对照权威文档源（Python最新官方文档、Stack Overflow高赞回答、RFC标准文本）交叉验证，识别不一致处。
二、构建人工校验子集并实施双盲标注
仅凭模型或单人判断，偏差风险过高。因此需从筛选出的高风险问答对中抽取代表性子集，采用双盲机制进行人工校验，确保标注一致性。该校验子集需覆盖足够多样的领域：编程、学术、生活、医疗咨询等，每条样本由两名独立标注员分别判定是否存在幻觉以及幻觉类型。
具体落地方式：
1、从清洗后的ShareGPT样本中按领域比例分层抽样，最终选取800条问答对。编程类不少于300条，学术类不少于200条，其余类别合计不少于300条。
2、为标注员准备统一判定手册，明确定义12类典型幻觉模式，例如“虚构函数名”“错误参数顺序”“不存在的API路径”等。定义越细，歧义越少。
3、标注员仅能查看用户提问和助手回复原文，不提供上下文历史，也不允许外部搜索——基于文本内证做出判断。
4、两名标注员判定结果分歧时，交由第三位更资深的标注员仲裁，以仲裁结果计入最终统计。
三、引入LLM辅助核查增强判别粒度
人工标注虽可靠，但成本高、效率低。更现实的方案是采用经验证、幻觉率极低的强基座模型（如GPT-5.5 Instant或Claude-3.7 Sonnet）作为辅助核查引擎，对人工标注结果进行反向验证和细粒度归因，从而显著提升幻觉类型分类精度。
具体做法：
1、将每条待检的助手回复与对应用户提问拼接后输入辅助模型，提示：“请指出该回答中所有与公认事实不符的内容，并说明错误类型（虚构实体/步骤缺失/因果倒置/数值失真）。”
2、解析辅助模型输出，提取识别的错误位置（例如“第2句第3个名词”）、错误类型标签以及支撑依据（例如“pandas.read_excel()没有header_row参数，正确参数是header”）。
3、逐项比对人工标注与辅助模型输出：一致处提高置信度；分歧处启动人工复核，重点检查辅助模型是否过度质疑或漏判。
4、被辅助模型识别但人工未标注的错误项，一律归入“潜在幻觉”池，后续可用于模型迭代的数据增强。
四、计算分层幻觉率指标并映射至对话轮次
幻觉并不会均匀分布在对话各阶段。ShareGPT中的长会话提供了观察窗口，可判断幻觉是否随对话轮次增加而爆发，或受上下文长度影响。需将幻觉发生频次与所在轮次、上下文长度、前序交互密度等变量关联，形成可解释的统计矩阵。
执行策略：
1、每条含幻觉的样本记录其在会话中的绝对轮次编号（如第5轮）、相对轮次（如warm-up后第2轮）、上下文token总数、前序用户消息数量。
2、按轮次区间分组：1–2轮、3–4轮、5–6轮、7轮及以上，分别统计各组的幻觉发生次数与组内总样本量，计算区间幻觉率。
3、对上下文长度做分箱处理：0–512、512–1024、1024–2048、2048+ tokens，计算每箱幻觉率，观察趋势是否线性递增。
4、将所有幻觉样本按错误类型聚合，统计“虚构代码示例”占比、“错误命令语法”占比、“捏造论文引用”占比等，形成类型分布热图，直观呈现模型在何种场景下最易崩塌。
五、实施对抗性上下文注入以触发隐性幻觉
常规问答测试难以暴露模型在干扰语境下的稳定性缺陷。需主动构造对抗性前缀，将其插入ShareGPT原始会话开头，模拟用户无意中带入偏见信息的情形，从而激发出更隐蔽的对话幻觉行为。
具体步骤：
1、选取500条原版中不包含任何幻觉的高质量ShareGPT会话，为其添加三类对抗前缀：“我刚看到一篇论文说……”“朋友告诉我这个功能已被弃用”“最新版文档里写明必须先……”
2、将注入前缀后的完整会话重新输入待测模型，记录其对原始用户提问的新一轮回复。
3、对比注入前后两版助手回复，采用字符串编辑距离和语义相似度（BERTScore）双重指标识别是否存在实质性偏离。
4、对于发生偏离且经核查内容确为错误的样本，单独标记为“上下文诱导型幻觉”，并单独计入专门的幻觉率统计维度。这才是真正的压力测试。
