T-RAG技术解析：RAG微调与实体识别深度融合
T-RAG 将 RAG 框架、开源微调语言模型（LLM）和实体树向量数据库三者融合，专用于上下文检索。本质上，它在传统检索增强生成基础上嵌入一棵“实体树”，引导模型更精准定位目标信息。
背景概述
大型语言模型在多个领域的应用持续扩展，尤其在私有企业文档问答中需求突出。然而，数据安全与模型稳定性是不可逾越的核心要求，直接调用公共 API 的方案不可行。因此，定制化部署成为必然选择。以下案例分享利用 Tree-RAG（T-RAG）系统在企业私有文档上落地 LLM 问答的经验。该方案将实体层级信息嵌入检索流程，实测效果显著，评估数据验证了其有效性。这些实践对希望将 LLM 融入实际业务的团队具有直接参考价值。
数据隐私与安全
文档的敏感性决定了安全风险是首要障碍。为避免数据泄露，调用公有 API 处理私有模型的路径被直接排除。唯一选项是采用开源模型并部署于内网。此外，有限的计算资源、基于现有文档构建的小规模训练集，同样是现实难题。在此约束下，要确保用户查询获得可靠且精准的回答，需要进行大量定制化适配，随之引发一系列复杂的技术挑战。
技术亮点
这项研究的核心价值在于提出了融合检索增强生成（RAG）与基于企业文档微调的开源 LLM 的应用框架。此外，他们还设计了一个新的评估指标“Correct-Verbose”。该指标不仅评估答案的准确性，还考量回答是否提供了问题范围之外仍有价值的额外信息——本质上是从实用性角度对回复质量进行量化评分。
T-RAG
Tree-RAG（T-RAG）的工作流程清晰直接。用户提交问题后，系统首先从向量数据库中检索相关文档片段，作为 LLM 的上下文知识。若问题中包含任何组织内实体（如部门、个人），系统即从实体树中提取该实体的相关信息，并合并到上下文知识中。最终，经微调的 Llama-27B 模型基于这些整合信息生成回答。
实体树
T-RAG 的一个突出特点是，在向量数据库之外额外引入实体树（entities tree）以辅助上下文检索。该树存储了企业组织内部的实体信息及其层级结构。每个节点代表一个实体，父节点指明其所属的上级组别。检索时，T-RAG 利用实体树增强从向量数据库获取的上下文。具体查询与上下文生成流程如下：
- 解析器模块首先扫描用户问题，检测是否包含组织内部实体名称的关键词。
- 若存在一个或多个匹配项，则从实体树中提取每个匹配实体的详细信息。
- 将这些细节转换为文字描述，告知模型实体的名称及其在组织层级中的位置。
- 随后，将该信息与从向量数据库检索到的文档片段合并，形成最终的上下文。
- 经过这一处理，当用户询问特定实体时，模型便掌握了该实体及其层级位置的结构化知识，从而生成更精准的回答。
结合上图，以组织结构图为例直观演示树搜索与检索过程：
- 除检索相关背景文档外，系统还利用 spaCy 库结合自定义规则，识别问题中的命名实体。
- 若问题包含一个或多个实体，则从实体树中提取该实体的层级位置信息，并转换为文本。
- 将这些文本与检索到的文档合并，构成最终的上下文。
- 需要特别指出：如果用户问题中未提及任何实体，系统将跳过树搜索，仅依赖检索文档提供上下文。
总结
这项研究的启发在于，它将 RAG、模型微调与实体识别有机串联。一方面，通过内部部署开源模型解决了数据隐私的刚性约束；另一方面，有效降低了推理延迟和 token 消耗，同时兼顾不同地区用户的需求。此外，利用 spaCy 框架进行实体搜索与上下文生成的思路也颇具借鉴意义。但最关键的并非理论本身——而是背后构建实际 LLM 应用的经验沉淀，是脚踏实地的工程实践，价值显著。