LLM知识库构建指南：系统梳理与实战方法

直接把大模型输出的结论粘贴到正式报告里？

绝大多数人没这个胆量。

但过往确实有人信了——至少信到愿意把过去两年的周会纪要，100多份文档、35万字，全部塞进一个AI知识库系统。

出发点非常直白。

周会纪要里藏着大量信息：项目决策背后的逻辑、技术选型的权衡、踩过的坑。资料都在，但想找的时候全靠运气——记得讨论过，但具体在哪份文件里，根本说不准。

原来的做法是：翻文件名，凭印象猜大概是哪一周的会议，打开，Ctrl+F。

经常找不对。

所以看到Andrej Karpathy那篇Gist——「用LLM把原始资料编译成结构化Wiki」——的时候，觉得这可能是一个突破口。

逻辑很清晰：

1. 原始资料（周会纪要）丢进 raw/ 目录

2. 让AI读取，编译成结构化的Wiki页面（Markdown）

3. 问答时直接读取编译好的页面，而不是每次重新检索原始文档

理论上，做一次投入，长期受益。

一、第一个直观感受：Token消耗巨大

好在，在知识库专家的协助下，知识库终于搭建完成。

100多份文件，35万字，全部入库。WorkBuddy能回答「上次关于XX项目，我们为什么选了方案A？」这类问题了。

但有一个直观感受特别强烈——Token消耗巨大。详情可参考上一篇文章：花光Workbuddy2个月积分做知识库，踩了5个坑

每次让AI回答一个问题，它需要读取的内容似乎越来越多。没有精确统计，但直观上，随着Wiki页面从10个涨到37个，每次问答的Token消耗明显攀升。

当时的想法是：可能这就是常态，知识库越大，消耗越多，没什么问题。

现在回头看，这个想法显然太乐观了。但当时的情况是：知识库刚建好，能回答问题了，感觉"有效果"。人在刚看到效果的时候，倾向于继续投喂，而不是停下来质疑系统本身。

于是按下了继续优化的按钮——补充更多资料，扩充知识库，让它更完整。

但Token消耗巨大的直观感受，让人隐约觉得「这个方向可能有雷」。只是当时没想清楚「雷在哪里」。

于是在公众号里搜LLM Wiki相关的文章，想看看别人是怎么做的。然后刷到了一篇，里面提到了一个词——知识漂移

二、暂停键：看到了「知识漂移」这个词

本来想按原思路继续扩充知识库。

然后刷到了一篇文章，里面提到了一个词——「知识漂移」（Knowledge Drift）。

文章的核心意思是：AI在编译Wiki页面的时候，会对原始内容进行「有损压缩」——它用自己的话重新表述你的原始资料。单次看没什么问题，但经过几轮更新之后，Wiki页面里的内容，和原始文档之间会出现系统性偏差。

这才是知识漂移（Knowledge Drift）的真正含义——

它不是「错了」，而是「不够精确了」。而在专业领域，「不够精确」就是「错了」。

读到这段话的时候，才终于回过味来。

Wiki里，有没有已经「漂掉」的内容？

这个问题没有答案。但知道一件事：在搞清楚之前，不应该继续往里喂数据了。

按下了暂停键。扩充知识库的计划，暂时搁置。先解决「可靠性」问题。

三、混乱：读了9篇文章，然后更迷糊了

开始的想法很简单：去网上查一下，别人是怎么解决「知识漂移」这个问题的。

然后掉进了一个兔子洞。

一共读了9篇关于LLM Wiki的实践文章（参考文献附后）。读完之后的状态是：更迷糊了。

因为大家讨论的问题，和要解决的问题，好像不是同一件事——

不是说社区讨论的方向不对，而是——

面对的是一个「已经建好的知识库，怎么保证它不漂移」的具体问题。而社区里大部分文章在讨论的是「怎么从零开始建一个知识库」。

两个问题不是同一个。

卡住了，思路很多很杂，已经混乱了。

四、停下来，系统整理了一遍——整理成LLM-Wiki学习笔记

卡住之后，做了一个决定：不继续瞎搜了，把已经搜到的东西先系统整理一遍。

具体做了三件事：

① 把9篇实践文章去重、按维度重新组织——核心理念/架构模式/踩坑经验/最佳实践/工具生态，每个论点标注来源编号。

② 补学术来源——9篇公众号文章读完后，觉得权威性不够，又去arXiv找了5篇相关论文：RAG综述、Token优化方法、幻觉与知识漂移的学术定义、Microsoft GraphRAG原论文。把这些和9篇实践文章合并，才形成了一份比较完整的认知。

③ 区分「共识」和「个例」——做完这件事之后，混乱的状态消失了。不是因为它找到了「标准答案」，而是因为终于能分清：哪些是多篇独立提到的共识，哪些是个例，哪些是相互矛盾的（需要自己判断）。

学习笔记的产出，是这次优化真正的起点。

五、学习笔记里，最有用的三条

笔记很长，完整版放在了自己的Wiki库里。这里只说最有用的三条。

① 溯源机制不是可选项，是必选项

笔记里[3]提到，知识漂移的本质是「AI生成摘要是有损压缩」。

解决方案里最有效的一条是：在每个关键事实后面，强制标注来源位置。

结论：该方案在限定条件下可行，不建议直接推广。 来源：raw/2024-03-周会记录.md, L128-L135

AI在回答时，不是只输出结论，而是结论 + 来源引用，类似于学术论文的引用格式。

可以选择信AI的总结，也可以点开原始记录自己核对。

这个机制在专业领域是必须的。

② 「好的回答才值得写回Wiki」——需要更严格的定义

Karpathy原文里说，问答中产生的有价值的新洞察，可以写回Wiki[1]。

但在专业领域，「有价值」的判断标准应该更高。

碰到一个具体场景：有一次AI回答了一个规范条款的理解问题，核对原始记录后发现——它把两次不同时间的讨论混在一起了，得出的结论看起来合理，但实际上是错的。

这件事之后，加了一条规则：Wiki页面的任何更新，必须有人工确认环节，AI不能自动写回。

③ 积木化的方向，可能比知识图谱更有用

有些用户目前在忙着给LLM Wiki加知识图谱、加向量检索[5][9]。这些当然有用。

但把专业判断经验拆成可复用积木，对提升工作效率的帮助，可能比「语义检索」大得多。

具体来说，现在在试着把每次技术评审中发现的「问题模式」，拆成积木卡片存进Wiki。

不用看懂格式，关键是这个思路——大致长这样：

【积木卡片】  问题模式：源文件过大导致解析中断 适用场景：[技术报告, 技术文档, 批量处理] 严重程度：高  判断方法： - 文件 > 200KB → 先分块 - 文件 > 2000 行 → 先分块 - 否则 AI 解析容易中断  正确处理：分块 → 分别解析 → 合并结果

不用看懂每个字段，关键是这个思路：把经验拆成可复用的卡片。下次碰到类似场景，直接检索积木 → 匹配场景特征 → 组装评审意见。

六、结论：通用方案需要改造

通过系统的梳理，对LLM Wiki的看法是这样的：

它提供了一个非常好的「知识编译」思路，但落地到相关专业领域，需要至少三个改造：

① 溯源机制从「建议」升级为「强制规范」

专业领域里，每个结论都必须能追溯到原始依据（哪份文件、哪条条款、第几页）。

② 「好的回答才写回Wiki」增加人工确认环节

AI自动写回，在专业场景里风险太高，必须需要人工确认。

③ 积木化的优先级，可能高于知识图谱

把专业判断经验拆成可复用积木，这件事的长期价值，可能比「语义检索」大得多。

七、后记：知识库这件事，没有银弹

一开始以为，把周会记录做成知识库，是一个「技术问题」——只要选对工具、配好流程，就能解决「知识找不到」的问题。

现在觉得，它更多是一个「方法论问题」——你怎么结构化地组织自己的专业经验，让它可以被检索、被复用、被传承。

工具会变化，LLM Wiki可能只是这个阶段的一个解法。但「把隐形的专业判断经验，变成显性的、可沉淀的知识」，这件事的价值是长期的。

下一步打算把「积木化」这个思路，更系统地应用到专业技术文档的整理上。

如果这一步能跑通，会再来写一篇。

不是写「成功了」，而是写「试了什么、哪里卡住了、下次怎么改进」。

因为知识库这件事，没有银弹。

参考文献

在整理这篇文章的时候，系统读了9篇实践文章+5篇arXiv学术文献，并整理成了完整的学习笔记。本文中的论点凡标注 [N] 的，可在对应文章中找到来源；标注 [A1]~[A5] 的，为arXiv学术文献。

学术文献

公众号实践文章

八、互动：聊聊你的踩坑经历

问你一个问题：

你敢把AI给你的答案，直接写进报告里吗？

你在做知识管理的时候，碰到过类似的问题吗？

- AI给你的答案，你敢直接信吗？还是每次都要翻原始文档核对？

- 你的收藏夹里，有多少篇文章是「收藏即读过」？

- 如果让你把两年的工作记录做成知识库，你觉得最大的障碍是什么？

评论区聊聊，看看有多少人和你一样，踩过这个坑。