LLM参数知识：训练阶段核心学习内容全解析
所谓“参数知识”，就是模型在训练过程中，把训练数据集里的信息编码进了自己的内部参数里。想给它加点新东西？那就得重新训练或微调。可这个过程，既烧钱又费时，根本不是我们想用来持续更新模型知识的法子。
于是，检索增强生成（RAG）就来了。它的思路很巧妙：与其费劲把新知识硬塞进模型，不如给模型外设一个可伸缩的“知识库”。这个库我们可以像管理传统数据库一样管理，而且在很多场景下，它可能比微调更靠谱、更灵活。
举个例子。LLM 目前最给力的应用之一，就是做复杂的问答聊天机器人。这类应用需要靠外部资料来回答问题，玩的就是 RAG 技术——先从外部数据源检索相关信息，再把这些额外知识塞进提示词里，最后喂给模型生成答案。