Redis作者权威解读：中国AI模型非API蒸馏美国

最近，Redis创始人antirez再次探讨了这一话题。他的核心立场非常清晰——他坚决质疑“中国大模型之所以领先，主因是通过API蒸馏美国模型”这一流行论断。

在他看来，将中国开源或闭源模型的突破，简单归因于“利用GPT/Claude的API生成训练数据并蒸馏”，在严格的机器学习理论上是站不住脚的。

antirez的论证，主要围绕三个层次展开

首先，所谓的“API蒸馏”在严格意义上的“软蒸馏/白盒蒸馏”面前，几乎不可能实现。真正的知识蒸馏要求完整访问Teacher模型的logits（概率分布）、思维链推理路径及内部表示。而商业API只返回最终文本，无法获取这些内部数据。他将其比作“仅凭复杂曲面上的几个离散点，就想完整还原整个曲面”，从数学角度看近乎天方夜谭。

其次，即使退一步承认“黑盒蒸馏”（硬蒸馏）可行，其作用也极其有限。利用API生成的文本数据进行SFT（如Alpaca、Vicuna等案例），确实能改进回复风格、填补特定知识盲区，或提升模型对特定格式的遵循能力。但仅凭此方法，绝不可能塑造所谓的“前沿通用能力”。那种底层能力完全依赖于大规模预训练——数以万亿计的Token和巨大算力投入。他明确指出，缺少思维链等内部信息，即使拥有Teacher生成的轨迹，最多只能“调整风格或填充极小知识缺口”。

最后，即便给你完整模型访问权限，想要蒸馏出一个前沿模型也极其困难。如今许多前沿中国模型已经开源，但包括欧洲一些实验室在内，依然很难训练出能与其匹敌的模型。这本身就证明了蒸馏或复刻远非“有数据就能轻松复制”那么简单。

因此，antirez的结论是：中国模型与美国模型的真实差距，更多源于算力获取限制，而非单纯的技术抄袭或蒸馏。他不否认实际能力差距，但坚决反对将这种差距归因于“蒸馏了美国模型”。

当然，反对的声音也存在

有些人认为，“用原始LLM的响应做蒸馏完全可行，只需API访问权限即可”，并举例说Alpaca和Vicuna正是通过这种方式训练出来的。

这里引出核心问题：“蒸馏”这个词在业界已被严重滥用和误解。大家口中的“蒸馏”，经常混淆两种技术：

• 硬蒸馏（黑盒）：仅使用Teacher生成的离散Token序列训练Student，采用标准交叉熵损失。这就是Alpaca和Vicuna采用的方式。
• 软蒸馏（白盒）：需要Teacher的完整概率分布，通过KL散度让Student模仿Teacher的软标签。这需要白盒访问或API暴露logits，目前主流商业API基本不提供。

一篇2026年的论文《Memorization Dynamics in Knowledge Distillation for Language Models》明确区分了这两者，同时指出在黑盒API场景下，硬蒸馏是可行的常见方法，但会比软蒸馏继承更多Teacher特有的记忆样本。

姚顺宇老师在访谈中也提到了“硬蒸”与“聪明的蒸”在工程实践策略上的差异。从工程视角看，两者高下立判：

• 简单粗暴的硬蒸：直接让Claude、GPT大量生成Token，然后一股脑塞进自己的模型里强制训练。在他看来，这既“不道德”也“愚蠢”，说明公司没有理清方向，只是把强模型当作“数据打印机”。
• 聪明的蒸：把强模型视为辅助工具和评价者，有策略、有目的性地融入训练系统。例如，用它筛选高质量合成数据、充当奖励模型或验证器、组织多智能体协作生成数据、混合真实数据与合成数据，甚至进行迭代式自我改进。

简而言之：粗暴硬蒸 = 低水平重复，聪明的蒸 = 高水平工程。

那么，分歧到底在哪里？

antirez认为“不行”的，主要基于“白盒/软蒸馏”的理想情况。而他认为中国模型的真实进步，主要源于自身算力投入、数据工程和研究工作，而非通过API就能轻松“蒸馏”出前沿能力。如果把后者当成主要解释，既违反机器学习基本原理，也低估了真正构建强模型的难度。

很多人日常讨论中并不严格区分这两种蒸馏方式，这也是分歧的根源所在。用大白话来说：

• 软蒸馏：老师不仅写下答案，还说出思考路径和置信度：“我算出来17，概率85%，因为……”，学生学到深层推理和暗知识，更聪明。
• 硬蒸馏：老师只在黑板上写最终答案：“10+7=17”。学生反复抄答案，学会了格式，但完全不知道老师是如何计算的。

所以说回这次争论，我个人的看法是，antirez在“纯硬蒸做不出DeepSeek”这一点上，毫无疑问是正确的。这是行业的技术共识。