CCF 60周年杰出贡献奖：致敬共同成长的卓越伙伴
大模型文本生成速度是影响其实际部署的核心瓶颈。传统的自回归解码方式要求模型逐个预测并输出token，确保了准确性，却严重制约了吞吐效率。是否存在一种方法，能够使模型批量预测后续token序列，从而实现生成速度的显著飞跃？
这正是“投机解码”技术所解决的问题。该策略不再依赖大模型独立、串行地生成每个词元，而是引入一个轻量、高速的“草稿模型”，由其快速推测出一段候选token序列。随后，大模型扮演验证者的角色，一次性并行审核整个候选序列，仅保留正确的部分。这一原理看似直观，但其工程实现与优化却蕴含着深刻的设计考量。
投机解码：大模型推理的加速引擎
我们可以将大模型（目标模型）视为一位严谨但迟缓的资深专家，而小模型（草稿模型）则是一位反应迅速的助理。传统解码是专家亲力亲为，逐字撰写。投机解码则改为：助理基于当前文本语境，快速起草接下来可能出现的多个词句；专家随后对整段草稿进行集中审阅，核准正确的部分，并在首个错误处停止。接着，基于已核准的新文本，助理开启下一轮的起草，如此循环。
该流程能实现倍数级加速的关键在于：大模型并行验证多个token的计算开销，仅略高于其生成单个token的成本。只要助理的“预测命中率”保持高位，整体推理效率便能获得巨大增益。
自回归解码：无法回避的串行瓶颈
要领会投机解码的高效性，需先理解其旨在替代的传统方法为何缓慢。在标准自回归解码中，模型生成每个新token的步骤是严格串行的：
1. 将已生成的全部序列输入模型。
2. 模型执行完整的层间前向计算，输出下一个token的概率分布。
3. 依据预设策略（如贪心搜索或采样）选择下一个token。
4. 将新选出的token追加至序列末尾，并返回步骤1。
此过程本质上是单线程的，无法并行化。随着生成序列的增长，计算每个新token所需处理的前文信息也越多，速度随之线性下降。这是制约大模型推理性能的根本性架构限制。
投机解码：草稿探路与并行验证的协同
投机解码通过引入一个参数量显著更少、推理速度更快的草稿模型，打破了上述串行枷锁。其具体工作流程如下：
1. 草稿模型快速推测：基于当前上下文，草稿模型以自回归方式连续生成γ个候选token（γ称为推测长度）。得益于其小体量，此过程耗时极短。
2. 目标模型并行验证：将原始上下文与这γ个候选token拼接为一个长序列，一次性输入目标模型。目标模型并行计算该序列每个位置对应的下一个token的概率分布。需注意，模型计算的是每个位置“原本应该出现”的token，而非候选token之后的延续。
3. 接受正确前缀：将目标模型计算出的概率分布，与草稿模型生成的候选token逐一比对。从第一个候选token开始，若目标模型判定该候选token具有高概率（通常通过采样或贪心比较），则予以接受。此检查持续至出现首个不匹配的token为止。假设前n个token被接受（n ≤ γ）。
4. 迭代推进：将这n个被接受的token作为正式输出，并更新至上下文。随后，从第n+1个位置起，重复上述推测-验证流程。若草稿模型的所有猜测均被接受（n=γ），则本轮高效输出了γ个token，理论加速比接近γ倍。
此机制的核心优势在于，目标模型昂贵的前向计算成本被“分摊”到了多个候选token上。只要草稿模型预测足够精准，分摊后的单token成本便大幅降低，从而带来显著的端到端加速。
实现高效投机解码的三大核心挑战
理念虽巧妙，但要确保该机制高效稳定运行，必须攻克三个关键难题：草稿模型的选取与构建、如何维持高猜测准确率，以及验证环节的效率最大化实现。
挑战一：草稿模型的构建策略
草稿模型需在语言分布上与目标模型高度对齐，方能保证预测质量。通常有以下四种构建途径：
1. 基于目标模型的知识蒸馏：这是目前最主流且有效的方法。利用目标模型的输出作为监督信号，训练一个结构更精简、速度更快的学生模型。由此获得的小模型在语言风格和逻辑上与大模型最为接近，预测命中率最高。
2. 复用目标模型的浅层网络：部分研究尝试直接截取目标模型的前若干层作为草稿模型。由于大模型的前几层已能捕捉基础语义特征，且计算量远小于全模型，因此能获得一定加速。但其性能通常逊于专门蒸馏的独立模型。
3. 采用通用小型模型：直接选用一个现成的、架构相似的小规模开源模型。此方法部署简便，但性能高度依赖于两模型间的领域适配度，存在不确定性。
4. 无模型启发式方法：更为激进的做法是摒弃神经网络模型，直接基于n-gram统计或简单规则生成候选token。这种方法速度极快，但准确率通常较低，适用于对延迟极度敏感、可容忍一定错误率的特定场景。
挑战二：预测准确率与接受率优化
投机解码的效率增益直接由“接受率”决定，即草稿模型生成的token被目标模型采纳的比例。接受率越高，单次验证产生的有效输出越多，加速效果越显著。
接受率受多重因素影响：
- 任务类型：在需要精确事实回答或严谨代码生成的场景中，预测难度大，接受率可能偏低。而在创意文本生成或开放域对话中，接受率往往更高。
- 上下文长度：随着生成文本的延伸，后续token的预测不确定性可能增加，导致接受率呈下降趋势。
- 推测长度（γ）：γ值设置越大，意味着草稿模型需要预测更远的未来，后续token的准确率自然衰减。因此，存在一个最优的γ值，需在“批量预测”的收益与“预测错误”的损耗之间取得平衡。
为提升接受率，除选用高质量的草稿模型外，还可在解码策略上优化，例如让草稿模型执行束搜索，生成多条候选路径供目标模型验证，但这会增加草稿阶段的计算开销。
挑战三：验证与采样策略的精细化设计
目标模型在验证时，如何裁定是否“接受”一个候选token？最直接的方法是“贪心匹配”：若目标模型在该位置概率最高的token恰好与候选token一致，则接受。但这会将目标模型的解码方式限制为贪心搜索。
为使投机解码支持更丰富的采样策略（如温度采样、top-k采样），研究者提出了“采样匹配”方法。简言之，目标模型在验证时，会依据其输出的概率分布进行随机采样，若采样结果与候选token一致，则予以接受。从而在保持生成多样性的同时，获得加速收益。
另一进阶策略是“多候选验证”。即让草稿模型生成多条候选序列（例如通过束搜索），目标模型并行验证所有候选，并选择其中可接受前缀最长的一条作为输出。这相当于为草稿模型提供了多次尝试机会，能有效提升单轮接受的token数量，但代价是验证计算量随候选数量线性增长。
技术成效与演进方向
投机解码已在实践中验证了其价值。在Llama、GPT等主流大模型上的实验表明，在合理配置下，该技术可实现2倍至4倍甚至更高的推理加速，且几乎无损生成质量。
当然，该技术亦非没有代价。首先，需要额外维护草稿模型，增加了系统复杂度。其次，验证阶段需处理更长的输入序列，对GPU显存容量提出了更高要求。最后，对于极短文本生成任务，投机解码的流程启动开销可能使其收益为负。
展望其未来发展，研究重点可能集中于：
1. 草稿模型的智能化设计：如何设计或训练出与特定目标模型协同更优、预测更精准的专用草稿模型。
2. 动态推测长度调整：使模型能够根据当前上下文复杂度与任务特性，动态调整每次推测的token数量（γ），而非采用固定值。
3. 硬件与系统级协同优化：设计专用硬件单元或计算库，对“推测-验证”这一特定工作流进行底层加速。
4. 应用场景拓展：将投机解码思想迁移至多模态内容生成、代码自动补全等更广泛的序列生成领域。
投机解码为大模型推理优化开辟了一条全新的路径。它不再局限于模型架构或算子的微观调优，而是从解码算法的宏观层面进行革新。随着该技术的持续演进与工程化落地，我们距离与大型语言模型实现实时、流畅交互的时代，正日益趋近。