DeepSeek 近日开源了 DSpark——一种基于置信度调度（Confidence-Scheduled）的投机解码（Speculative Decoding）推理优化框架。该框架能在保持生成质量的前提下，将单用户生成速度提升 60-85%，目前已部署于 DeepSeek-V4 的生产推理系统。
背景：投机解码的原理与瓶颈
大语言模型采用自回归方式逐 token 生成，每个新 token 都需要一次完整的前向传播，导致推理延迟与输出长度成正比。投机解码（Speculative Decoding）的核心思想是：用一个轻量级的草稿模型快速生成候选 token 序列，再由目标模型并行验证整个块。如果验证通过，全部接受；如果失败，则回退到第一个失败位置。
关键性能公式：每个 token 的平均延迟 L = (T_draft + T_verify) / τ，其中 τ 是每次循环被接受的 token 数量。提升推理速度的路径有三个：
- 减少草稿时间 (T_draft)——更快的草案器
- 提高接受率 (τ)——更精准的候选序列
- 减少无效验证时间 (T_verify)——避免浪费计算在后缀 token 上
DSpark 在这三条路径上同时取得了突破。
创新一：半自回归架构（Semi-Autoregressive Generation）
现有的草稿模型分为两类，各有局限性：
自回归草案器（如 Eagle3）：token 逐一生成，依赖关系建模好，接受率（τ）高。但草稿时间与块大小成正比（T_draft ∝ γ），因此只能使用小尺寸的候选块，限制了吞吐量。
并行草案器（如 DFlash）：一次前向传播生成所有候选 token，草稿时间几乎与块大小无关，生成速度快。但 token 之间缺乏依赖关系，后缀位置的接受率随长度增加而快速衰减。
DSpark 的解决方案：保持并行骨干网络的高效计算，仅附加一个轻量级的序列化输出头（sequential block）来注入局部过渡信息。这一设计同时获得了两个世界的优势——既保留了并行模型的高生成速度，又通过序列化头显著缓解了后缀衰减问题。
创新二：置信度调度验证（Confidence-Scheduled Verification）
传统投机解码方案对所有候选 token 进行无差别验证。这意味着大量批量计算资源被浪费在那些几乎肯定会被拒绝的后缀 token 上——尤其是在高负载场景下，这种浪费尤为致命。
DSpark 设计了一套智能验证机制：
- 置信度头（confidence head）：估算每个位置候选 token 的存活概率
- 硬件感知调度器（hardware-aware scheduler）：根据实时引擎吞吐量画像，将稀缺的验证预算只分配给预期回报最高的 token
- 自适应行为：低负载时近乎免费地验证长块；高负载时主动截断低置信度的后缀 token，避免资源浪费
这一机制使得 DSpark 在服务系统负载波动时依然能够维持稳健的吞吐量。
实验效果
离线基准测试（Qwen3-4B/8B/14B）：
- 相比 SOTA 自回归草案器 Eagle3：接受长度提升 26.7-30.9%
- 相比 SOTA 并行草案器 DFlash：接受长度提升 16.3-18.4%
在线生产部署（DeepSeek-V4 服务系统，真实用户流量）：
- V4-Flash：每用户生成速度提升 60-85%
- V4-Pro：每用户生成速度提升 57-78%
- 在严格的交互延迟约束下（Flash 120 TPS，Pro 50 TPS），基线容量出现严重退化，而 DSpark 维持了稳健的吞吐量
- 实现了此前不可达的性能层级，推动了服务系统的 Pareto 前沿
这些结果的意义在于：DSpark 不仅在离线基准上超越了所有现有方案，更重要的是在实际生产环境中经受住了考验。
开源信息
DeepSeek 已全面开源 DSpark 的相关资源：
- DSpark 检查点：适用于 DeepSeek-V4-Flash 和 V4-Pro 预览版本
- DeepSpec 仓库：一个算法驱动的投机解码训练框架，集成了 Eagle3、DFlash 和 DSpark 三种方案，便于研究社区复现和进一步探索
