主播
节目简介
来源：小宇宙
6月27日， DeepSeek联合北京大学发表了名为《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》（DSpark：基于置信度调度的推测解码与半自回归生成）的论文，，正式提出了名为 DSpark 的推测解码框架，在业内引起了广泛关注。
当前大语言模型推理的核心瓶颈不在于浮点算力，而在于显存带宽。推测解码是业界应对这一瓶颈的主流方案：由一个轻量级草稿模型先行生成候选序列，再由大模型进行一次性验证。然而，该范式长期面临两个结构性困境：其一，并行草稿生成中，越靠后的 token 接受率衰减严重；其二，固定长度的草稿验证在推理负载波动时会造成大量计算资源浪费。
DSpark 针对上述问题提出了两项核心创新。
第一，半自回归架构。该架构在并行骨干网络之上叠加了一个极轻量的马尔可夫头，仅依赖前一个 token 对当前 token 进行概率重标定。通过低秩分解将额外计算开销压缩至 0.2%—1.3%，却使草稿有效接受长度最高提升 30%，在不牺牲并行速度的前提下显著改善了后缀衰减问题。
第二，置信度调度验证机制。草稿模型在生成候选序列的同时输出每个 token 的存活概率估计，系统内置的硬件感知前缀调度器根据置信度与 GPU 吞吐曲线动态裁定验证范围，对低置信度 token 执行早停，避免无效计算。配合在线草稿器校准技术，将预期校准误差从 8% 压缩至约 1%。
在线部署实测中，DSpark 实现了单用户生成速度提升 60%—85%，高并发场景下系统有效吞吐量提升 4 倍，两层 DSpark 即可匹敌此前五层架构性能。目前 DeepSeek 已将包含 Eagle3、DFlash 与 DSpark 在内的 DeepSpec 全栈训练库开源，供学术界与工业界共同研究使用。该项目整体体现了算法设计、调度策略与硬件特性深度融合的工程实践水平。
论文地址：https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf
当前大语言模型推理的核心瓶颈不在于浮点算力，而在于显存带宽。推测解码是业界应对这一瓶颈的主流方案：由一个轻量级草稿模型先行生成候选序列，再由大模型进行一次性验证。然而，该范式长期面临两个结构性困境：其一，并行草稿生成中，越靠后的 token 接受率衰减严重；其二，固定长度的草稿验证在推理负载波动时会造成大量计算资源浪费。
DSpark 针对上述问题提出了两项核心创新。
第一，半自回归架构。该架构在并行骨干网络之上叠加了一个极轻量的马尔可夫头，仅依赖前一个 token 对当前 token 进行概率重标定。通过低秩分解将额外计算开销压缩至 0.2%—1.3%，却使草稿有效接受长度最高提升 30%，在不牺牲并行速度的前提下显著改善了后缀衰减问题。
第二，置信度调度验证机制。草稿模型在生成候选序列的同时输出每个 token 的存活概率估计，系统内置的硬件感知前缀调度器根据置信度与 GPU 吞吐曲线动态裁定验证范围，对低置信度 token 执行早停，避免无效计算。配合在线草稿器校准技术，将预期校准误差从 8% 压缩至约 1%。
在线部署实测中，DSpark 实现了单用户生成速度提升 60%—85%，高并发场景下系统有效吞吐量提升 4 倍，两层 DSpark 即可匹敌此前五层架构性能。目前 DeepSeek 已将包含 Eagle3、DFlash 与 DSpark 在内的 DeepSpec 全栈训练库开源，供学术界与工业界共同研究使用。该项目整体体现了算法设计、调度策略与硬件特性深度融合的工程实践水平。
论文地址：https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf
外观
