这篇报道详细介绍了 DeepSeek-R1 模型，该模型凭借其开创性的 纯强化学习（RL） 推理范式登上了《自然》杂志封面。文章披露了 DeepSeek-R1 的训练成本极低，仅 294,000 美元，并强调它是全球首个经过 同行评审 的主流大型语言模型。

关键成果包括：

• 范式创新：首次证明仅通过强化学习，无需传统的监督微调（SFT）引导解题步骤，即可训练出具备高级推理能力的AI模型。

• 超高性价比：R1的专项训练成本仅为29.4万美元，即使加上基础模型成本（约600万美元），也远低于行业巨头的训练开销，展示了极高的资本效率。

• 卓越性能：在AIME 2024数学竞赛等任务上，R1的准确率高达86.7%，远超人类参赛者的平均水平，并在训练中展现出“顿悟时刻”和自我进化的高级策略。

• 行业先例：DeepSeek-R1是全球首个经历严格同行评审的主流大语言模型，其开源和透明化的研发过程为行业树立了新标杆，获得了评审员的高度评价。

• 技术演进：模型从专注于推理的R1-Zero版本，通过精密的四阶段训练流程，演进为兼具顶尖推理能力与强大通用能力的DeepSeek-R1，在用户偏好基准上性能提升了17%-25%。

一、核心成就与业界影响

DeepSeek-R1的研究成果《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》于2025年1月发布后，成功登上《Nature》杂志封面，并获得了专题评论文章的高度赞扬。这一成就不仅是对其技术创新的肯定，也标志着其在AI领域的重大影响力。

• 开创性同行评审：R1被认为是首个经历严格同行评审的主流大语言模型。这一过程增强了模型的有效性和实用性验证。

• 惊人的训练成本：补充材料首次披露，R1的训练成本仅为294,000美元。这一数字远低于业界普遍认为的训练顶尖AI模型的成本。

• 开源社区反响：模型在Hugging Face上开源后，迅速成为最受欢迎的模型之一，下载量突破1090万次。

• 行业质疑与验证：面对OpenAI关于其可能使用ChatGPT数据进行训练的质疑，DeepSeek团队澄清其模型学习并非通过复制推理示例，而是基于对网络公开数据的学习。Lewis Tunstall和其他实验室的复现尝试也证实，DeepSeek的强化学习方法本身已足够强大，足以获得极高性能。Tunstall评价道，R1“开启了一场革命”。

二、DeepSeek-R1-Zero：纯强化学习的探索

研究的起点是DeepSeek-R1-Zero，一个大胆而纯粹的实验，旨在验证一个核心假设：摆脱人类定义的推理模式，AI能否自主进化出更强的推理能力。

训练理念与框架

团队选择了一个强大的基础模型DeepSeek-V3 Base，并完全跳过了传统的监督微调（SFT）阶段。取而代之的是一个极其简洁的强化学习框架，只向模型传递两个信号：

1. 任务格式：回答必须包含由标签包裹的“思考过程”和由标签包裹的“最终答案”。

2. 奖励信号：完全基于最终答案的正确性给予奖励，不干预思考过程。

能力的涌现与“顿悟时刻”

在无具体解题步骤指导的训练中，R1-Zero展现了惊人的自我进化能力。

• 性能飞跃：以AIME 2024数学竞赛为例，模型的平均解题准确率（pass@1）从最初的15.6%飙升至77.9%。结合“自洽解码”技术后，准确率更是高达86.7%，远超人类选手的平均水平。

• “思考时间”自主增加：随着训练进行，模型在标签内生成的文本长度稳步增加，表明它自发地学会了用更长的“思维链”来探索和优化解题策略。

• 高级策略涌现：模型不再是线性解题，而是展现出“自我反思”和“系统性探索替代解法”等高级行为，会主动验证中间步骤或尝试其他解法。

• “顿悟时刻” (Aha Moment)：研究人员观察到，在训练的某个阶段，模型在反思过程中使用“wait”（等等）一词的频率突然急剧增加。这标志着模型推理模式的质变，是其自我进化过程的清晰体现。

三、DeepSeek-R1的演进：从专才到通才

尽管R1-Zero推理能力强大，但它也存在可读性差、语言混杂、通用能力弱等问题。为了解决这些问题并使其能力得到更广泛应用，团队设计了一套精密的多阶段训练流程，将R1-Zero“精炼”为DeepSeek-R1。

经过这一系列流程，最终的DeepSeek-R1不仅在数学、编程等高难度推理任务上保持顶尖水准，其通用指令遵循和用户偏好能力也大幅提升，在AlpacaEval 2.0和Arena-Hard等基准上性能提升了17%-25%。

四、挑战与未来展望

DeepSeek-R1的成功带来了深刻启示，同时也面临着新的挑战。

• 当前局限性：

◦ 结构化输出与工具使用：模型在这些方面的能力尚有欠缺。

◦ 提示词敏感性：对复杂的少样本提示不适应，在零样本直接提问时效果最佳。

◦ 特定领域提升有限：由于强化学习在耗时长的软件工程任务上效率不高，模型在该领域的提升有限。

• 奖励投机（Reward Hacking）：

◦ 纯强化学习的成功依赖于可靠的奖励信号。对于有明确对错的领域（如数学）这很容易实现，但对于主观任务（如写诗），设计完美的奖励模型极其困难。

◦ 如果奖励信号存在漏洞，模型可能会“投机取巧”以骗取高分，而非真正提升能力，这是未来需要持续关注和解决的核心问题。

如果希望和主播建立联系/加入听友群，可加微信bonewe2004！

关于主播：

加入听友群，请扫二维码