1月 20日，DeepSeek正式发布一系列DeepSeek-R1模型，包括DeepSeek-R1-Zero、DeepSeek-R1 和 DeepSeek-R1-Distill 系列。DeepSeek-R1 模型推理能力优异，基准测试表现与 OpenAI-o1-1217 相当。DeepSeek-R1-Zero 在技术路线上实现了突破性创新，成为首个完全摒弃监督微调环节、完全依赖强化学习训练的大语言模型，证明了无监督或弱监督学习方法在提升模型推理能力方面的巨大潜力。传统上，SFT 作为大模型训练的核心环节，需要先通过人工标注数据进行监督训练，再结合强化学习进行优化，这一范式曾被认为是 ChatGPT 成功的关键技术路径。而DeepSeek-R1-Zero 创新性地采用纯强化学习训练框架，以 DeepSeek-V3-Base 为基础，通过群组相对策略优化（Group Relative Policy Optimization，简称 GRPO）算法实现训练效率与模型性能的双重提升。该算法通过构建智能体群体间的相对优势评估机制，在策略优化过程中最大化群体得分，同时设计了包含准确性奖励和格式规范奖励的多维度奖励模型，确保生成内容在保持正确性的基础上具备清晰的推理逻辑。在此基础上，DeepSeek-R1 对 R1-Zero 进行了改进，通过引入冷启动数据，并历经推理导向强化学习、拒绝采样、监督微调以及全场景强化学习的多阶段训练，充分发挥了强化学习的自学习和自进化能力。