我来分享DeepSeek-R1的创新与局限。

前言

在《DeepSeek火爆出圈：使用方法及接入API全解析》中，有用户表示感觉自己刚学的提示词技巧没用，但在我看来，DeepSeek-R1并不适合所有场景。最佳使用方式应是在合适的场景中使用合适的模型，推理模型和通用模型各有优缺点。

DeepSeek官方发布了一篇论文《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，提出了DeepSeek-R1系列模型，通过大规模强化学习和多阶段训练来提升LLMs的推理能力，并指出模型的不足之处。

训练方式

DeepSeek-R1是如何训练的？分为以下三步：

DeepSeek-R1-Zero：该模型直接对基础模型进行强化学习训练，不依赖任何监督微调数据。采用Group Relative Policy Optimization（GRPO）算法进行优化。DeepSeek-R1：该模型在DeepSeek-R1-Zero的基础上，引入冷启动数据和多阶段训练管道。首先，收集数千条冷启动数据进行初始微调，然后进行以推理为导向的强化学习训练，最后通过拒绝采样和SFT生成新的SFT数据，再次进行RL训练。先用几千条高质量例题"预习"（冷启动数据），接着用强化学习重点练习推理，最后用自己生成的优质答案再次训练，这样既保持了解题能力，又让回答更通顺易懂。蒸馏：从DeepSeek-R1中蒸馏推理能力到更小的密集模型。使用Qwen2.5和Llama系列模型作为基础模型，通过简单的SFT蒸馏方法显著提升推理性能。

优点

纯强化学习的突破：DeepSeek-R1-Zero是第一个通过纯强化学习（RL）而不依赖监督微调（SFT）来提升语言模型推理能力的模型，标志着在这一领域迈出了重要一步。多阶段训练管道：DeepSeek-R1引入了一个包含两个RL阶段和两个SFT阶段的多阶段训练管道，旨在发现改进的推理模式并符合人类偏好。冷启动数据的利用：通过引入冷启动数据，DeepSeek-R1在接近RL收敛时，通过拒绝采样生成SFT数据，并结合DeepSeek-V3的监督数据进行再训练，显著提升了推理性能。知识蒸馏：展示了从DeepSeek-R1到更小密集模型的推理能力蒸馏，结果表明蒸馏后的模型在基准测试中表现优异，特别是14B模型在多个推理基准上超越了现有的开源模型。广泛的任务评估：在多个基准测试中进行了评估，包括MMLU、DROP、GPQA Diamond、SimpleQA等，展示了DeepSeek-R1在不同任务上的强大推理能力。

不足

能力不足：DeepSeek-R1在函数调用、多轮对话、复杂角色扮演和JSON输出等任务上的能力仍然不如DeepSeek-V3。语言混合问题：目前DeepSeek-R1主要优化了中文和英文，处理其他语言的查询时可能会出现语言混合问题。提示工程敏感性：DeepSeek-R1对提示非常敏感，少量提示会显著降低其性能，建议用户直接描述问题并使用零样本设置以获得最佳结果。软件工程任务的挑战：由于评估时间长，影响了RL过程的效率，DeepSeek-R1在软件工程任务上没有显示出显著的改进。

以上就是DeepSeek-R1的创新与局限的详细内容，更多请关注楠楠科技社其它相关文章！