Scaling Law是否正在失效？这是2024年以来AI产业最受争议的话题。财通证券研报指出，OpenAI GPT-5已进行18个多月、至少两次大型训练未达预期，一次六个月训练成本高达约5亿美元。Ilya Sutskever在NeurIPS 2024明确表示“我们所知道的预训练将会结束”，互联网数据如同化石燃料正在被使用殆尽。然而，o3模型在FrontierMath基准上将准确率从<2%提升至25.2%，DeepSeek-R1-Zero通过纯强化学习实现推理能力跃升。Scaling Law并未失效，而是正从预训练向后训练和推理阶段转移。
Scaling Law：实验科学的产物与面临的挑战
Scaling Law指的是大语言模型的最终性能主要与计算量、模型参数量和训练数据量的规模相关，而与模型结构基本无关。2020年OpenAI正式提出Scaling Law概念，验证了模型性能与三者呈幂律关系——更大的模型将比当前模型表现更好。ChatGPT的亮相使Scaling Law成为扩展模型规模的核心指导思想。
然而，Scaling Law正面临两大挑战：高质量数据枯竭和Transformer架构局限。Ilya Sutskever在NeurIPS 2024演讲中指出，“计算能力在不断提升，但数据量却没有增长——因为只有一个互联网，数据就如同人工智能的化石燃料，正在被人们使用殆尽。”公共互联网数据量不足已限制了GPT-5的智能提升。GPT-5项目已进行18个多月，至少两次大型训练未达预期，微软原预计2024年年中看到新模型发布的计划也已落空。
当前AI的局限不仅在于数据不足，更在于学习效率低下。真正的智能不仅仅是数据量的堆积，更在于对信息的压缩和提炼。Transformer架构虽通过自注意力机制提升了训练速度，但仍未能完全表达人脑的思考机制。人脑进化依赖于选择和投注机制，以较低容量实现更高效的信息处理，这为未来AI架构创新提供了方向。
OpenAI历年主要发布模型时间线| 年份 | 发布模型 | 特点 |
|---|
| 2018 | GPT-1 | 预训练模型 |
| 2019 | GPT-2 | 预训练模型 |
| 2020 | GPT-3 | 预训练模型 |
| 2023 | GPT-4 | 预训练模型 |
| 2024年5月 | GPT-4o | 多模态、多语言处理 |
| 2024年12月 | o1正式版 | 推理模型 |
| 2024年12月 | o3 | 比o1更强的推理模型 |
Scaling Law向后训练和推理阶段转移
OpenAI o1推理模型的推出带来了LLM推理能力的重大飞跃，让研究者开始关注大模型另外两个阶段的Scaling Law。英伟达CEO黄仁勋在CES 2025提出，大模型主要有三个阶段：预训练、后训练和推理。o1模型证明，预训练之外的阶段同样存在Scaling Law。
研究发现，随着强化学习（训练时间计算）和思考时间（测试时间计算）增加，o1性能持续提高。在最具挑战性的Epoch AI FrontierMath基准测试中，所有现有产品准确率均低于2%，而o3在激进测试时间设置下能达到25.2%的准确率。o3相较o1的巨大提升证明推理阶段Scaling Law仍有充足空间。
DeepSeek-R1-Zero在技术路线上实现了突破性创新，成为首个完全摒弃监督微调、完全依赖强化学习训练的大语言模型。以DeepSeek-V3-Base为基础，通过群组相对策略优化算法，随着RL训练推进，AIME 2024基准测试成绩稳定且持续提升。这证明了无监督或弱监督学习方法在提升模型推理能力方面的巨大潜力。
新范式探索与投资方向
面壁科技联合创始人刘知远提出的“大模型密度定律”强调通过提高智力密度，使小模型通过蒸馏也能够达到大模型的效果。DeepSeek团队利用R1生成的800K数据对Qwen和Llama系列小模型进行微调，发现经R1蒸馏的Qwen-32B在AIME 2024达72.6%，远超直接强化学习的版本（47.0%）和QwQ-32B-Preview（50.0%）。这表明对小模型而言，蒸馏优于直接强化学习。
斯坦福李飞飞团队以低于50美元训练成本开发s1-32B，基于Qwen2.5-32B-Instruct和仅1000个样本的蒸馏数据，运用测试时缩放技术实现高性能推理。上海交大LIMO提出“少即是多”，证明高质量小规模数据远比低效海量训练更能激发LLM的真正推理能力。
任何新范式最终都会达到瓶颈，方向应是在瓶颈到来前穷尽现有Scaling方向并寻找新环节。OpenAI CEO Sam Altman表示，AI使用成本每12个月约降低10倍，智能水平增长的社会经济价值呈超级指数型增长。建议关注AI基座环节：CPU/GPU与服务器（海光信息、寒武纪、浪潮信息等）、IDC厂商（万国数据、数据港、润泽科技等）、AI服务器液冷和电源环节（英维克、高澜股份、欧陆通、麦格米特等）。
