大量吞噬数据、算力,Scaling Law 是否走到尽头一直存在争议。前文已指出,传统的 Scaling Law 由三个核心要素构成:增加数据量、扩展模型规模以及提升计算能力。该规律意味着,要提升模型性能,就需要使用更多的数据来训练一个更大的模型,而这通常伴随着对更高算力的需求。然而,随着模型规模的不断扩大,Scaling Law 的适用性和有效性引发了广泛的讨论。自 2024 年下半年以来,有关传统 Scaling Law 放缓的传言甚嚣尘上。一些研究者指出,随着模型规模的增大,其性能提升的边际效益可能会递减。在 NeurIPS 2024 会议上,OpenAI 联合创始人 Ilya Sutskever 在“时间考验奖”演讲中也表示“我们所知道的预训练将会结束”,进一步加深了业界对 Scaling Law 当前困境的思考。