AI大模型遵 规模扩展定 ,前沿 AI模型的参 量、 量和计算量呈现 级增长。2020年,OpenAI 示了大模型规模扩展定 (Scaling Laws):大 言模型(LLM)的最终 能取决于模型参 量、训练 量、训练计算量的堆叠扩展。于是,在参 量方面,以 OpenAI的 GPT系列为代表,从 GPT-3的 1750 亿参 发展到 GPT-4 的预估 1.7 万亿参 规模,再到 GPT-5 可能达到 3 至 50 万亿参 ,模型参 量呈 级增长。同时,训练 量也从千亿token(GPT-3为 4000亿) 升至 万亿 token,如 Llama 3.1的训练 消耗约为 3.67万亿 token,DeepSeek V3更是基于 14.8万亿高 量 token训练。