Google研究推动规模竞赛加速,规模界限分别是62B和175B。2022年1月,Google团队开创了思维链(CoT)领域研究《Chain-of-Tho ught Prompting Elicits Reasoning in Large Langu age Models》,通过 prompt 中引导大模型进行逻辑推理的方式实现性能优化,并且这种优化幅度大于此前规模提升带来的线性提升。而下一个自然的问题则是参数规模的界限,Google 团队在 2022 年 12 月3比较了不同参数规模下直接 prompt 以及 CoT 下的表现,得出以下结论:对于所有小于 62B 的模型,直接用提示词都好于思维链。结合 GPT-3 模型规模,至少需要大于 175B4,思维链的效果才能大于 Fine-tuned 小模型的效果。