电子行业OpenAI o1:逻辑能力显著提升推理侧算力消耗大幅增加-240919(23页).pdf
1、分析师:于芳博分析师:于芳博SAC编号:编号:S1440522030001发布日期:发布日期:20242024年年9 9月月1919日日本报告由中信建投证券股份有限公司在中华人民共和国(仅为本报告目的,不包括香港、澳门、台湾)提供。在遵守适用的法律法规情况下,本报告亦可能由中信建投(国际)证券有限公司在否港提供。同时请务必阅读正文之后的免责条款和声明。阅读正文之后的免责条款和声明。OpenAI o1:逻辑能力显著提升,推辑能力显著提升,推理侧算力消耗大幅增加理侧算力消耗大幅增加中信建投证券中信建投证券CHINA SECURITIES证券研究报告证券研究报告 行业动态研究行业动态研究核心观点:核
2、心观点:OpenAIOpenAI 发布新发布新的具有深度思考能力的的具有深度思考能力的0101推理模型,模型在复杂问题上花更多时间进行思考而非直接回应,具有改善和调整策推理模型,模型在复杂问题上花更多时间进行思考而非直接回应,具有改善和调整策 略的能略的能力,在科学、代码和数学等复杂问题上表现出色。力,在科学、代码和数学等复杂问题上表现出色。OpenAIOpenAI o1o1融合思维树和强化学习,实现思维模式的深度探融合思维树和强化学习,实现思维模式的深度探索。索。OpenOpen o1o1在在模型 推理侧同样满足推理侧同样满足scaling law,即模型推理时间越久模型处理复杂问题能力愈强
3、,通过不断的思维树检索和反复自我博弈,即模型推理时间越久模型处理复杂问题能力愈强,通过不断的思维树检索和反复自我博弈,o1 呈现出类人的呈现出类人的 逻辑思维潜力。由于推理过程的反复博弈,新架构下推理侧算力消耗将大幅增加逻辑思维潜力。由于推理过程的反复博弈,新架构下推理侧算力消耗将大幅增加。OpenAIOpenAI o1o1具备深度思考能力,在复杂问题上表现出色。具备深度思考能力,在复杂问题上表现出色。从ChatGPT爆火整个社交网络后,大模型行业进入如火如荼的发展阶段,模型的 基础能力得到显著提升,然而Transformer模型由于其架构限制存在一定的能力边界难以逾越,涉及到复杂数理逻辑推理
4、时表现仍然有待 提升。提示词工程应运而生,在合理的提示词设计下,大模型推理能力得到显著提升。OpenAI发布新的具有深度思考能力的o1推理模型,模型在复杂问题上花更多时间进行思考而非直接回应,具有改善和调整策略的能力,在科学、代码和数学等复杂问题上表现出色。OpenAIOpenAI o1o1 融合思维树和强化学习,实现思维模式的深度探索。融合思维树和强化学习,实现思维模式的深度探索。思维链和思维树通过中间推理步骤帮助大模型实现了复杂的推理能力,大 语言模型能够自己对严谨推理过程的中间思维进行评估。强化学习是人工智能重要的研究领域,智能体在与环境的反复交互过程中持续 学习,不断最大化其奖励。0p
5、enAl o1深度融合思维树和强化学习,实现思维树的自我训练,同时通过广度搜索和深度搜索不断优化其思 维树结构,进而实现思维模式的深度探索。推理侧推理侧scalingscaling lawlaw同样存在,大模型算力需求逐步迁移至推理侧同样存在,大模型算力需求逐步迁移至推理侧。过去在训练侧证实了scaling law的存在,即训练越多模型愈发聪明。Open ol在模型推理侧同时发现了scaling law,即模型推理时间越久模型处理复杂问题能力愈强,推理侧的scaling law同样展现了巨大的潜 力,通过不断的思维树检索和反复自我博弈,o1呈现出类人的逻辑思维潜力。由于在推理过程的反复博弈,模
6、型当前推理算力需求大幅 提升,大模型整体算力消耗从训练侧逐渐迁移至推理侧,对整个算力需求起到长期的重要支撑。风险提示:大模型技术发展不及预期、商业化落地不及预期、政策监管力度不及预期、数据数量与数据质量不及预期风险提示:大模型技术发展不及预期、商业化落地不及预期、政策监管力度不及预期、数据数量与数据质量不及预期。模型中引入注意力机制,在自然语言的理解和生成也取得了巨大的成功,当前已经成为自能力再度提升,基础能力和具备了多模态输入的能图图:大大 语语 言言 模模 型型 发发 展展 历历 程程 图图2020Stable diffusion图像生成图像生成Diffusion model小模型阶段小模





点击查看更多