88%的组织已经部署了至少一种用于推理交付和安全服务的战略，但只有28%拥有单一的AI管理入口——多模型AI基础设施的碎片化管理正在积累复杂性风险。F5报告揭示了AI基础设施管理的核心矛盾：组织已大规模部署推理，却仍在用零散工具管理分布式系统。
推理服务的运营规模：从实验到生产
AI推理已经不再处于实验阶段。大多数组织管理着不止一个推理服务——平均运行2个推理服务，五分之一的受访者管理着3个或更多。59%的受访者使用云服务提供商提供的公共实例，但几乎同样多的组织使用私有实例或自行管理开源实例。只有36%的组织主要依赖公共的AI即服务，仅有3%完全没有使用AI推理服务。
这种大规模的推理部署带来的运营挑战是显著的。88%的受访者报告面临重大挑战，计算资源成本位居首位，而具备足够技能的人才获取紧随其后。但障碍并未减缓采用——组织已经达到运营信心，效率低下并不会抑制AI的使用，因为推理带来的价值超过了这些麻烦。
运营数据与自动化：推理的成熟标志
可观测性已经从告警工具转变为运行时依赖。其使用率从2023年的较低水平跃升至2025年的80%以上，直至近乎普及。可观测性不再只是反映系统状态的一面镜子，而已经成为系统本身的一部分。
AI在IT运维中的应用同样深刻。64%的组织允许使用AI调整策略或配置，三分之二的组织已经在使用AI自动调整策略和配置并加速自动化工作。AI正迅速从决策支持工具转变为具备执行能力的参与者——在明确的控制边界之内。完全自主执行目前被限制在影响可衡量且可逆的运维任务中，如流量调整和优化；在应用安全、合规及业务风险等关键决策方面，人类仍保持监督。
多模型管理的核心策略：编排与路由
超过半数（52%）的组织使用多模型链式调用或编排，领先于提示词工程。使用知识蒸馏的组织几乎同样多，超过三分之一的组织使用提示词工程或提示词模板。RAG虽然常被视为默认模式，但其使用率明显落后——从业者首先投资于跨模型协调、压缩和路由的机制，而非简单丰富单一模型。
88%的组织已经部署了至少一种用于推理交付和安全服务的战略。超过一半正在管理AI服务的身份认证和API访问、监控AI流量、防止敏感数据泄露。超过三分之一已建立集中控制点。组织已将推理视为一个新的应用层级——接近90%自行托管推理基础设施，而非完全外包。
AI Agent基础设施：身份爆炸与信任边界
77%的组织预计AI Agent在身份和访问控制方面会出现问题。AI Agent激增将使需要管理的身份数量呈爆炸式增长。接近一半（47%）的组织预计将部署身份感知基础设施来应对——使用高级负载均衡器，根据机器或智能体的身份来路由和管理流量。
只有28%的组织表示已经通过单一的AI管理入口来简化开发者工作流，其余组织仍在碎片化的控制面上进行管理。整合进展明显滞后，这意味着复杂性风险正在持续积累。需要建立统一的控制平面，将AI当作任何关键生产系统一样管理。
