高性能生成式 AI 小模型激增，从云到端 AI 部署门槛降低。随生成式 AI 的发展和计算量需求的增长，AI 的规模化处理演变为云端和终端相结合的模式。混合 AI 架构中，可根据模型和查询需求的复杂度等在云端和边缘终端之间分配协调，如模型大小、提示（prompt）和生成长度小于某个限定值，并能够提供可接受的精确度，推理即可在终端侧进行；如任务更复杂，则模型可跨云端和终端运行。目前，多个主流模型如 DeepSeek R1、Meta Llama、IBM Granite 和 Mistral Ministral 都推出了小模型版本，且面向特定任务的性能和基准测试都表现出色。大型基础模型缩减为更小、更高效的版本，实现了更快的推理速度、更少的内存占用和更低的功耗，并能保持较高的性能水平，从而使小模型适合在智能手机、PC 和汽车等终端上部署。云端大模型参数量级可达上百亿至数千亿，端侧大模型参数量较小，主流端侧大模型参数量约为 10-20 亿不等。随着高性能模型的参数量缩小，以及端侧处理能力的提升，端侧 AI 应用的规模有望进一步增长。相较云端推理服务，端侧模型的即时性、隐私性高，且结合本地数据做更多定制化功能，同时为用户/开发者降低成本，激励了软件和服务提供商的商用应用部署，开源模型也使更多厂商参与生态建设，推动边缘 AI 创新。预计 2028 年中国端侧市场规模为 19071 亿元，2023-2028 年复合增速为 58%。