端云协同 - 5 - 苍横 -淘宝Meta端云协同渲染.pdf

1、端云协同渲染阿巴巴-淘天技术-苍横录 背景 技术案 整体架构 离线协同 实时协同 总结展望 端侧渲染背景追求真实感、复杂多场景、实时交互VS算有限、功耗限制、设备多样性部署本地云端渲染背景串流存在问题：成本、峰值容量限制、络延迟背景 业务上遇到的问题 次加载时间：场景资源包，M甚上百兆 端侧性能不：场景渲染、低端机、动态光照、物理仿真、多 研3D引擎（AceNNR）撑2w+商品模型，+场景的规模化产；引擎包体5M，持跨平台(Native&H5)和设备（包含VR）持天猫/淘个业务上线能否借助云侧算解决？技术案-分析 端侧瓶颈 1.次加载慢 2.算不 仿真计算量 多动画、同步 物理 渲染计算量、内

2、存占 格、材质、贴图数量太多 渲染计算复杂 云协同解决办法 1.先云渲染承接户，切换到端 2.转移计算到云 离线计算：资产优化，LOD数据成 实时计算：LOD、流式、遮挡计算 端云混：局部场景云承接 端云协同系统的架构需求 同时有云和端引擎，且端侧可切换 云引擎具备离线计算和实时计算能 挑战 离线、实时如何协同？端云体化的架构怎么设计？端云引擎如何切换？实际如何应？技术案-整体框架云渲染引擎离线协同实时协同数据流端云数据同步视频流渲染端渲染引擎请求资产优化系统AI训练系统LOD数据流式数据仿真数据点云数据物理区域计算LOD计算视关（1对N）视有关（1对1）渲染视频流MMOProbe GI遮挡计

3、算光照数据输流式加载端云切换系统离线协同-资产优化系统 资产优化系统 研发减、重格、材质聚合、贴图压缩等底层技术，效果基本致前提下，幅降低端侧渲染压 模型：数平均减少约50%，DrawCall减少65%，贴图张数减少60%场景：数平均减少60%，包体平均减少约70%离线协同-资产优化系统离线协同-物理仿真 服-传统蒙技术 缺乏动态效果，褶皱不然 需要不断调整蒙系数，和不同动作做适配 动作和服容易穿叉 服-物理仿真 真实 开销极、移动端法实时蒙物理仿真某款T恤的运效率对（PC端，I7-7700K+GTX1080）端云协同仿真-移动端实时渲染（中端机仿真5ms）.离线协同-物理仿真H5 UI（Bu

4、siness Logic）3D Logic（TS）进程事件通信3D Engine Interface（TS）3D Native Engine（C+）端侧渲染引擎架构云侧渲染引擎架构H5 UI（Business Logic）通信模块进程事件通信串流播放器3D Logic（TS）3D Engine Interface（TS）3D Native Engine（C+）视频流输事件同层渲染实时协同-端云引擎体化设计metal、vulkan、glesvulkan、gl引擎架构、代码复、平台致性、使者感实时协同-端云引擎体化设计实例周期管理：预启动、预加载、统调层：TS中间层，户（业务）层感知。负责端云引擎

5、切换，数据分发引擎及串流：RHI、YUV编码，多端效果致。集群管理：状态上报、实时监测，资源利率。实时协同-端云引擎切换 状态同步 同步相机、物等状态 帧同步 缓存同步阶段的输操作并快速回放中间层（AceApp）记录了同步阶段中所有的帧间数据，只要端侧能够于云侧帧率进运，则端侧定能够在某个时机追上云上的帧。实时协同-快速加载 基于端云协同的三维场景加载及渲染技术优点：快速承接户：云引擎可以3S左右启动进 成本相对可控：只在次加载使云，且使时间较短（30S以内）启动阶段：资源预加载、热启动、建实时通信。云推流阶段：云渲染、串流、远程调与回调。同步阶段：状态同步、追帧、算切换。稳定阶段：容器保活、

6、算分配、协同渲染。实时协同-快速加载实时协同-快速加载线上数据：次加载从平均12秒降到4秒加载成功率从30%多提升到70%左右实时协同-场景渲染 世界渲染 持多 场景缝加载 兼容更多低端设备 难点 端侧内存 使最少的资源 LOD系统 切换不同模型和场景的LOD对象减渲染压 遮挡剔除 剔除不需要渲染的数据减渲染压 MMO系统 减少区域内的物数据同步和渲染减数据同步、渲染压遮挡剔除流式加载数据计算实时协同-场景渲染总结 实现了整套端云协同渲染的框架 离线协同 资产优化系统幅降低端