石新飞_RTP-LLM：阿里大模型推理引擎.pdf

1、RTP-LLM大模型推理及分布式架构石新飞阿里巴巴高级技术专家目 录CONTENTS01:大模型推理介绍02:推理优化03:MOE专家模型04:MTP投机采样05:分布式架构06:未来展望大模型推理介绍大模型推理介绍推理阶段Continuous BatchingContinuous Batching 的问题凑批越大，Decode 被 Prefill 打断的次数越多，TPOT（Time Per Output Token）不稳定Continuous Batching-PD分离 稳定的 TPOT Prefill 和 Decode 根据计算特性异构部署，更好的利用 GPU 资源PD分离使用 RDMA

2、进行机器间的 KV Cache 传输分层传输，用计算掩盖大部分传输消耗，减少请求总时间PD分离l 多 TP（Tensor Parallelism）l 不对称 TPl 多种 Attention 类型分布式 CacheStoreMOE通过Router进行专家选择的方式，在增加模型规模的同时，降低单个Token的成本MOE：Qwen Coder 模型部署形式H0H1H2H3H0H1H2H3E0E1E2E3E4E5E6E7H0H1H2H3H0H1H2H3Input 0Attn0Attn1Attn2Attn3All reduceMoE RouteInput 1Attn0Attn1Attn2Attn3Al

3、l reduceMoE Route4TP4TP8EPDP Rank 0DP Rank 12DPAttentionFFN(MoE)a2aa2aMOE MicroBatch OverlapPrefillDecodeMOE 专家均衡MTP 投机采样Normal投机采样(MTP)Main ModelDraft ModelStep 1()Step 2()Step 3()Forward kinputoutput79inputoutputrejectionsample81011891011910111291011910111291011accept 9,10Forward k+1inputoutput712

4、inputoutputrejectionsample81314111213141213141512131412131415accept 12,13,1491011Main Modelinputoutput89Forward kinputoutput910Forward k+1inputoutput1011Forward k+212131415单步时延上升，但每步可以生成更多token，总的时延下降MTP 投机采样实现MTP 投机采样步数对于性能影响加载加速加载时间 30 min-50 s分布式架构分布式架构效果压测条件指标无 Master有 MasterQPS=225输入7600 左右输出650 左右TTFT Avg1.08s479ms（下降 50%）TTFT P994.29s742msprefill 排队时间 avg1.99s120msprefill 排队时间 p993.95s197msPy Model现状：基于C+开发和调试困难，无法形成生态期望：使用Python为每个模型建立描述（类比Hugging face）使用CUDA Graph 优化CPU开销好处：更方便的开发和调试，快速适配新模型和功能，和开源社区共建生态Attention 和 FFN 分离长序列下，Attention的KV Cache占用量线性增长的问题逐渐凸显THANKS