在智算中心，微秒级的延迟抖动或万分之一丢包都可能让昂贵的GPU算力空转——万卡集群中每节省1%的训练时间即可节约数百万美元成本。这本白皮书系统阐述了RDMA Telemetry技术如何解决RoCEv2网络“测不准、看不全、定位难”的痼疾：I/O质量可视功能将NVMe-oF over RoCEv2的读写操作分解为计算侧、网络路径、存储侧三段独立测量，DAL、DPL、RTT三大指标精准锁定瓶颈归属；吞吐量可视功能以FCT（端到端时延）、FET（有效吞吐率）、FNR（重传率）三个核心指标评估GPU间梯度同步效率。当分布式训练通信开销占总时长40%-60%时，这种微秒级、带内遥测的诊断能力正在成为AI基础设施的“标配”。
RDMA技术演进——从InfiniBand到RoCEv2的融合之路
RDMA技术最初由IBTA提出，InfiniBand具备<1μs延迟、40-100Gbps+吞吐和无损网络三大特征，但依赖专用设备难以大规模部署。RoCEv2（2014年）将协议提升至UDP/IP层，支持跨子网路由并引入ECN，延迟约5μs远低于TCP/IP，兼顾高性能与以太网兼容性，成为智算中心主流协议。智算中心三层架构（计算/网络/存储）中，RoCEv2承载两大关键流程：计算平面GPU间微秒级同步（梯度/参数交换）和存储平面NVMe-oF over RoCEv2数据供给与检查点保存，“NVMe SSD + RoCEv2网络”成为高性能存储网络事实标准。
传统监控困境与RDMA Telemetry两大功能
传统网络监控（SNMP/NetAnalysis）存在精度不足（采样间隔数百毫秒，无法捕捉微秒延迟尖刺）、检测粗糙（无法精确定位万分之一丢包）、实时性差（被动轮询存在盲区）三大短板。RDMA Telemetry专为RoCEv2设计两大功能：I/O质量可视——三段式测量存储网络读写时延（计算侧/网络路径/存储侧），DAL/RTT/DPL三指标定界；吞吐量可视——测量GPU间RDMA Write吞吐量与丢包，FCT/FET/FNR三指标评估通信健康度。
I/O质量可视与吞吐量可视的详细机制
I/O质量可视将存储路径分为三段，读操作记录T1-T5五时间戳计算IOL1/IOL2/DALread/RTT，写操作记录T1-T7七时间戳计算DALwrite/DPL/RTT。DAL升高→存储瓶颈、RTT突增→网络瓶颈、DPL升高→计算瓶颈。吞吐量可视通过PSN序列号跟踪每条RDMA流，FCT=末包-首包时间戳、FET=(总数据量-重传数据量)/FCT、FNR=NAK数/原始报文数，支持全量监控和轮询监控两种模式，数据通过gRPC上报至SeerAnalyzer-DC可视化呈现。
典型组网应用——AI训练场景的关键价值
千卡级GPU集群中，数据加载I/O延迟波动可致GPU利用率下降40%以上；万卡集群大语言模型训练中，梯度同步通信开销占总训练时间40%-60%。RDMA Telemetry在AI训练存储网络实现I/O性能精准界定（快速区分计算/网络/存储责任），在计算平面实现微秒级端到端时延监控，通过NAK统计和路径时延分析快速区分网络拥塞还是GPU瓶颈，将“同一算法两次实验性能差异高达30%却无法定位”的困境转化为可量化运维体系。
