4-尹海文-RDMA在数据库上的应用(6).pdf

1、RDMA在数据库上的应用尹海文Oracle ACE ProPG ACE PartnerPolarDB开源社区技术顾问/HaloDB外聘技术顾问什么是RDMA01.高吞吐低延迟RDMA的应用02.Oracle Exadata上的RDMAPolarDB企业版的RDMARDMA应用难点与基础测试03.数据块利用RDMASoft-RoCE测试CONTENTS什么是RDMA高吞吐低延迟TCP/IP4内存数据应用/数据库套接字TCP/IP驱动网卡OS内核COPYCOPYCOPY内存数据应用/数据库套接字TCP/IP驱动网卡OS内核COPYCOPYCOPYCPURDMA5RDMA，Remote Direct

2、 Memory Access，可译作远程直接内存访问，是一种不经由操作系统从一台计算机到另一台计算机直接访问内存的技术。由于无需经过操作系统内核对网络包进行封装，可以节省大量CPU资源占用，同时也提供了高吞吐、低延迟网络，尤其适用于大规模并行计算机集群。RDMA支持网络适配器直接通过网线将数据传输至应用内存或从应用内存直接传输至网线的零拷贝（Zero-copy）网络传输。这种传不再需要应用程序内存和操作系统数据缓存的数据复制拷贝操作。这种传输不需要CPU、缓存或上下文交换参与，并且传输可以与其他系统操作并行执行。使用RMDA可以有效减少消息传输的延迟。RDMA6内存数据应用/数据库网卡OS内核

3、ZERO-COPY内存数据应用/数据库网卡OS内核CPUZERO-COPYRDMA的应用Oracle Exadata上的RDMAPolarDB企业版的RDMAExadata物理架构简图8Exadata发展9Excellent IO10Database ServerDatabase InstanceASMStorage ServerPMEM/XRMEMFlash CacheHDDNICNICIB/RoCE SwitchIB/RoCE SwitchRDMAOutstanding Latency11Database ServerDatabase InstanceNICIB/RoCE SwitchIB

4、/RoCE SwitchRDMADatabase ServerDatabase InstanceNICSGADB CacheSGADB CachePolarDB企业版架构简图12RDMA应用难点与基础测试数据块利用RDMASoft-RoCE测试RDMA应用难点14MemoryNICDBInstanceDBBlockIB/RoCE SwitchIB/RoCE SwitchRDMATransferReplicationFusionSoft-RoCE15RoCE，RDMA over Converged Ethernet，以太网融合RDMA。Soft-RoCE，简称RXE，就是通过软件实现RoCE，模

5、拟RDMA环境。本次测试基于VMware Workstation Pro 17.5.0。对比使用基于TCP/IP的iSCSI测试对比针对数据库8K块的IOPS与IOMBPS。角色操作系统vCPU内存存储磁盘客户机Oracle Linux 8.922GB-存储机Oracle Linux 8.928GB10GB对比测试16文件项目JOBiSCSI TCP/IPSoft-RoCE趋势IOPSMB/sIOPSMB/sIOPSMB/s512MB顺序写422400184845069.2-62.28%-62.39%顺序读518642.569545634.09%31.76%随机写640352.5862170.

6、634.64%34.48%随机读530143.467085426.54%24.42%对比测试17文件项目JOBiSCSI TCP/IPSoft-RoCE趋势IOPSMB/sIOPSMB/sIOPSMB/s2GB顺序写113400110845769.3-36.89%-37.00%221000180860670.5-59.02%-60.83%432000263859270.4-73.15%-73.23%637800309859270.4-77.27%-77.22%83780031