文章总结： 本文深入解析RoCEv2的报文封装机制与InfiniBand基因在以太网中的实现逻辑，通过Soft-RoCE在EVE-NG环境中搭建实验，实测对比Send、Read、Write三种RDMA模式性能，揭示单边写入达到1974Mbps高吞吐的原因。文章还涉及BTH头部结构、UDP4791端口等关键技术细节，结合前序系列文章覆盖了智算中心Underlay、Overlay、QoS、PFC、ECN等全栈网络优化实践，为理解RDMA核心技术提供了从理论到实战的完整参考。 综合评分： 79 文章分类： 实战经验,网络安全,技术标准

单边写入为何秒杀双边传输？从UDP 4791到BTH头，看懂RDMA的灵魂构造！

原创

衡水铁头哥 衡水铁头哥

铁军哥

2026年3月27日 07:45 北京

前言

从报文结构到性能基准，一文看透RoCEv2。详细解析InfiniBand基因在以太网中的封装逻辑，提供Soft-RoCE压测脚本与结果分析，助你掌握RDMA核心技术。实测对比Send/Read/Write三种模式，揭秘单边写入为何能实现1974 Mbps高吞吐。

两岸猿声啼不住，轻舟已过万重山！

回顾前面的摸爬滚打，我们先搭建好了Underlay网络（告别OSPF！EVE-NG专业版+BGP Unnumbered打通Underlay的完整实战），实现了网络的毫秒级收敛（从180秒到0.01秒：智算中心Underlay路由优化的速度与激情），再打通了Overlay网络（告别VLAN限制！EVPN + VXLAN实现跨Leaf二层互通，打造千万级隔离网络）。通过对比集中式网关（跨VLAN通信过五关斩六将都不够，我的数据包创造了8跳的新纪录），显示出分布式网关的游刃有余（从8跳到3跳：EVPN 分布式网关让时延降低67%的完整实战）。最后，我们也给智算中心打开了通向互联网大门（Type-2是管家，Type-5是外交官！Border Leaf让智算中心网络走出去）。

针对潜在的Leaf设备单点故障问题，我们用ESI技术进行了优化（从M-LAG到ESI：打造不用心跳线的神交式双活智算中心架构），并针对性的做了二次调优（丢包之谜：为什么你的ESI实验总是不通？EVE-NG虚拟化环境避坑指南），最终实现Leaf设备单上行故障不丢包、单Leaf设备整机故障丢1个包的良好效果。

为了解决智算中心Incast拥塞的性能瓶颈，我们测试了QoS映射+队列绑定（别让普通包超了AI的车！QoS调度让RoCEv2流量一路绿灯），也测试了QoS映射+PFC技术（给AI流量装上紧急刹车：PFC优先级流控如何叫停上游流量），还有提前预警的ECN（上医治未病！从PFC流控到ECN预警配置实战），都实现了跨Leaf、跨隧道、跨VLAN的复杂环境下全链路贯通。当然，受模拟环境限制（ECN配置折戟记：vEOS模拟器局限性深度剖析），只能展示其配置逻辑，并不能完美展示硬件设备的优化效果。

底层网络修好之后，我们又通过Soft-RoCE模拟RDMA流量测试了一把（路修好了，该跑车了！RoCE零成本部署，智算中心RDMA平替方案全公开），实现了跨Leaf、跨隧道的RDMA通信，真正推开智算中心无损网络的大门。今天，我们对RoCEv2再做一次深入的全栈深度体检。

本次实验环境为EVE-NG专业版6.4.0-78，虚拟机配置为64核vCPU、96 GB内存。调整了虚拟机CPU和内存的份额，预留了全部内存，同时将延迟敏感度调整为高，也关闭了KSM和CPULimit，理论上能大幅提升虚拟设备的运行效率。

组网拓扑沿用上次实验的组网，如下所示：

其中，Spine/Leaf交换机均使用Nvidia Cumulus VX的5.15.1版本，资源配置为2核CPU、3 GB内存；服务器使用我们最新定制的Ubuntu 24.04（万物皆可EVE-NG！一招解决Ubuntu镜像MAC冲突），资源配置为2核CPU、2 GB内存。设备互联情况如下所示：

实验开始之前，我们先回顾一下从历史实验总结的注意事项：

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：铁军哥 衡水铁头哥 衡水铁头哥《单边写入为何秒杀双边传输？从UDP 4791到BTH头，看懂RDMA的灵魂构造！》