文章总结： 本文作者通过一系列深度优化，在双路E5-2699v3服务器上成功将RoCE带宽提升至2000Mbps以上。文中详细介绍了其从搭建Underlay网络、打通Overlay网络，到解决Leaf设备单点故障、优化Incast拥塞等性能瓶颈的全过程，并最终通过Soft-RoCE模拟RDMA流量测试，实现了跨Leaf、跨VLAN通信的高带宽性能。 综合评分： 85 文章分类： 实战经验,网络安全,解决方案,技术标准,数据泄露

嵌套虚拟化的极限时延：在2000 Mbps的风暴中，我找到了性能的真谛

原创

衡水铁头哥 衡水铁头哥

铁军哥

2026年4月1日 07:44 北京

前言

为什么你的虚拟机延迟高？可能是ESXi的默认设置在作祟。本文记录了在双路E5-2699v3服务器上，通过深度调优ESXi与EVE-NG，实现RoCE性能极致突破的全过程，将RoCE带宽提升至2000 Mbps+。

车到山前必有路，船到桥头自然直！

回顾整个使用Nvidia Cumulus VX探索RoCEv2的过程：我们先搭建好了Underlay网络（告别OSPF！EVE-NG专业版+BGP Unnumbered打通Underlay的完整实战），实现了网络的毫秒级收敛（从180秒到0.01秒：智算中心Underlay路由优化的速度与激情），再打通了Overlay网络（告别VLAN限制！EVPN + VXLAN实现跨Leaf二层互通，打造千万级隔离网络）。通过对比集中式网关（跨VLAN通信过五关斩六将都不够，我的数据包创造了8跳的新纪录），显示出分布式网关的游刃有余（从8跳到3跳：EVPN 分布式网关让时延降低67%的完整实战）。最后，我们也给智算中心打开了通向互联网大门（Type-2是管家，Type-5是外交官！Border Leaf让智算中心网络走出去）。

针对潜在的Leaf设备单点故障问题，我们用ESI技术进行了优化（从M-LAG到ESI：打造不用心跳线的神交式双活智算中心架构），并针对性的做了二次调优（丢包之谜：为什么你的ESI实验总是不通？EVE-NG虚拟化环境避坑指南），最终实现Leaf设备单上行故障不丢包、单Leaf设备整机故障丢1个包的良好效果。

为了解决智算中心Incast拥塞的性能瓶颈，我们测试了QoS映射+队列绑定（别让普通包超了AI的车！QoS调度让RoCEv2流量一路绿灯），也测试了QoS映射+PFC技术（给AI流量装上紧急刹车：PFC优先级流控如何叫停上游流量），还有提前预警的ECN（上医治未病！从PFC流控到ECN预警配置实战），都实现了跨Leaf、跨隧道、跨VLAN的复杂环境下全链路贯通。当然，受模拟环境限制（ECN配置折戟记：vEOS模拟器局限性深度剖析），只能展示其配置逻辑，并不能完美展示硬件设备的优化效果。

底层网络修好之后，我们又通过Soft-RoCE模拟RDMA流量测试了一把（路修好了，该跑车了！RoCE零成本部署，智算中心RDMA平替方案全公开），还深入分析了RoCE三种操作的报文交互以及性能（单边写入为何秒杀双边传输？从UDP 4791到BTH头，看懂RDMA的灵魂构造！）。对于跨Leaf、跨VLAN的RDMA隧道通信，我们测得单边写入操作的最大带宽为1974 Mbps。

不知道小伙伴们发现没有，为了提升性能，我特地“升级”了一下CPU，从之前的E5-2678v3升级到了E5-2699v3。从名称上看，E5-2699v3就是E5v3里面最强的一款，但是价格上，他却比E5-2678v3还要便宜一点点，我也算是实现了降本增效。

当然，针对VPN业务，CPU的主频是关键，这点E5-2678v3的2.5 GHz主频明显优于E5-2699v3的2.3 GHz。但是对于ESXi服务器，CPU核心数多，那就能支持更多的虚拟机；同时，E5-2699v3的一级缓存（1152 KB）、二级缓存（4.5 MB）、三级缓存（45 MB），都全面领先于E5-2678v3（一级缓存768 KB、二级缓存3 MB、三级缓存30 MB）。

所以，有了CPU核心数量的提升，我这台服务器的整机配置达到了36核心、72线程、160 GB内存，虚拟机的配置也提升为了64核vCPU、96 GB内存。

对于传统的时延而言，实验结果往往只是要求“通了就行”。但如果你也在做RoCE的相关实验，延迟、抖动、极值和资源确定性都需要充分考虑，那么接下来，我们一起来学习一下怎么对底层基础设施进行性能调优，让EVE-NG Pro与ESXi 7.0 U3结合更紧密，榨干硬件资源的性能。

在虚拟化环境下，如果CPU调度出现争用或者内存跨了NUMA（Non-Uniform Memory Access）节点，我们测出来的BGP收敛时间、RoCE吞吐量可能就会毫无参考价值。本实验基于ESXi 7.0U3虚拟化平台，针对双路E5-2699v3硬件特性，对EVE-NG Pro进行全方位的性能暴力调优。详细实验环境介绍如下：

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：铁军哥 衡水铁头哥 衡水铁头哥《嵌套虚拟化的极限时延：在2000 Mbps的风暴中，我找到了性能的真谛》