如题所述
引领AI与HPC时代的革新:NVIDIA NVLink技术的崛起与突破
随着科技的飞速发展,AI和高性能计算(HPC)领域的需求对GPU间的高速互联提出了前所未有的挑战。NVIDIA以创新的NVSwitch和NVLink技术(如NVSwitch3和NVLink4)给出了答案,它们是GPU间高效通信的桥梁,尤其是NVLink4.0,其性能和扩展性得到了前所未有的优化。这款专为GPU设计的高速协议,从最初的版本一路攀升,每一代都带来了显著的带宽提升。
NVSwitch3作为新一代的物理交换机,犹如GPU间的神经中枢,其64个200Gbps的NVLink4接口,双向带宽高达3.2TB/s,首次引入了SHARP功能,为GPU计算性能提供了强大的支持。无论是NVIDIA的DGX服务器,还是OEM HGX平台,都采用了不同代的NVSwitch和NVLink技术,如P100(NVLink1)、V100(NVSwitch1/NVLink2)、A100(NVSwitch2/NVLink3)和H100(NVSwitch3/NVLink4),它们之间的互联就像GPU间的高速高速公路,确保数据传输的顺畅无阻。
DGX A100服务器中,GPU间的互联更为精密,通过PCIe Switch和6个NVSwitch2,每GPU拥有12个NVLink3接口,单向带宽达到惊人的300GB/s。而H100的NVLink4技术更是开创了新纪元,提供450GB/s的单向带宽,允许外部扩展,同时内部NVSwitch3与NVLink2的高效整合,降低了成本,提高了性能密度。
NVLINK交换机为H100 Superpod量身打造,每个1U的单元集成了32个OSFP接口,双向带宽高达51.2TB/s,支持高级管理功能和专用的光纤连接。通过NVSwitch,GPU间的通讯被隔离并得到安全保障,系统自动配置,灵活性与安全性并存。
与传统以太网不同,NVLink网络构建了一个专为GPU设计的超大Fabric网络,解决了GPU间高速通信的难题,而与CPU和存储网络保持分离。这种独立的网络架构,使得GPU间的连接可以动态调整,适应不断变化的计算需求。
DGX H100 SuperPOD,由8个机架和32台服务器组成,每个节点集成了256块GPU,能够提供令人惊叹的1 exaFLOP FP8 AI算力。内部的NVLink网络带宽达到了惊人的57.6TB/s,服务器间互联速度也达到了25.6TB/s,为大规模AI训练提供了强大的动力。
NVS和L2NVS作为NVSwitch芯片的扩展,通过18条50GB的双向NVLink4连接,实现每4个NVLink4接口由800G OSFP模块连接,构建出一个高速的GPU互联网络,进一步强化了集群性能。
令人瞩目的是,NVIDIA的CX7网卡通过PCIe Gen5 Switch连接GPU与CPU,每块Cedar板卡提供了800GB/s的双向带宽。在H100中,NVLink网络的速度远超A100的IB网络,性能提升显著,特别是在处理大型模型训练时,NVLink的优越性更为明显。
Bisection性能测试证明,H100的NVLink网络在大型模型训练中,其性能超越了同类IB网络,展现了NVLink技术在低延迟、高带宽方面的卓越表现。
通过与迈络思技术的整合,NVIDIA的NVLink和IB技术相结合,引入了具备SHARP功能的NVSwitch,不仅提升了GPU服务器网络,还预示着大规模的256GPU NVLink网络规模的扩展潜力,未来可能孕育出融合AI计算、CPU计算和存储的超级计算集群,彻底革新高性能计算的格局。