Nvidia meldt tijdens Computex dat zijn Grace Hopper-'superchips' voor datacenters nu volledig in productie zijn. Het bedrijf toont daarnaast een DGX GH200-supercomputer, die bestaat uit dergelijke chips en beschikt over 144TB gedeeld geheugen.
De Nvidia DGX GH200 beschikt over 256 Grace Hopper-superchips. Dat zijn chips die een H100-gpu combineren met een Nvidia Grace-cpu op een enkele module van ongeveer 200 miljard transistors. Iedere Grace Hopper-superchip heeft 72 Neoverse V2-cpu-cores en 16.896 CUDA-cores, 96GB HBM3-geheugen en 480GB Lpddr5-geheugen. Daarmee krijgt het hele DGX GH200-systeem in totaal 18.432 cpu-cores, ruim 4,3 miljoen CUDA-cores en 144TB gedeeld geheugen.
:strip_exif()/i/2005803040.jpeg?f=thumblarge)
De Grace Hopper-superchips worden onderling verbonden met Nvidia's eigen NVLink-interconnect, waarmee alle gpu's elkaars geheugen kunnen benaderen. Daarmee functioneert het systeem als een enkele gpu. Voor die NVLink-interconnect worden 96 L1-switches en 32 L2-switches gebruikt, meldt de fabrikant. Nvidia zegt dat de gpu-naar-gpu-bandbreedte 900GB/s bedraagt. Ter illustratie: een PCIe 5.0 x16-gpu heeft een bandbreedte van ongeveer 63GB/s.
Nvidia zegt dat de DGX H200 is bedoeld voor grote AI-workloads. Het systeem beschikt daarvoor volgens de fabrikant over '1 exaflop' aan fp8-rekenkracht. De fabrikant deelt geen prestatiecijfers voor andere rekenformaten. Het bedrijf deelt wel enkele benchmarks waarin het de DGX GH200 vergelijkt met een huidig DGX A100-systeem, meldt Tom's Hardware. Daarin is het nieuwe DGX GH200-systeem 2,2 tot 6,3x sneller. De huidige DGX A100-systemen beschikken echter over 32 tot 256 A100-gpu's, afhankelijk van de benchmark. Nvidia's DGX GH200-systeem beschikt in alle getoonde benchmarks over 256 gpu's.
Volgens de fabrikant krijgen Google Cloud, Meta en Microsoft als eerste toegang tot de DGX GH200-supercomputer. Op termijn wil Nvidia de blauwdruk voor het systeem beschikbaar stellen aan cloudproviders en andere hyperscalers. De DGX GH200 moet eind dit jaar uitkomen. De fabrikant deelt geen prijs.
Nvidia gaat zelf nog een Helios-supercomputer bouwen die vier DGX GH200-systemen combineert. Die vier systemen, die gezamenlijk beschikken over 1024 Grace Hopper-superchips, worden verbonden met Nvidia's Quantum-2 InfiniBand met een bandbreedte van 400Gbit/s. Dat systeem moet eind dit jaar online komen.
:strip_exif()/i/2005803046.jpeg?f=imagenormal)
Bron: Nvidia, Tom's Hardware