Nvidia's opening keynote op Computex

AI, robots en digital twins, maar weinig gaming

Het datacenter

Met dat in het achterhoofd liet Huang de datacenterline-up zien. De eerste daarvan is de H100, die al in productie en gebruik is. Die bestaat uit 8 Hopper-gpu's onder grote, zware koelblokken en werd door Jensen aangeprezen als de duurste computer ter wereld. Een enkele module kost namelijk 200.000 dollar, maar vervangt veel meer hardware.

Het optimisme en de superlatieven over deep learning zijn wat aangedikt, met uitspraken als 'it can basically predict almost anything that you have data for', maar met hard- en software die speciaal erop gemaakt en ontwikkeld wordt, is duidelijk dat Nvidia er vol op inzet. Ook de overname in 2019 van Mellanox, een producent van snelle interconnects, noemde Jensen als extreem nuttige investering. Ook MagnumIO, wat Jensen het besturingssysteem voor distributed computing in datacentra noemt, benoemde hij als cruciaal element. Daarnaast noemde hij de cadans van twee jaar voor de ontwikkeling van accelerator-architecturen en hun interconnects. De recentste daarvan zijn respectievelijk Hopper en Quantum uit 2022, die in 2024 door 'Hopper Next' en 'Quantum Next' zullen worden opgevolgd.

Met steeds snellere hardware kan volgens Jensen voldoende data verwerkt worden om die data te begrijpen, of dat nu tekst, moleculen of natuurkunde is. Dat zou de weg vrijmaken om feitelijk de hele wereld te digitaliseren en als data te representeren. Dat zou elke industrie kunnen beïnvloeden en leiden tot een nieuwe generatie computers. Daar zou niet eens nieuwe software voor nodig zijn, want ook oude toepassingen zouden profiteren, bijvoorbeeld met helper-plugins voor bestaande software.

Superchips

Er is wel nieuwe hardware voor nodig, allereerst in de vorm van de Grace Hopper 'superchip'. Dat is een compute unit met een accelerated gpu die over 576GB gpu-geheugen (waaronder 96GB snel HBM3-geheugen) beschikken, aangestuurd door een cpu met 72 Arm-cores en een interconnect tussen die twee van 900Gbps. De gpu beschikt over 132 streamprocessors en 528 Tensor-cores. Grace Hopper, of GH200, is in productie en systemen met de module moeten later dit jaar verschijnen. Naast neurale netwerken zou GH200 ook uitermate geschikt zijn voor designtools als eda- en sda-tools, pcb-ontwerpen, vloeistofanalyses en eiwitsynthese.

Om nog veel grotere datasets door te rekenen zonder de data te versnipperen, kan GH200 worden gecombineerd tot grotere clusters. Zo kunnen er 8 bij elkaar in een pod geplaatst worden, en daarvan kunnen weer 32 gecombineerd tot een enkele 'giga-gpu'. De volledige 144TB geheugen daarvan is gedeeld tussen de gpu's en het geheel wordt onderling verbonden door NVLink-switches. Dat alles levert een 'transformer' op met een rekenkracht van 1Exaflops, al zou dat 'slechts' met FP8 in plaats van FP16 of FP32 zijn.

Nvidia kondigde verder een nieuwe serverfamilie, MGX, aan, die meer geschikt is voor allerlei accelerator-configuraties. En om alle onderdelen te verbinden, kondigt Nvidia een Spectrum-X-switch met 51,2Tbps aan bandbreedte aan, die met 64 800G-poorten of 128 400G-poorten kan worden uitgerust. In een behuizing met ondersteunende hardware heeft Spectrum-X de Spectrum4-switch. De switch werkt met Bluefield 3-nic, die een 400G-netwerkpoort heeft.

• Volgende pagina 3. Digital twins