Nvidia gaat ARM-processors ondersteunen voor energiezuinige supercomputers

Nvidia gaat samenwerken met chipontwerper ARM. Tijdens de International Supercomputing Conference heeft Nvidia deze samenwerking gepresenteerd als een nieuw pad voor de industrie om te komen tot zeer energiezuinige, van ai gebruikmakende exascale-supercomputers.

Nvidia zegt dat het tegen het einde van dit jaar zijn gehele aanbod van ai- en hpc-software beschikbaar maakt voor het ARM-ecosysteem. Het bedrijf meldt dat het na het voltooien van de stack optimization alle grote cpu-architecturen ondersteunt, waaronder x86, Power en Arm. Volgens de topman van Nvidia, Jensen Huang, is het ondersteunen van de ARM's cpu-architectuur erg belangrijk, gelet op de open architectuur en diens energiezuinigheid.

Huang beschrijft dat het bereiken van exascale-supercomputing 'de grens van de menselijke kennis aanzienlijk zal verleggen'. Hij stelt dat supercomputers essentieel zijn voor wetenschappelijke ontdekkingen, maar dat de stroombehoefte alle supercomputers zal limiteren zodra de traditionele compute scaling eindigt. Volgens Huang zal de combinatie van Nvidia's Cuda en ARM's energiezuinige architectuur de gehele hpc-gemeenschap een flinke duw in de rug geven.

In de meest recente editie van de Top500-lijst staat op plek 156 een supercomputer die op de ARM-architectuur is gebaseerd. Het gaat om Astra, een supercomputer van HPE die door het Amerikaanse Sandia National Laboratories wordt gebruikt; deze staat sinds november 2018 in de lijst. In de HPL-benchmark die voor de Top500-lijst wordt gebruikt, behaalde het systeem een prestatie van 1758 teraflops en een piek van 2209 teraflops.

Reacties (35)

[kidde]

Wat misschien leuk is om te weten, als het over ARM / Supercomputers gaat, is dat Fujitsu in Japan bezig is een exascale-ARM supercomputer te bouwen.

https://www.theregister.c...ujitsu_arm_supercomputer/

Deze moet aan gaan in 2021, en moet dan op dat moment zeker in de top 5 terecht kunnen komen:

https://www.japantimes.co...n-operations-around-2021/

Fujitsu heeft hiervoor op het moment 'zelf' een hoop AI-meuk bij elkaar ontwikkeld:

https://insidehpc.com/201...n-centric-ai-at-isc-2019/

[Squee]

Fujitsu's post-K ontwerp is inderdaad een custom ontwerp wat erg leuk gaat worden, met 512-bits SVE ondersteuning (Arm's tegenhanger van Intel's AVX).

Verder ondersteund Cray nu ook in de XC50 modellen de ThunderX2 Arm processoren van CaviumMarvell - wat ook een eigen custom Arm ontwerp is. Dit is ook het model wat gebruikt wordt in de Astra die hier in het artikel aangehaald wordt, zover ik weet. Een andere plek waar deze uitgerold wordt is de Britse Isambard supercomputer (waarschijnlijk te klein voor de Top500).

[edit]: Kleine correctie; de Astra gebruikt wel ThunderX2 processoren maar is gebaseerd op HPE systemen, (Apollo 70) niet de XC50 van Cray wat ik hier eerder schreef. Het France CEA heeft ook een op basis van ThunderX2, maar deze is dan weer gebouwd door Bull/Atos. Er is zeker wel wat beweging/interesse in HPC land qua Arm

Al met al lijkt het me goed nieuws, zeker voor Arm. Als Nvidia's tools en drivers geschikt worden gemaakt voor de Arm architectuur zou dat ook een stimulans kunnen worden voor Arm op de laptop/desktop markt, zeker aangezien Qualcomm een breed scala in deze markt lijkt te willen gaan bedienen met Arm modellen.

[Reactie gewijzigd door Squee op 23 juli 2024 08:37]

[Cney]

Even off topic. Maar hoe goed maar ook spannend moet het voelen om de eerste man te zijn die op de 'on' switch drukt.

[Jaco69]

Misschien moeten ze ook eens naar SpiNNaker kijken. Een combinatie van ARM processoren en een neuraal netwerk, Ontworpen voor AI lijkt me.

[Fred-Erik]

Spiking Neural Networks zijn een heel andere tak van sport dan de op matrix vermenigvuldiging-gebaseerde neurale netwerken die efficient op GPU's draaien. Het is vooral nog een potentieel mooie en veel energiezuiniger technologie, maar ook grotendeels onbewezen in de praktijk, terwijl GPU's massaal toegepast worden.

Wat Nvidia wil lijkt me minder overhead: het echte zware rekenen met zowel AI als allerlei simulaties kan toch tig keer efficiënter op een GPU dan op een CPU, dus de ARM processors zijn er vooral ter ondersteuning en pre- en post-processing van de data.

[Jaco69]

matrix vermenigvuldiging-gebaseerde neurale netwerken die efficient op GPU's draaien

Aah oké. In het artikel staat het zo dat het lijkt dat het alleen om software gaat.

[Misha Engel]

Intel gebruikt intel CPU's en gaat intel GPU's gebruiken.
AMD gebruikt AMD CPU's en GPU's
NVidia heeft geen CPU's en zoekt dus naar nieuwe mogelijkheden.

[Umbrah]

nVidia heeft wel degelijk CPU's, en al een behoorlijke tijd. Veelal ARM. Zowel de Nintendo Switch als de Shield zul je kennen. Maar er zijn nu al ruim 10 jaar ARM chips waar nVidia op staat. AMD is overigens ook niet x86 exclusief, en heeft al tijden ARM based opteron producten. Intel had tot voor kort itanium, maar ver daarvoor, en dan hebben we het over Windows CE5 tijd, maakte zelfs Intel ARM chips. Het heette Intel XScale.

[TrekVogel]

Oh ja, Intels geweldige timing. Wat was het, 2006? Toen ze Xscale aan Marvell hebben verkocht. En vlak daarna ging alles en iedereen ineens ARM gebruiken.

[kaa-ching]

Intel heeft XScale ook alleen maar in handen gekregen omdat ze Digital's chip designs gekocht hadden.

[Verwijderd]

Goede ontwikkeling! Wat ik me wel afvraag: de bulk van het verbruik van zo'n computer resulteert toch in warmte? En er wordt vervolgens nóg meer energie gepompt in het afvoeren van die warmte? Is het laaghangend fruit niet juist het hergebruiken van die warmte? Want als ik naar mijn eigen huishouden kijk is de bulk van mijn energieverbruik juist weer warmte, hoewel het wel in de winter is natuurlijk. Als ik dan van het gas af moet dan heb ik liever dat mijn elektriciteit in een supercomputer wordt gestopt dan in een warmtepomp bij wijze van spreke. Dan levert het nog wat op.

[Aikon]

100% Van de energie wordt omgezet in warmte. Bij jou thuis trouwens ook

Wel is een warmtepomp een stuk efficienter dan bijv. een supercomputer (qua warmteopwekking). Je hebt/had servers die je als cv kon ophangen thuis. Helaas geen succes geworden.

[Cney]

Bij dit soort grote projecten word steeds en steeds meer de ontwikkelde warmte hergebruikt. Helaas is de efficiëntie van dit soort systemen (nog) niet hoog. Maar is beter dan de warmte alleen uit te stoten. Veelal worden er nu nog gebouwen mee verwarmd.

[g4wx3]

Energie kan ook worden omgezet naar licht of beweging. Ventilator (dampkap), stofzuiger, waterpomp, frigo (ook een pomp). En een warmtepomp is dus ook gewoon een pomp, de warmte trek je uit de omgeving, vandaar komt dan ook het rendement.

[Aikon]

Ja, in wel meer vormen ook, maar (ook) licht en beweging worden uiteindelijk weer warmte.

[MSalters]

Thermodynamica is een moeilijk vak, voor wat eigenlijk gewoon klassieke natuurkunde is.

Een belangrijk inzicht is dat niet alle warmte gelijk is. Temperatuur bepaalt hoe waardevol warmte is. Hoe hoger, hoe waardevoller. Dat is precies hoe een warmtepomp werkt: die pompt warmte omhoog in temperatuur, waardoor je met koude buitenlucht tóch je huis kunt opwarmen.

De warmteproductie van supercomputers is niet zo geweldig bruikbaar. Omdat die computers niet te heet mogen worden, is de temperatuur van de geproduceerde warmte relatief laag. Zeker in de zomer is het lastig om die warmte af te voeren, en heb je weer een warmtepomp (airconditioning) nodig om die naar buite te pompen.

[Dreamvoid]

Dat is een flinke klap voor IBM en hun OpenPOWER initiatief, nVidia was daarin hun belangrijkste partner maar als die het schip verlaten...

[deregtx]

Leuk dat Nvidia al hun geld altijd maar in de datacenters en Supercomputer stopt. En wij maar de helft teveel voor videokaarten betalen... We krijgen een nieuwe Shield TV (met alweer de stok oude Tegra X1) joepie

[Squee]

Zo gek is dat niet aangezien Nvidia onlangs Mellanox heeft overgenomen, een producent van high performance Infiniband en ethernet netwerkapparatuur wat vooral in HPC omgevingen gebruikt wordt. Ik denk ook dat Nvidia in de datacenter/HPC markt meer groeimogelijkheden ziet dan in de consumentenmarkt, die redelijk verzadigd is.

[Shark.Bait]

De helft teveel betalen? Is er ergens een wet die zegt hoeveel men mag vragen voor producten?

[aadje93]

een die zegt dat prijsafspraken verboden zijn

[Shark.Bait]

Dat klopt voor NL, maar als NVidia zegt dat ze X voor hun kaarten willen, is dat geen prijsafspraak.Uit jouw eerste post haal ik dat NVidia de prijs bepaalt en dat recht hebben ze.

[aadje93]

tjsa, en als ze dan tegelijk even communiceren met hun conculega AMD die een vergelijkbare prijs hanteert druk je samen de markt omhoog, welk alternatief is er voor consumenten?

[Dreamvoid]

Qualcomm en Intel zijn er ook nog, dat zijn de grootste spelers (in de vorm van geintegreerde GPU’s), die kunnen als de marges goed zijn vrij makkelijk ook losse GPU’s gaan bakken.

[BlackOwl]

Intel heeft al ruimschoots bewezen dat ze daar niet goed in zijn.

[MSalters]

Afstemming via de markt mag - dat is het idee van een vrije markt.

En voordat overheden ingrijpen zul je toch moeten aantonen dat er een groot genoeg belang is. Niet alleen heb je iGPU's van Intel, maar voor gaming heb je ook nog eens consoles. Uiteraard is console gaming niet hetzelfde als PC gaming, maar is dat een juridisch relevant onderscheid? Er zijn genoeg AAA titles die zowel voor consoles en PC uitkomen, dus je kunt juridisch niet volhouden dat het onvergelijkbare producten zijn.

[TrekVogel]

Want een tv box heeft meer power nodig dan een X1?

[Aerophobia1]

Hoeveel procent zuiniger is een ARM sujpercomputer? Zijn waatschijnlijk wel iets zwaardere SOC's as in een mobiel apparaat.

[Jaco69]

Niets. Dat de processoren zuiniger zijn wordt gebruikt om de processoren dichtheid te verhogen voor zoveel mogelijk processor capaciteit.

[Alex3]

Een processor met dezelfde rekencapaciteit is natuurlijk wel zuiniger. Je kunt het wel een beetje inschatten door de warmteontwikkeling van een smartphone te vergelijken met die van een even snelle pc, want uiteindelijk wordt alle energie in warmte omgezet.

[Dreamvoid]

Hangt ervan af wat voor chips je ermee maakt, de ARM instructieset alleen maakt een chip niet zuiniger of onzuiniger.

Ik ben wel benieuwd of we hiermee ook de doorbraak van snelle ARM chips gaan krijgen, de eerste poging van Qualcomm twee jaar terug om voet aan de grond te krijgen in de servermarkt is compleet mislukt.

[Reactie gewijzigd door Dreamvoid op 23 juli 2024 08:37]

[kidde]

Om uit te wijden op wat @Dreamvoid al zegt; enegie uitleg 'hoe' het er dan vanaf hangt:

De 'energie-zuinigheids-supercomputer lijst' is hier te vinden.

Er staat slechts 1 ARM systeem in; zonder accelerators.
In de kolom 'accelerators' zal je moeten filteren op 'None'.
De bovenste twee Chinese computers moet je negeren, die zijn kennelijk totaal niet efficiënt als supercomputers, maar voor de 'opscheprechten' halen ze wel enorm hoge flops (ze wilden de VS daarin overttreffen qua FLOPS, maar echt bruikbaar voor wetenschappers schijnen die dingen moelijk te zijn).

Wat houd je over:
-No 3 (Oakbridge CX / Japan): Xeon Platinum 8280_ 5,1 GFlop/Watt --- Intel 14nm; intro apr '19
-No 399 (Astra, VS): (Cavium) Marvell ThunderX2___1.5 GFlops/Watt -- TSMC 16nm; intro mei '18
(Zie aantal kW hier)'

Dan lijkt het dus, alsof ARM het helemaal niet goed doet. Echter, TSMC 16nm is een wat verouderd proces; en de ThunderX2 is al een jaartje langer verkrijgbaar.

TSMC 10nm is 35% efficienter dan 16nm. TSMC 7nm is weer 40% zuiniger dan 10nm. 7nm+ (EUV) is weer 10% efficienter.

Dus het nieuwste nu (voor klanten) draaiende TSMC-proces is 2x efficienter dan die van de enige ARM-computer in de top500 lijst.

Daarmee kan TSMC met een bestaand, werkend proces op 3 GFlop / Watt komen. Nog steeds 'slechter' dan een Xeon 14nm Cascade Lake!

Maar wat blijkt volgens website 'ServeTheHome'?

We were told that the cost of electricity to move data inside a supercomputer takes 10x the energy to comptue the data.

Dus eigenlijk zegt die Green Top500 lijst dan niet zoveel over hoe energiezuinig het is voor de taken waar het voor bedoeld is, maar eigenlijk alleen voor Linpack (de benchmark). En laat nou net de benchmark weer niet zo relevant zijn voor het echte werk dat je ermee wil gaan doen.

De Cavium ThunderX2 heeft 8 DDR4-datakanalen tegen de Xeon 'maar' 6, de ThunderX2 heeft 56 PCIe kanalen (lanes) tegen de Xeon 'maar' 48.

De Astra Apollo 70 heeft (Mellanox) NVidia Infiniband als interconnect, de Intel supercomputer heeft OmniPath; deze twee lijken zeer sterk op elkaar.

Dus hoe je alles aan elkaar knoopt, daar zit kennelijk het voordeel van een ARM-SoC; maar dit is zeer lastig uit de specs te halen. Ik denk dat je dit alleen kan weten, door je specifieke werklast te 'simuleren' op de architectuur van verschilende supercomputers.

Ergens wil je dus graag weten, bij een vergelijkbaar proces (TSMC 7nm DUV vs. Intel 10nm), wat het verbruik per bandbreedte is voor je specifieke werklast; dan weet je pas of en hoeveel zuiniger een ARM supercomputer zou kunnen zijn dan een Intel supercomputer. En veel daarvan hangt dus niet af van de 'rekenkern' van zo'n supercomputer.

[Reactie gewijzigd door kidde op 23 juli 2024 08:37]

[irritantrotjoch]

En wat is het verbruik dan t.o.v. van de andere (niet ARM) supercomputers rond de top 150/160?

[Darude1234]

Dat kun je zien in de green500 https://www.top500.org/green500/list/2019/06/
Plaats 262 in de green500, plaats 156 in de top500

[BartDG]

Hmmm. Vele berichten die ik hier lees de laatste maanden doen mij toch vermoeden dat x86 aan zijn zwanenzang is begonnen en dat we sowieso overgaan naar ARM, ook voor de desktop.
Hopelijk voor hen heeft Intel een plan B.