Nvidia kondigt Grace-cpu met Arm-cores voor datacenters en supercomputers aan

Nvidia introduceert zijn Grace-cpu. Deze chip is gebaseerd op de Arm-architectuur en is bedoeld voor datacenters en high-performance computing. De cpu moet in 2023 beschikbaar komen, en wordt in datzelfde jaar gebruikt in een Zwitserse supercomputer.

Nvidia kondigt de Grace-processor aan tijdens zijn GTC 2021-presentatie. De cpu komt niet beschikbaar voor consumenten, maar wordt exclusief gebruikt voor datacenters en hpc. De chip is bijvoorbeeld bedoeld voor het uitvoeren van AI-werklasten. Nvidia claimt dat systemen met de Grace-processor daarin 'tot tien keer beter presteren' dan de huidige Nvidia DGX-servers, die momenteel gebruikmaken van EPYC-cpu's van AMD.

De Grace-cpu wordt voorzien van toekomstige Arm Neoverse-cores, zo meldt Nvidia. Het bedrijf deelt verder nog weinig concrete details over deze cores en de chip zelf. Zo is het nog onbekend hoeveel van deze kernen de chip krijgt. Het is ook onduidelijk hoeveel transistors worden gebruikt in de cpu en op welk procedé de chip wordt gemaakt. Nvidia rept daarnaast niet over stroomverbruik.

De Grace-cpu. Afbeelding via Nvidia

Het bedrijf deelt wel details over het geheugen van Grace. De chip beschikt over vierde generatie Nvidia NVLink-interconnects, die een maximale bandbreedte van 900GB/s bieden tussen de Grace-cpu en Nvidia-gpu's. De chips zouden ook een 600GB/s-bandbreedte bieden van cpu naar cpu. Grace krijgt ook een Lpddr5x-geheugen-subsysteem, dat meer dan 500GB/s aan bandbreedte moet bieden en ondersteuning biedt voor error-correcting code. Deze bandbreedte zou tweemaal hoger zijn dan dat van DDR4, terwijl dit Lpddr5x-geheugen tot tien keer energiezuiniger zou zijn.

Nvidia kondigt ook aan dat er in 2023 een Alps-supercomputer wordt geleverd met Grace-cpu's. Deze supercomputer wordt gebouwd voor het Swiss National Supercomputing Centre, in samenwerking met Hewlett Packard Enterprise. Alps moet beschikken over 20 Exaflops aan rekenkracht voor AI-werklasten. Nvidia claimt dat Alps de snelste supercomputer voor AI-rekenwerk wordt. Naast de Grace-cpu, zal de supercomputer ook beschikken over nog onaangekondigde next-gen Nvidia-gpu's.

Nvidia is naar eigen zeggen nu een bedrijf dat aan drie soorten chips werkt; naast gpu's brengt het bedrijf in de toekomst ook cpu's en zogeheten dpu's uit. Laatstgenoemde is een data processing unit, die wordt gebruikt om datacenter-infrastructuur te versnellen. Nvidia wil naar eigen zeggen deze verschillende productgroepen iedere twee jaar updaten. Het bedrijf brengt naar eigen zeggen ieder jaar minstens een nieuw product uit.

Dit is niet de eerste keer dat Nvidia aan Arm-chips werkt. Het bedrijf kondigde in 2011 Project Denver aan. De fabrikant meldde toen dat het werkte aan Arm-cpu's, die geïntegreerd zouden worden in gpu's. Het bedrijf heeft sindsdien verschillende Tegra-soc's uitgebracht, die Arm-cores combineren met een gpu. Een dergelijke chip wordt onder andere gebruikt in de Nintendo Switch. Nvidia is van plan om Arm over te nemen voor 40 miljard dollar, hoewel deze overname nog moet worden goedgekeurd door mededingingsautoriteiten.

Nvidia wil zijn verschillende productgroepen iedere twee jaar updaten

Reacties (32)

[hooibergje]

De naam 'GRACE' doet me denken aan de GRAPE processors, die alleen maar waren bedoeld om 1/x uit te rekenen, voor heel veel waarden van x, en heel snel. Toen kon je een GRAPE unit bij je gewone compu zetten, specifiek om dat uit te rekenen, en voor veel-deeltjes simulaties was dat heel erg de moeite waard.

[MrFax]

"10x beter presteren"

Ja voor hele specifieke taken misschien. Ik vind dat altijd zulke gore arbitraire marketing getallen dat het gewoon verboden zou moeten worden. "Ja wij zijn 10x beter dan AMD". Dat is gewoon niet waar. EPYC is op x86 gebaseerd en heeft dus een veel breder spectrum aan taken die je ermee kan uitvoeren.

[Reactie gewijzigd door MrFax op 22 juli 2024 21:47]

[Thekilldevilhil]

"10x beter presteren"

Weet je wat ook goor is, expres misquoten zodat je een punt kan maken.

"Nvidia claimt dat systemen met de Grace-processor daarin 'tot tien keer beter presteren' dan de huidige Nvidia DGX-servers,"

Er staat heel duidelijk tot 10 keer, niet 10 keer. Dat is een enorm verschil. Maar ja, dan klinkt het ineens niet meer zo heftig.

Ik vind dat altijd zulke gore arbitraire marketing getallen dat het gewoon verboden zou moeten worden. "Ja wij zijn 10x beter dan AMD". Dat is gewoon niet waar.

Het gaat niet eens om de CPU, het gaat om een nieuwe versie van de DGX server.

"Nvidia claimt dat systemen met de Grace-processor daarin 'tot tien keer beter presteren' dan de huidige Nvidia DGX-servers, die momenteel gebruikmaken van EPYC-cpu's van AMD."

Dus ze zeggen ook nog eens niet dat hun ARM cpu tot 10 keer sneller is dan EPYC, ze zeggen dat hun nieuwe servers tot 10 keer zo snel zijn als de oude. Ook nogal een verschil met wat jij zegt.

[Reactie gewijzigd door Thekilldevilhil op 22 juli 2024 21:47]

[Stannieman]

Dit. En wordt er iets gezegd over het energieverbruik? Ik kan ook iets maken dan 10x sneller is, maar wel 10x zo groot dat 10x zo veel verbruikt.

Ik weet ook niet op welke generatie Epyc de guidige DGX gebaseerd is, maar de Epycs die in 2023 op de markt zijn zullen het ongetwijfeld ook een stuk beter doen. Dat (insert eender welke chipontwerper) binnen 2 jaar snellere chips heeft dan nu is nogal logisch. Geen 10x, maar toch iets.

[dasiro]

welk bedrijf is 100% eerlijk in zijn marketingpraatjes? Dit soort statements is om mensen te laten zweven, niet om ze met beide voeten op de grond te zetten, daarvoor heb je concurrenten en reviewers

[TheVivaldi]

Dit is voor datacenters en supercomputers. Ik denk niet die "praatjes" heel veel uitmaken, want dat zijn twee héle belangrijke groepen, dus die zullen toch wel kopen wat er beschikbaar is om de boel draaiende te houden, ook als het het net niet is.

[kidde]

Inderdaad, wat @dasiro zegt:

De Zwitsers kiezen voor een onbewezen chip-architectuur (Grace) van een onbewezen supercomputer-CPU ontwerper (NVidia) met een interconnect die zojuist door de laatste overblijvende klant is uitgekotst (IBM, NVLink), bij een leverancier (Nvidia) die heeft aangetoond vreselijk slecht te zijn in het gokken op de juiste chip-maker / proces (Samsung 8nm).

Zoek maar Intels supercomputer cluster-faal genaamd Aurora erop na: Had 's werelds 1e exascale supercomputer moeten zijn. Ook gekozen voor een volstrekt inferieur onmaakbaar proces (Intel 10nm), in 2015 al beloofd om op te leveren en in 2020 _nog_ niet klaar. Dus ik heb 0,0 vertrouwen erin dat alle supercomputer-kopers goed weten wat ze doen: Als de koper van op papier 's werelds snelste (en duurste?) supercomputer in de enorme b*llsh*t trapt die Intels PRietPRaat afdeling ze verkocht heeft; zouden de Zwitsers dan zoveel beter in kunnen schatten hoe goed onbewezen / uitgekotste technologie gaat opleveren wat NVidia beloofd heeft?

[goarilla]

Ik weet het niet hoor. Nvidia accelerators zitten wel al een tijdje in datacenters te draaien. Ze hebben Mellanox gekocht wat in mijn ogen een zeer goede investering is als je je weg wilt maken in die wereld. En wat is er mis met NVlink ik dacht dat dat juist een troef was van hun. Zeker in de eerste iteraties toen ze veel meer bandbreedte opleverde tussen hun GPU's onderling (~160GB/s) dan Infinity Fabric tussen Cores dies (~40 GB/s).

[kidde]

Je hoeft maar op ServeTheHome te kijken, om binnen 3 minuten te zien welke leugens / onvolledigheden NVidia naar voor geschoven heeft, om tot de reclame in hun persbericht te komen als waaruit Tweakers hierboven publiceert.

NVlink moet gaan concurreren met CXL2.0 maar NVidia vergelijkt met PCIe-4; en de aangehaalde AI-prestaties zijn bij FP16 Sparse; dus bij bepaalde taken waarbij je minder precisie nodig hebt en een "lage vulgraad" van je data.

Met NVLink is helemaal niets mis, behalve dat het gewoon een "proprietary" link is; die alleen nog maar door NVidia ondersteund gaat worden.

Dus je had eerst het open samenwerkingsverband CCIX (Met Mellanox als een van de stichters!!!), met daarin de halve wie-is-wie uit supercomputer-land - behalve Intel.

Intel kon het natuurlijk weer niet leiden dat er een industrie-consortium kwam waar ze zelf minder invloed op hadden dan bijv. AMD, dus die moesten weer het idee jatten en het concurrerende industrie-consortium CXL opzetten. Enfin, groot succes: De hele industrie sloot zich erbij aan.

Je kan met CXL2.0 bij wijze van spreke een ARM Mali GPU samen met een Intel x86 CPU en AMD FPGA (Xilinx) 'transparant' gebruik laten maken van hetzelfde geheugen. En Intel en AMD GPU's werken met open technologieen als OpenCL, PyTorch etc.

NVidia echter zet je gevangen in een silo: Liefst met CUDA en NVLink (en dito Mellanox DPU inderdaad); alles regelt NVidia voor je en koop je dus bij hun; en dat werkt dan eigenlijk alleen met andere NVidia subsystemen. Dus die subsystemen gaat NVidia niet meer los verkopen, ze verkopen je gewoon heel het product kant en klaar; de klant heeft 0,0 keuze en de interoperabiliteit holt achteruit. Eens gevangen door NVidia blijft gevangen door NVidia. Want als wetenschappers een keer de hele meuk voor CUDA hebben geschreven, wordt er niet meer geport.

Dit schreeuwt vendor-lock-in, en doet denken aan de goede oude tijd van Internet Explorer 6.0 met ActiveX, binaire Microsoft-office-formaten, geneuzel en rechtzaken vanwege het SMB-protocol, de gesloten tuin die iOS in combinatie met de app-store is, het voortrekken van Google verkoopplatformen in de Google-zoekmachine en ga zo maar door over machtsmisbruik.

Dus natuurlijk gaat NVidia giga-kortingen lopen geven om klanten bijna gratis een supercomputer cadeau te doen, hoe meer klanten verstrikt en uiteindelijk gevangen raken in hun vangnet hoe beter!

Zeer slim van NVidia, maar volgens mij ben je als klant oerdom als je in die gevangenis-cel trapt. Intel is een veroordeeld monopolist, maar zij geven juist met CXL en hun ondersteuning voor OpenCL en Linux juist een schoolvoorbeeld van hoe het wel kan; namelijk interoperabele producten maken waarbij de gebruiker keus heeft; en onderdelen onderling uitwisselbaar zijn. Doorgaans wat de meeste Tweakers willen.

Dat leidt tot vrijheid voor de consument en voordelen voor de maatschappij; maar is dus nadelig voor NVDA - aandeelhouders.

[Reactie gewijzigd door kidde op 22 juli 2024 21:47]

[goarilla]

Het is absoluut niet proper. Het doet me heel veel pijn in het hart. Maar ze hebben zich er wel strategisch in gemanouvreerd. En qua GPU server compute was er praktisch al een vendor lockin met CUDA. Dat gaat nog wel een tijdje zo blijven. AMD's software en ondersteuning is niet klaar en Intel lijkt niet in staat om ooit een deftige GPU op te leveren en dat is al zo sinds de i740.

[dasiro]

toch wel, misschien niet om mensen direct te overtuigen een paar honderdduizend euro of meer te besteden, maar minstens voldoende om hun interesse te wekken en het product verder te bestuderen. Je sterke punten in de kijker zetten is niet verboden.

[Rudie_V]

EPYC is op x86 gebaseerd en heeft dus een veel breder spectrum aan taken die je ermee kan uitvoeren.

Wat kan een x86 processor dan meer dan deze Grace CPU met ARM cores?

[psychicist]

Windows draaien om spellen te kunnen spelen. Verder natuurlijk helemaal niets, omdat deze servers allemaal Linux draaien en de softwarestack op x86, POWER en ARM draait.

[Rudie_V]

Dat is software waar jij het over hebt. En software kan je aanpassen en hercompileren naar een andere type processor. Voor zover ik weet zou alle software die op x86 draait met aanpassingen ook op ARM kunnen draaien. Dus ik zie nog steeds niet dat x86 een breder spectrum aan taken kan uitvoeren dan ARM zou kunnen zoals NotCYF stelt in zijn opmerking.

[psychicist]

Dat is dus wat ik ook bedoelde. Ik draai op x86, POWER en ARM precies dezelfde software gecompileerd vanuit dezelfde sources. Soms vereist dat enige aanpassingen, maar meestal werkt het gewoon goed.

Er zijn closed source applicaties die alleen op x86 draaien, maar die zijn bij deze servers niet relevant. Er is natuurlijk geen enkele reden om AMD Epyc boven Grace te verkiezen.

Ik weet verder ook niet wat NotCYF precies wil zeggen. Daarom maakte ik maar een grap over Windows en spellen, omdat dat het enige is wat aan x86 vastzit.

[Jermak]

Fijn die ARM chips, maar waar zijn de moederborden en chips te krijgen ?

[Vizzie]

Ik neem aan dat nvidia die er gewoon bijlevert aangezien ze exclusief complete systemen aan datacenters en supercomputers leveren en geen losse cpu’s aan consumenten verkopen.

Maar als antwoord op jouw vraag: voor jou en mij zijn die niet te krijgen, tenzij jij toevallig een datacenter of supercomputer hebt (ik niet).

Je kan we een arm cpu met moederbord als onderdeel van een Mac bijvoorbeeld kopen.

[dmantione]

Het is wel een dingetje: Partijen als Supermicro, ASUS, GIgabyte e.d. weten dat ze gerust moederborden voor Epycs en Xeons kunnen ontwikkelen, omdat daar een enorme markt voor is. Zwaar inzetten op Nvidia is een enorm risico en dat gaan deze partijen dan ook niet doen, gevolg is weinig aanbod aan servers met deze chips erin. Natuurlijk zorgt Nvidia dat er wat aanbod is, desnoods betalen ze er een moederbordontwerper voor, maar ga uit van een handvol servers en pas als het blijkt te verkopen zal er meer komen.

[n4m3l355]

Nvidia heeft ook niets te bieden wanneer ze blijven bij een bestaand platform. Men kiest voor HP/Lenovo/Dell of welke partij dan ook die een generiek platform hebben. Wat kan Nvidia hier nou verder aan toevoegen? Het creeeren van een eigen platform zorgt ervoor dat ze apart staan in dit segment en als ze iets weten te realiseren dat in hun niche heel sterk is, zou dat best wel eens interessant kunnen zijn voor toekomstige klanten.

[dmantione]

Je bedoelt dat Nvidia met HP/Lenovo/Dell gaat concurreren? Dat moeten ze vooral niet doen; het zou een snelwerkend recept zijn voor zelfmoord, want als ze dat doen, dan dumpt de rest van de markt Nvidia volledig, dan krijg je een "1 tegen allen"-situatie. De weg tot succes is de legers verkopers die HP/Lenovo/Dell e.d. hebben voor jou te laten werken en daarvoor zul je met de bestaande markt moeten samenwerken.

[oef!]

Bij de bouw van de Alps supercomputer is HP betrokken.

[goarilla]

Maar ik denk dat Nvidia helemaal geen grijze doos servers meer wilt met hun kaarten erin. In ieder geval
zullen de andere 2nd class citizens zijn.

[terradrone]

Of je koopt een raspberry pi voor een paar tientjes, heb je ook een "moederbord" met arm-based cpu. Da's ook meteen het antwoord op de vraag "waar zijn de moederborden en chips te krijgen?" , nou, bij the raspberry foundation bijvoorbeeld. Daar hebben ze er "nog maar" 35 miljoen van verkocht

[Vizzie]

Of een tablet of een telefoon of een switch of een shield of een auto etc. Allemaal arm cpu/soc op een moederbord

[psychicist]

Die kun je bij veel verschillende bedrijven krijgen afhankelijk van de rekenkracht en het formaat dat je zoekt.

Voor een klein simple bordje heb de Raspberry Pi en alternatieven. Je kunt ook een Android TV box gebruiken. En anders heb je altijd nog Apple Mac Mini M1.

Voor een moederbord met een redelijk krachtige processor waar je een videokaart in kunt doen, is er de Solid-Run Honeycomb LX2K. Er zijn ook desktopmoederborden met chips van Phytium en Huawei in China, maar die gaan hier waarschijnlijk niet verkocht worden.

Voor laptops heb je Pinebook Pro, Microsoft Surface Pro X en Apple Macbook Air en Pro M1. Ik hoop dat er met de introductie van chips met ARM Cortex A78C cores nog meer laptops komen.

[goarilla]

Je kan wellicht of binnenkort wel aan een ampere altra single of dual socket server geraken: https://www.anandtech.com/show/16315/the-ampere-altra-review.

[psychicist]

Daar ben ik inderdaad bekend mee. Een single socket server kun je via Gigabyte krijgen en de dual socket server via Wiwynn. Ik weet dat je ze via Avantek kunt kopen, maar weet niet of dat ook bij een Nederlands bedrijf kan.

[psychicist]

Na het nieuws over ARMv9 is dit een uitstekend vervolg. Ik ben ook benieuwd naar de chips van SiPearl.

Op de client mag er ook wel het een en ander gebeuren, want op het moment lijkt daar toch wel enige mate van stagnatie te zijn. Vooral meer laptops met ARM chips zouden uitkomst bieden.

[Knijpoog]

....ben ook benieuwd naar de chips van SiPearl.

Ik schoot ff overeind dacht dat je het even over SiS ging hebben met nieuwe chips. hahaha.

[Jan Onderwater]

ARM lijkt nu toch echt de nieuwe standaard in de industrie te worden en x86 te vervangen. Nvidia, Samsung, Google, MS, allemaal werken ze nu aan eigen ARM's.