Nvidia onthult AI-desktop-pc's DGX Spark en Station met Grace Blackwell-chips

Nvidia heeft de DGX Spark en DGX Station gepresenteerd tijdens de GTC. Deze AI-desktop-pc's worden aangestuurd door Nvidia's Grace Blackwell-platform en zijn bedoeld voor het werken met grote AI-modellen zonder cloudverbinding.

De DGX Spark werd tijdens de CES 2025 al aangekondigd als Project Digits. Nvidia spreekt van een 'persoonlijke AI-supercomputer' die wordt aangedreven door het Grace Blackwell-platform. De pc's stellen AI-ontwikkelaars, onderzoekers, datawetenschappers en studenten in staat om grote AI-modellen te ontwikkelen. Gebruikers kunnen de modellen lokaal uitvoeren of gebruikmaken van Nvidia DGX Cloud en andere datacenterinfrastructuren.

Het apparaat wordt aangedreven door de GB10 Grace Blackwell Superchip van Nvidia, met vijfde generatie Tensor-cores en FP4-ondersteuning. De cpu en gpu zijn via Nvidia’s eigen NVLink-C2C-interconnect met elkaar verbonden. De AI-desktop-pc is voorzien van 128GB unified memory en tot 4TB NVMe-opslag. De DGX Spark kan tot 1000Tops aan bewerkingen uitvoeren en is compatibel met redeneermodellen zoals Nvidia Cosmos Reason en het Nvidia Gr00t N1-model voor robotica.

De DGX Station biedt meer verwerkingskracht voor AI-toepassingen en is uitgerust met een GB300 Grace Blackwell Ultra Desktop Superchip met '20 petaflops aan AI-kracht en 784GB unified memory'. Het systeem is voorzien van de nieuwste generatie Tensor-cores en FP4-ondersteuning. Daarnaast is de DGX Station uitgerust met ConnectX-8 SuperNIC voor 'hyperscale AI-computing workloads' met netwerkondersteuning tot 800Gbit/s.

Volgens Nvidia zullen er diverse oem's van de DGX-computers verschijnen. Onder meer ASUS, Dell en HP zullen eigen versies van de DGX Spark en DGX Station uitbrengen. De DGX Spark is vooruit te bestellen vanaf 3000 dollar. De adviesprijs van de grotere DGX Station is nog niet bekendgemaakt.

Reacties (43)

[iqcgubon]

met netwerkondersteuning tot 800Gbit/s.

Op wat voor soort switch, en met welke bekabeling ga je deze "desktop" dan op je netwerk hangen?

[n4m3l355]

Het doel is dat je ze dan kunt clusteren en met meerdere stations tegelijk modellen kunt draaien.

Overigens vind ik de prijs reuze meevallen met dergelijke specs. Ben benieuwd of nvidia deze producten voor die prijs bij de klant weet te krijgen.

[White Feather]

Die netwerkondersteuning zit niet op het model van € 3.000 (desktop). Wel op het grote model (Station), maar daar is de prijs niet van bekend.

Qua ai Tflops is de desktop ongeveer een Geforce RTX 5070.

[Dekar]

Dan is 3000 euro erg duur. Welke meerwaarde hebben deze desktops tov zelfbouw?

[register]

Unified memory. Op een PC met consumenten-GPU heb je slechts 32GB VRAM of minder. De Spark heeft een relative trage GPU, maar wel gekoppeld aan vrij veel geheugen. Je kan dan een grotere LLM draaien, en/of een grotere context toelaten.

Alternatieven met vergelijkbare hoeveelheid unified memory:

• AMD Ryzen AI Max (bijvoorbeeld van Framework)
• Apple Mac Studio

[White Feather]

Inderdaad. Je kunt leuk een GeForce RTX 5090 met 32 GB Vram in je systeem stoppen die qua ai 2,5x zo snel is als die “desktop”, maar als het model te groot is, dan wordt het een slak.

De “desktop” kan gewoon door tot 192 GB.

[Reactie gewijzigd door White Feather op 19 maart 2025 10:35]

[the_shadow]

Support. In een professionele omgeving wil je bij problemen (software, hardware, drivers) kunnen vertrouwen op ondersteuning van een leverancier. Zelf het internet af gaan struinen naar een oplossing kost tijd, en dus geld.

[StackMySwitchUp]

Ondersteuning van nvidia, HBM, koppelmogelijkheden en waarschijnlijk toegang tot bepaalde software. Nvidia schakelt op consumentenhardware bepaalde features uit zoals shared video memory. In AI context weet ik niet wat het verschil is, maar ze zijn beslist niet gek daar en weten meestal wel een draai te geven aan waarom je het pro model wilt over de consumentenversie. 3k is niet duur voor een werkstation met GPU trouwens. Dit kan makkelijk concurreren met een HP of Dell

[Reactie gewijzigd door StackMySwitchUp op 19 maart 2025 09:01]

[Pinkys Brain]

Zijn geen goedkope moderne GPUs met redelijk hoeveelheid geheugen.

[MrMonkE]

Ik had destijds begrepen dat je 2 van die kleine, die nu schijnbaar DGX spark heet, kunt koppelen.

[Jermak]

https://www.servethehome....scale-out-clustering-arm/

Alternatief van ASUS
https://www.asus.com/event/asus-ascent-gx10/

[Reactie gewijzigd door Jermak op 20 maart 2025 23:50]

[Mellow Jack]

Glasvezel verder zijn zulke snelheden alleen boeiend als je meerdere nodes aan elkaar gaat hangen

[SunnieNL]

Een nVidia Spectrum-4 Ethernet switch. ( https://www.nvidia.com/en-us/networking/ethernet-switching/ )

Dit is natuurlijk geen thuis desktop, maar eentje voor in laboratoriums etc.

[iqcgubon]

Cool, bedankt!

[Dennism]

Ik tag @iqcgubon ook even, maar ik verwacht eigenlijk ook niet dat je dit heel snel heel veel gaat zien in laboratoriums, maar veel meer in Datacenters (mogelijk wel met endpoints in een laboratorium uiteraard).

Maar inderdaad zeker geen huis-tuin en keuken spul, hier een voorbeeld van de 64 poorts model en wat deze moet kosten https://www.primeline-sol...-2u-open-ethernet-switch/

En dan heb de transceivers er uiteraard nog niet bij, dat gaat ook flink in de papieren lopen voor een paartje, laat staat 64 of meer paartjes

Nvidia heeft gister ook flink wat aankondigen gedaan voor nog grotere varianten van deze switches, tot 144 en tot 128 poorten uit mijn hoofd.

[iqcgubon]

Ik zal hier eens voorstellen om Cisco buiten te kegelen en over te stappen Dan zal het ineens gedaan zijn met "het netwerk is traag".

[Tuxwielder]

Waarschijnlijk Infiniband:

https://www.nvidia.com/en-us/data-center/dgx-gb300/

Het is een OSFP-kaart en die sluit je aan met een DAC-kabel (voor kortere afstanden, bijvoorbeeld https://www.fs.com/de-en/products/204997.html ) of een in combinatie met een tranceiver (bijvoorbeeld https://www.fs.com/de-en/products/282967.html) op glas.

[McScum]

Volgens Nvidia zullen er diverse oem's van de DGX-computers verschijnen. Onder meer ASUS, Dell en HP zullen eigen versies van de DGX Spark en DGX Station uitbrengen. De DGX Spark is vooruit te bestellen vanaf 3000 dollar. De adviesprijs van de grotere DGX Station is nog niet bekendgemaakt.

Waar? Op nVidia site kan je alleen een reserveren vanaf $3999. En dat ook alleen maar voor VS klanten. Op NL site zie ik alleen "notify".

[bert1985]

Ik werk bij Nvidia (Mellanox technologies overgenomen in 2020) en werk mee aan NVLink. Leuk om Jensen hierover te horen praten!

[euchromatic]

Als dit de producten zijn waar de geboekte fab-capaciteit wél voor is ingezet, begrijp ik Nvidia wel. De marges op deze machines zullen een stuk hoger liggen dan die op GPUs voor consumenten. Verder blijft de lancering van de 50-serie natuurlijk lomp aangepakt.

[dasiro]

dit zullen niet de grote aantallen zijn waarvoor de desktop plaats moet ruimen in het orderboek, maar wel de datacenter-versies hiervan die met honderdduizenden tegelijk worden besteld en geïnstalleerd.

[Dennism]

Dit soort producten concurreert qua chips wel met desktops, maar niet qua volume. Dit soort zaken zijn altijd qua volume vrij niche, net als bijvoorbeeld Workstation GPU's. Je ziet vaak dat mensen denken dat een RTX Ada 6000 van +-€9k enorm zal bijten in bijvoorbeeld het RTX 4090 volume, want waarom zou je een RTX 4090 verkopen voor 2000 euro, als je ook een RTX Ada 6000 kon verkopen voor 9000 euro.

Maar het antwoord daar is volume, Nvidia's workstation GPU markt is 'maar' kijkende naar de laatste jaren zo'n 300 tot 500 miljoen dollar waard aan omzet per kwartaal, gaming zit veelal tussen de 2.5 en 3.5 miljard dollar per kwartaal. Met soms een uitschieter omhoog of omlaag.

De grote olifant in de kamer is echter Datacenter, met omzetten die begin tot 2021 en begin 2023 nog tussen de 2-4 miljard per kwartaal zaten, nu het laatste kwartaal op $35.6 miljard dollar in een kwartaal zat.

Al is het wel zo dat de groote AI GPU's niet alle capaciteit kunnen 'opeten', omdat Advanced packaging daar een grotere bottleneck is qua capaciteit dan 4nm wafer capaciteit bij TSMC voor Nvidia. De 4/5nm klasse node wordt echter dan wel weer beperkt qua beschikbaar volume omdat het simpelweg een enorm druk bezette node is, waar Apple, AMD, Nvidia, Qualcom, Intel en andere bedrijven 'vechten' om de beschikbare wafers.

[LordLuc]

Over 20 jaar zit dit gewoon in je telefoon. Bizarrrr.

[Dazzyreil]

Of over 20 jaar hebben we 8G en gaat alles via cloud computing met je telefoon

[Nico Klus]

Over 20 jaar denken we, wat is een telefoon?
#wirelessneurolink

[Jefrey Lijffijt]

Volgens mij is 3000 euro voor een machine met 128 GB unified memory super goedkoop en gaat dit echt een grote stap in toegankelijkheid teweeg brengen.

Ben benieuwd ook naar de prijs van de DGX Station, want nu een machine/cluster met een totaal van 768 GB aan GPU-memory in elkaar zetten (met H100s) kost volgens mij richting de 200.000 euro. Als het minder dan 50k gaat zijn (en daadwerkelijk te verkrijgen) dan zou het wel een enorme stap zijn.

[bantoo]

Ja de prijs is goed te doen, het alternatief is een Mac Studio met 128GB en dan zit je op 4500 euro.
Vraag is natuurlijk wel op dit doosje in de praktijk net zo snel is. Als dit ze gelukt is bij Nvidia kunnen de Mac Mini/Studio clusters al snel verleden tijd worden.

[Jefrey Lijffijt]

De geheugenbandbreedte zal veel uit maken, die van de M-reeks is hoog voor RAM, maar veel minder dan modern VRAM. Het verschil tussen tensor cores en de iGPUs in de M-reeks is wel echt heel groot. Het enige dat me bij deze specs opvalt is FP4; daarop zitten we niet te wachten volgens mij, maar ik weet niet of dat een extra feature is of dat dit een beperking is.

[bantoo]

FP4 word nogal wel eens voor inference gebruikt als je niet genoeg geheugen hebt, zou best wel eens een goede match kunnen zijn voor dit doosje.

[Inflatable]

Die 3000 euro is natuurlijk niet de werkelijke prijs straks.. Enige positieve wat ik (als consument) hieraan zie is dat de mensen dit dit nodig hebben ophouden massaal RTX 5090's op te kopen voor idiote prijzen.. Misschien dat we die dan voor wat meer voor normale prijzen gaan zien.. Al denk ik dat de productie en levering vanuit Nvidia laag zal blijven..

[goarilla]

Sommige misschien maar dit is een ARM chip met een custom OS/software stack. Niche op niche dus.

[Mative]

Deze zijn natuurlijk niet voor thuisgebruik, maar zou er in de toekomst een dergelijk kastje bij de mensen thuis kunnen staan?

Een onafhankelijk systeem dat je in je netwerk hangt en makkelijk te vervangen/upgraden is (zoals een mediaplayer aan je tv)?

Of is het waarschijnlijker dat dit voor de consument echt alleen maar via geïntegreerde 'Copilot' chips toegankelijk gemaakt wordt?

@Sylph-DS
Ik zat zelf meer te denken aan open source modellen die ik lokaal (en prive) kan draaien.

[Reactie gewijzigd door Mative op 19 maart 2025 21:55]

[Sylph-DS]

Ik zou geen 'copilot chips' verwachten. Wat ik eerder zou verwachten is dat AI-boeren hun spul lekker in de cloud houden, zodat de gebruiker daar van afhankelijk blijft en maandelijks blijft betalen. Dit zelfde gebeurt met Office 365, Adobe Creative Cloud, en dergelijke producten.

[Pinkys Brain]

128GB is net niks.

Was veel flexibeler geweest om 16 channels DDR5 te hebben op een langzamere GPU. Maar goed, willen zichzelf niet in de vingers snijden.

[Vaudtje]

Dit is unified memory, dus je hebt nu een GPU met 128GB (minus OS en applicaties), en dat is zeker niet niks als je een grote LLM wil draaien

[Pinkys Brain]

Nog steeds veel te weinig voor de grote MoE LLMs die nu in de mode komen (in China dan). Weinig compute nodig, veel geheugen.

Meer geschikt voor beeld/video.

[Crush40th]

Geen 5060 announcement jammer genoeg

[DaveFlash]

maar kan ik windows 11 pro installeren op deze moederboard?

[ArnoldSmit]

Dit moederbord,
Maar ja dat kan zeker, met Windows 11 Pro for ARM:
https://www.microsoft.com...e-download/windows11arm64
Of echter alle hardware wordt ondersteund durf ik niet te zeggen, driver support voor Windows ARM laat wat te wensen over.