Je eigen AI-supercomputer op je bureau, dat is de belofte van Nvidia's DGX Spark. In de mini-pc, want zo mogen we het computertje van vijftien bij vijftien centimeter toch wel noemen, zit de zogenaamde GB10-superchip. Die chip maakt gebruik van dezelfde cpu- en gpu-architecturen als de Blackwell-serverchips die Nvidia voor tienduizenden euro's aan datacenters verkoopt. Die serverversies gaan als warme broodjes over de toonbank, maar is deze kleine Blackwell ook leuk om als consument mee aan de slag te gaan?
De DGX Spark werd al bijna een jaar geleden aangekondigd en kwam in oktober vorig jaar echt uit, maar Nvidia stond in het begin niet te springen om een testexemplaar aan te leveren. Dankzij tussenkomst van ASUS konden we de afgelopen tijd toch aan de slag met een Ascent GX10, ASUS' versie van de DGX Spark. Net als bij zijn videokaarten verkoopt Nvidia zijn eigen Founders Edition, maar laat het fabrikanten als Acer, Dell, MSI en dus ASUS ook eigen varianten maken.
Arm-cpu en Blackwell-gpu met heel veel gedeeld geheugen
In de basis zijn de specificaties van de DGX Spark altijd hetzelfde. Het cpu-gedeelte van de op TSMC's N3-node geproduceerde GB10-superchip bestaat uit twintig Arm-cores: tien snelle Cortex-X925-cores en tien zuinige Cortex-A725-cores. Deze chip heeft Nvidia samen met MediaTek ontwikkeld. Het gpu-gedeelte, ondergebracht in een aparte die, heeft 6144 cores op basis van de Blackwell-architectuur, precies evenveel als de GeForce RTX 5070.
Waar de RTX 5070 slechts 12GB vram heeft, is de superchip gekoppeld aan een enorme pool van 128GB gedeeld Lpddr5x-geheugen. Dat is weliswaar 60 procent langzamer dan het GDDR7 van de genoemde desktop-gpu, maar wel ruim tien keer zo groot. Dat maakt het mogelijk om grote AI-modellen lokaal te draaien, zelfs modellen die niet in de 32GB vram van een RTX 5090 passen.
RTX 5070
GB10 (DGX Spark)
GB200
Cpu-cores
n.v.t.
20 (10P+10E)
72
Gpu-cores
6144
6144
2x 18944
Geheugen
12GB GDDR7
128GB Lpddr5x
180GB HBM3e
Geheugenbandbreedte
672GB/s
273GB/s
8TB/s
'SLI' met twee Sparks
De cpu- en gpu-dies communiceren met elkaar via NVLink-C2C, een interconnect die snelheden tot 600GB/s mogelijk maakt. Via de externe ConnectX7-aansluiting kun je twee DGX Spark-pc's combineren op een snelheid van 200Gbit/s. Als je dit doet, wordt de rekenkracht en geheugencapaciteit van beide pc's gecombineerd en kun je dus nog grotere AI-modellen inladen.
Naast de grote, propriëtaire ConnectX7-poort heeft de DGX Spark voor communicatie met de buitenwereld ook een 10Gbit/s-ethernetpoort en een Wi‑Fi 7-adapter. Nvidia raadt aan om, waar mogelijk, de bedrade netwerkverbinding te gebruiken voor de beste prestaties.
Om het apparaat als standalone desktop te gebruiken heeft de DGX Spark een HDMI 2.1-poort en vier USB-C-poorten. Een daarvan wordt per definitie in beslag genomen door de meegeleverde USB-C-lader, die maximaal 240W kan leveren aan het systeem. De overige poorten werken op 20Gbit/s en kunnen ook DisplayPort-signaal uitsturen naar een monitor.
Prijzen
Zoals gezegd verkoopt Nvidia van de DGX Spark een eigen Founders Edition. Die is op het moment van schrijven te krijgen vanaf 4399 euro en heeft een 4TB-ssd, al zal dat vermoedelijk gaan stijgen nu Nvidia een officiële verhoging van de adviesprijs heeft aangekondigd. Sommige fabrikanten verkopen hun eigen varianten ook met 1TB of 2TB, waardoor ze veel goedkoper zijn.
De ASUS Ascent GX10 is in alle drie de capaciteiten verkrijgbaar. De 1TB-versie is al vanaf iets meer dan 3400 euro te koop, voor de 2TB-editie betaal je 3800 euro en de 4TB-variant kost je zo'n 4300 euro. In alle gevallen is ASUS daarmee de goedkoopste fabrikant van DGX Spark-gebaseerde pc's, al zijn de prijzen de afgelopen weken flink aan het stijgen.
Voor wie is de DGX Spark?
Het gpu-gedeelte van de DGX Spark is zoals we gezien hebben ruwweg gelijk aan een RTX 5070. Ook de theoretische AI-prestaties zijn gelijk, met ongeveer 500tflops aan dense fp4-performance en het dubbele, dus bijna 1 petaflop, wanneer sparsity wordt toegepast. Sparsity verdubbelt in theorie de prestaties omdat de nulwaarden in matrixen worden overgeslagen, wat effectief een soort compressie is.
Waarom zou je dan een DGX Spark van drie- tot vierduizend euro kopen als je een pc met een RTX 5070 al voor de helft in huis haalt? Die vraag heeft twee antwoorden. Het eerste is puur hardwarematig: het veel grotere geheugen staat het draaien van veel grotere AI-modellen toe. Het tweede antwoord gaat meer over de gebruiksdoelen van de Spark.
Je kunt op de DGX Spark gewoon een monitor, toetsenbord en muis aansluiten en er AI-modellen op gaan draaien, maar Nvidia ziet een grote rol voor het 'offloaden' van het rekenwerk naar de Spark. Je werkt dan gewoon op je eigen pc en stuurt prompts via het netwerk naar het model dat op Nvidia's mini-pc draait. Waar AI-rekenwerk op je eigen systeem een hoop resources zou opslokken, kun je nu ongehinderd doorwerken terwijl de Spark zijn ding doet.
De DGX Spark Founders Edition van Nvidia zelf
Experimenteren of gevoelige data lokaal verwerken
Doordat de Spark wat architectuur betreft identiek is aan de serverhardware die Nvidia levert, kan het systeem ook gebruikt worden om kleinschalige taken te ontwikkelen die later opgeschaald worden naar een veel krachtigere server. Het experimenteren met of finetunen van een model kun je dan op de Spark doen; de daadwerkelijke productie vindt bijvoorbeeld in een datacenter of in de cloud plaats.
Daarbij gaan we er al van uit dat je toegang hebt tot AI-rekenkracht op een server; het kan natuurlijk ook zijn dat de DGX Spark je enige krachtige systeem is. Of dat je werkt met gevoelige data die je om principiële redenen alleen lokaal wilt verwerken. In die gevallen concurreert de DGX Spark vooral met andere systemen met een krachtige gpu en een grote hoeveelheid geheugen, zoals de Mac Studio en systemen gebaseerd op AMD's Ryzen AI Max+-processors.
De software: DGX OS
Als je de Spark voor het eerst opstart, kom je meerdere opties tegen om hem klaar te maken voor gebruik. Je kunt uiteraard een toetsenbord of muis aansluiten op de mini-pc en hem instellen als een gewone computer, maar je kunt er ook voor kiezen om het installatieproces te doorlopen via een ander apparaat. In dat laatste geval maakt de Spark een eigen wifiverbinding aan. Als je daar op je pc of laptop verbinding mee maakt, kun je het installatieproces via je webbrowser doorlopen.
Tijdens het installatieproces kom je een aantal instelstappen tegen. Denk aan het uitkiezen van een toetsenbordlay-out, het instellen van een tijdzone, het aanmaken van een (lokaal) gebruikersaccount en eventueel het verbinding maken met een wifinetwerk. Als dat is gebeurd, start de Spark opnieuw op en is hij klaar voor gebruik.
Gebaseerd op Ubuntu
Nvidia's eigen Arm-soc ondersteunt geen Windows en gebruikt daarom een eigen besturingssysteem. Nvidia heeft daarvoor een eigen Linux-distributie gebouwd, genaamd DGX OS.
DGX OS is gebaseerd op het gangbare Ubuntu 24.04 LTS en lijkt in gebruik sterk op de 'gewone' versie van Ubuntu. Maar natuurlijk is DGX OS voorzien van alle benodigde drivers en andere resources om de Spark te gebruiken.
Nvidia DGX OS
Eenmaal ingelogd zullen Ubuntu-gebruikers geen verrassingen tegenkomen. Het OS gebruikt de Gnome-desktopomgeving en is daarin niet wezenlijk anders dan de doorsnee pc met Ubuntu erop. Je kunt de Spark dan ook prima gebruiken als een gewone Linux-pc; hij heeft een webbrowser, een voorgeïnstalleerde e-mailclient en officesoftware, een appstore vol Linux-apps om te downloaden en zelfs een paar spelletjes (denk aan solitaire, sudoku en minesweeper).
De wijzigingen die Nvidia heeft doorgevoerd ten opzichte van het gewone Ubuntu, zie je vooral terug onder de motorkap en in enkele voorgeïnstalleerde webapps. De Spark heeft standaard een dashboard, waarmee je via de webbrowser je systeem kunt beheren. Je kunt er bijvoorbeeld zien hoeveel geheugen en gpu-rekenkracht er wordt gebruikt, maar ook documentatie inzien en systeemupdates en nieuwe drivers installeren.
Daarnaast levert Nvidia standaard een link naar Nvidia's Build-website, met informatie en instructies voor het installeren van veel verschillende apps op de Spark. Hoewel de DGX Spark is bedoeld voor ontwikkelaars, hoef je dus geen ervaren Linux-gebruiker te zijn om ermee uit de voeten te kunnen.
DGX Dashboard
Nvidia Build
De Build-website bevat veel 'playbooks', waarin je stap voor stap bij de hand wordt genomen bij het installeren van nieuwe apps. Denk aan het installeren van AI-apps als ComfyUI en Open Web UI en de bijbehorende AI-modellen om ze te gebruiken.
Om maar met de deur in huis te vallen: bij veel van die playbooks moet je de installatie vrijwel volledig in de terminal uitvoeren, maar dat is minder intimiderend dan het klinkt. Via de Build-website is het meestal een kwestie van commando's kopiëren en in de terminal plakken, zonder dat je daar verder naar om hoeft te kijken. De rest gaat dan vanzelf.
Nvidia geeft bij ieder playbook een verwachte installatietijd aan, hoewel die in onze ervaring vaak niet klopt. Het playbook voor ComfyUI zegt dat de installatie drie kwartier duurt, maar het kostte ons amper tien minuten. Dit zal sterk afhangen van de snelheid van je internetverbinding, aangezien er grote bestanden bij komen kijken. Deze werkwijze maakt het gebruik van Linux en het zelf bouwen en compileren van applicaties een peulenschil.
Nvidia Build-instructies en het eindresultaat: een werkende ComfyUI-instance
De Spark gebruiken vanaf je Windows-pc of MacBook
Al die apps kunnen vervolgens op de Spark zelf draaien, meestal via de webbrowser, maar je kunt het geheel ook aansturen vanaf een ander systeem. Via de Nvidia Sync-app voor Windows, macOS en Linux kun je op afstand verbinding maken met je DGX Spark en via de browser AI-workloads uitvoeren.
Ook het instellen daarvan gaat verrassend simpel. Download de app en installeer die op je pc, en vul vervolgens de gegevens van je DGX Spark in, zoals het IP-adres van je Spark en de inloggegevens van je gebruikersaccount. De app maakt vervolgens verbinding met de Spark en laat je op afstand werken met ComfyUI, Visual Studio Code, de terminal en andere diensten die op de Spark draaien. Als je wilt, kun je Linux dus vrijwel volledig negeren en gewoon je vertrouwde Windows-pc of MacBook gebruiken.
Benchmarks: cpu
Omdat de DGX Spark dus gebruikmaakt van Linux én ook nog eens een Arm-cpu heeft, draaien lang niet alle gebruikelijke benchmarks op het apparaat. Daarom hebben we een specifieke selectie tests uitgezocht die we zowel op de DGX Spark als op de Framework Desktop hebben gedraaid. Dat systeem is voorzien van een Ryzen AI Max+-processor en 128GB geheugen, waardoor je er net als op de Spark grote AI-modellen op kunt uitvoeren.
Geekbench 6 is een van de weinige reguliere benchmarks die we wel konden draaien, al is de versie voor Arm-gebaseerde Linux-systemen officieel nog in bèta. Deze benchmark test alleen de cpu-prestaties.
In de singlethreaded test scoort de Grace GB10-cpu ruim 3100 punten. Daarmee haalt hij het niet bij de nieuwste series van AMD en Intel, maar is hij per core wel sneller dan bijvoorbeeld de Ryzen 7000-serie van AMD.
In de multithreaded test komt de DGX Spark tot bijna 20.000 punten. Dat is sneller dan een Ryzen 7 9850X3D en net wat langzamer dan een Core Ultra 7 265K.
Benchmarks: AI
Waar de DGX Spark echt in moet excelleren, is natuurlijk het uitvoeren van AI-workloads. We hebben de prestaties in een hele sloot llm's en in de imagegenerationtool ComfyUI gemeten. Naast op de DGX Spark hebben we alle tests ook uitgevoerd op de Strix Halo-gebaseerde Framework Desktop.
Prestaties llm's
Voor het testen van llm's maken we gebruik van de tool llama.cpp, waarvoor zowel AMD als Nvidia eigen geoptimaliseerde builds op basis van respectievelijk ROCm en CUDA hebben. Met de gestandaardiseerde test llama-bench, die willekeurige prompts gebruikt, meten we de prefill- en decodesnelheden van elk AI-model. In de prefillfase wordt de prompt verwerkt, in de decodefase wordt de daadwerkelijke tekst gegenereerd.
In de prefillfase is de DGX Spark overtuigend sneller dan de Framework Desktop met AMD's Strix Halo-processor. De grootste verschillen zien we in het kleine Gemma-3-4b-model en in het enorme Llama 3.3 70B-model met 8bit-precisie. De Nvidia DGX Spark is dan wel drie tot vijf keer zo snel.
Opvallend is dat de stap van het Llama 3.3-model met Q4 naar Q8 op de DGX Spark niet voor een verdere prestatieafname zorgt, terwijl dat op de Framework Desktop wel gebeurt.
Tijdens de fase waarin het AI-model daadwerkelijk output genereert, zijn beide pc's veel meer aan elkaar gewaagd. In vrijwel alle modellen is de DGX Spark ongeveer 25 procent sneller dan de Strix Halo-chip in de Framework Desktop. Alleen in de zwaarste variant van het Llama 3.3-model gaat de AMD-pc verder onderuit dan je zou verwachten. Dat systeem had moeite met die specifieke test; in de standaardmodus met dynamische vram-toewijzing liep llama.cpp vast. Alleen met handmatige toewijzing van 64GB vram ging de test wel goed. Op de DGX Spark heb je dat probleem niet, omdat de geheugenpool bij Nvidia's mini-pc volledig gedeeld is tussen cpu en gpu.
DGX Spark vs. andere gpu's en de Mac Studio
Om extra context te geven, hebben we hieronder de prestaties van de DGX Spark en de Framework Desktop naast diverse eerder gedraaide benchmarks gezet. Dat gaat om gpu's en de Mac Studio met 512GB ram, die inmiddels retour is naar Apple. Omdat deze benchmarks met LM Studio zijn uitgevoerd, wat een beetje overhead toevoegt, zijn ze niet honderd procent vergelijkbaar, maar ze geven wel een indicatie van hoe de DGX Spark zich tot deze alternatieven verhoudt.
In bovenstaande grafieken zie je duidelijk dat de kracht van de DGX Spark niet ligt bij kleine llm's, die eenvoudig in het (veel snellere) vram van een losse videokaart passen. In Gemma 3-4b is zelfs een RTX 5070 al ruim sneller. Naarmate het model groter wordt en niet langer in het vram van een videokaart past, stijgen de DGX Spark, Framework Desktop en Mac Studio steeds verder in de grafiek.
De Llama 3.3 70B-modellen passen niet eens in het vram van een RTX 5090. De Mac Studio blijft bij die zware modellen onverslaanbaar, maar de DGX Spark weert zich kraniger dan de AMD Strix Halo-cpu in de Framework Desktop als er 8bit-quantization wordt toegepast. Waar de prestaties van het AMD-systeem dan nog verder inzakken, blijven die van de Spark constant.
Prestaties imagegeneration
Voor het testen van de prestaties bij het genereren van afbeeldingen hebben we het krachtige FLUX.2 [dev]-model aan het werk gezet. Dat doen we in ComfyUI, een tool die door Nvidia wordt aanbevolen voor gebruik op de DGX Spark. Sinds vorige maand is er bovendien officiële AMD ROCm-ondersteuning.
We laten het model tien afbeeldingen van 1920 bij 1088 pixels genereren, met een vaste prompt van ongeveer 80 tokens. Na afloop noteren we de gemiddelde tijd die het model bezig is geweest met het genereren van de plaatjes en de totale verwerkingstijd van de opdracht.
Op dit vlak loopt de DGX Spark veel verder uit op de AMD-gebaseerde Framework Desktop. De Nvidia-mini-pc had ruim 2 minuten per afbeelding nodig, wat opliep naar 2,5 minuut voor het complete proces. De Framework Desktop deed daar respectievelijk 10 en bijna 15 minuten over. Ook hier bleek het opnieuw nodig om handmatig de hoeveelheid vram te fixeren, omdat anders de AMD-driver crashte.
Hier komt duidelijk naar voren dat beide systemen weliswaar een vergelijkbare hoeveelheid en snelheid geheugen hebben, maar dat de gpu in de DGX Spark aanzienlijk krachtiger is. Waar llm's al gauw beperkt worden door de geheugenbandbreedte, leunt imagegeneration veel zwaarder op de rekenkracht van de gpu.
Benchmarks: gaming
Als de DGX Spark een gpu heeft die vergelijkbaar is met de RTX 5070 en een enorme sloot vram, dan kun je er vast ook op gamen, toch? Ja, met een maar ... Het vertalen van voor Windows gemaakte DirectX-games is dankzij Proton vaak geen probleem meer, alleen de DGX Spark heeft ook nog eens een Arm-cpu in plaats van een reguliere x86-cpu. Naast de vertaling van grafische instructies moet dus ook de x86-architectuur worden geëmuleerd.
Nvidia beveelt daarvoor de FEX-emulator aan. Met een script dat daarnaast automatisch Steam installeert heb je de boel vrij snel draaiend.
Al het vertalen en emuleren trekt echter een serieuze wissel op de prestaties. Op 1080p Ultra haalt de DGX Spark in Cyberpunk 2077 67fps, tegenover 84fps voor de Framework Desktop. Normaliter haalt AMD's Strix Halo-chip ongeveer het prestatieniveau van een RTX 4060, dus de RTX 5070-achtige gpu in de DGX Spark zou eigenlijk veel sneller moeten zijn.
Naast rendering op de native resolutie hebben we ook DLSS in Quality-modus getest. Dat voegt nauwelijks iets toe aan de framerate. Nvidia heeft nog een andere truc, namelijk framegeneration. Aangezien de DGX Spark dezelfde architectuur gebruikt als de RTX 50-serie voor desktops, is tot viervoudige multiframegeneration mogelijk. Met DLSS in de snellere Performance-modus en 4x MFG stijgt de framerate op 1080p plots naar 226fps en haal je zelfs op 4k nog bijna 80fps.
Met raytracing ingeschakeld doet de Nvidia-gpu het verhoudingsgewijs beter. De Strix Halo-processor in de Framework Desktop gebruikt immers nog een RDNA 3.5-gpu en mist daardoor de raytracingverbeteringen van RDNA 4. Dat is ook de reden waarom de Strix Halo-machine niet overweg kan met FSR 4.
Op 4k-resolutie lijkt de framerate met 59fps nog best aardig, maar door de lage basisframerate is de daadwerkelijke game-ervaring weinig soepel. Op 1440p met raytracing kom je nog redelijk uit de voeten met de DGX Spark.
Energiegebruik en geluidsproductie
Net als bij videokaarten is de belangrijkste manier voor fabrikanten om zich te onderscheiden de koeling. De chips in de ASUS Ascent GX10 zijn immers precies dezelfde als in alle andere varianten van de DGX Spark, maar de behuizing en het koelsysteem heeft ASUS zelf ontworpen.
De heatsink van de Ascent GX10 is een huzarenstukje. Er lopen maar liefst vijf heatpipes door het systeem, waaronder een extra dikke 8mm-heatpipe. Ze maken niet alleen contact met de GB10-superchip, maar ook met de geheugenchips en zelfs de netwerkkaart. Twee radiale fans blazen frisse lucht door het koelblok, dat uit 57 vinnen bestaat en ongeveer de helft van de mini-pc beslaat, en vervolgens aan de achterkant naar buiten. Het fanprofiel bestaat uit zeven stappen, wat de Ascent GX10 volgens ASUS stiller zou moeten maken dan andere DGX Spark-systemen.
Energiegebruik
Geluidsproductie
Idle
38,5W
14,9dB(A)
Llama-3.3-70B
128,6W
21,5dB(A)
Cpu-stresstest
122,5W
28,4dB(A)
De DGX Spark is opvallend stil, zelfs als hij flink staat te stampen. In idle verbruikt de machine ongeveer 39W, waarbij hij met nog geen 15dB(A) amper hoorbaar is. Tijdens inferencing met een zwaar AI-model of een volledige cpu-load zit het energiegebruik tussen de 120 en 130W. De geluidsproductie varieert daarbij wel. Tijdens het AI-rekenwerk meten we nog geen 22dB(A) op een halve meter afstand; bij de cpu-stresstest loopt dat op naar 28dB(A). Aan het einde van de tien minuten durende test maten we kortstondig zelfs 31dB(A). In een kantooromgeving zal dat waarschijnlijk wegvallen, maar in een stille ruimte is dan een lichte zoem hoorbaar.
De temperatuur van de GB10-chip in de DGX Spark was in de loadscenario's rond de 60 graden en bleef dus keurig onder controle.
Voor zijn eigen Founders Edition heeft Nvidia recent een update uitgebracht die het idleverbruik verlaagt naar onder de 30W. Ook met de nieuwste updates konden we dit op het ASUS-model nog niet reproduceren. Vanwege Chinees Nieuwjaar hebben we nog geen reactie gekregen op vragen hierover.
Upgrademogelijkheden
Het metalen chassis is te openen door de bodemplaat los te halen. Daarmee krijg je toegang tot de enige upgradeoptie die de Ascent GX10 heeft: de ssd. Het enkele slot ondersteunt PCIe 5.0, maar gebruikt wel het zeldzame M.2 2242-formaat. Dat betekent dat reguliere M.2-ssd's van 80mm lang niet passen. Let daar dus goed op als je de ssd achteraf wilt upgraden.
Conclusie
Doe je niets met AI? Dan heb je ook niets aan de DGX Spark. Maar als AI-ontwikkelaar is Nvidia's krachtige mini-pc'tje bijna het ultieme speelgoed. Je kunt enorme AI-modellen lokaal draaien en finetunen met dezelfde softwarestack als in de peperdure Grace Blackwell-servers van Nvidia. Dat maakt de Spark erg geschikt om met modellen te experimenteren zonder ze naar productieservers uit te rollen, of data te verwerken die je niet in een cloudomgeving wilt hebben.
Een kant-en-klaar AI-kastje is de DGX Spark alleen niet. Zelfs als je de gebruiksvriendelijke 'playbooks' volgt die Nvidia op zijn website heeft staan, bevind je je binnen de kortste keren in terminalvensters of loop je je Spark in te ssh'en. Wat Linux-ervaring komt dus van pas, en anders doe je die, of je dat nu wilt of niet, vanzelf wel op.
De ASUS Ascent GX10 is stil en flexibel, maar niet perfect
ASUS heeft met de Ascent GX10 een van de aantrekkelijkste kastjes om de DGX Spark heen gebouwd. De goed uitgedachte koeling zorgt ervoor dat de temperaturen onder controle blijven, terwijl de geluidsproductie aangenaam laag blijft. Een praktische handigheid is dat ASUS de powerknop op de voorkant heeft gezet, waar die in Nvidia's referentieontwerp – en daardoor bij alle andere Spark-varianten – aan de achterkant zit.
Het is ons niet volledig duidelijk of fabrikanten van Nvidia de vrijheid krijgen om ook de printplaat aan te passen, maar we hadden graag ondersteuning voor reguliere 80mm-ssd's gezien. Ook wat USB-A-poorten voor het aansluiten van randapparatuur waren een handige toevoeging geweest. Tenzij je de DGX Spark volledig headless gebruikt, zul je nu met adaptertjes of hubjes aan de slag moeten.
ASUS is een van de weinige oem's die de DGX Spark met ssd-opties van 1, 2 en 4TB verkoopt, waardoor je de goedkoopste variant al voor 3200 euro in huis haalt. Dat is in absolute zin veel geld, maar valt zonder meer competitief te noemen in vergelijking met bijvoorbeeld een AMD Strix Halo-gebaseerd systeem of een Mac Studio met evenveel ram. Je moet er de usecase voor hebben, maar als je al een tijdje een oogje op een DGX Spark had, is de ASUS Ascent GX10 een goede optie.
Leuke review! Misschien een leuk filmpje als ik deze mag noemen, het maken van een cluster met deze Sparks: YouTube: NVIDIA didn't want me to do this Deze man heeft mooie spullen en pakt het niet zo doordacht en professioneel aan als Tweakers, maar toch wel interessant om te zien hoe je ze in de praktijk aan elkaar knoopt.
Zoals op een beurs vertaald door de ontwerper van het bordje, de kastjes kunnen technisch met meer dan 2 aan elkaar verbonden worden, er is initieel alleen een software limiet van 2.
Heel gaaf dat deze YouTuber dat heeft weten te omzeilen met een speciale switch.
Na de configuratie en laat ste updates draaien kun je dit al draaide hebben door simpelweg de ollama installatie stappen te volgen op https://build.nvidia.com/spark - de standaard start pagina van de voor geïnstalleerde FireFox browser.
En het model te downloaden via
ollama pull qwen3-coder-next
En dan Claude codér te installeren en dan
ollama launch claude --model qwen3-coder-next
Je kunt direct op het kastje werken met bluetooth keyboard en muis en hdmi monitor of via de ssh set-up van NVIDIA via WiFi7 of bedraad.
Let op als je start met UTP kabel er in verwacht ie een opstart schijf op je netwerk. Dus altijd ff geen netwerk kabel er in tijdens het starten van de machine.
[Reactie gewijzigd door djwice op 12 maart 2026 07:40]
Het have van de speciale 200Gbit poorten is dat ze de GB10 en het geheugen van de twee kastjes direct met elkaar verbinden, er zit zelfs geen TCP/IP meer tussen. Dit geen extreme lage latacy em dus een grotere throughput dan dat je überhaupt vis UTP of USB-c kunt halen.
Als je er twee hebt kun je dus modellen van meer dan 200GB groot draaien. Dit werkt hetzelfde als bij de data center GPU's, en dus niet zoals twee kaarten in een PC die via PCIe met elkaar communiceren.
RDMA, waarmee je dus direct het geheugen van de ene op de andere machine kunt aanspreken, is zeker niet uniek voor deze systemen. Er zijn wel meer kaarten die dit gebruiken. De techniek wordt onder andere ook door sommige hypervisors gebruikt om sneller virtuele machines van de ene host naar de andere te migreren terwijl deze blijft draaien.
En ja, met meerdere van deze computers kan je bepaalde grotere modellen wel draaien, maar dan moet de bijhorende software het alsnog ondersteunen, wat zeker niet altijd het geval is.
vLLM ondersteunt dit gewoon en hier is de installatie instructie van Nvidia https://build.nvidia.com/spark/sglang deze is met 2 klikken vanaf het start scherm te bereiken: start FireFox, pagina is de standaard start pagina en klik vLLM en bovenstaande pagina is er al.
Dus super gebruikersgericht.
En dit werkt dus voor je GPU en CPU over een externe kabel die twee computers verbind, zonder dat je überhaupt zelf de PC open hoeft te schroeven voor een 2e grafische kaart, 2e cpu, extra geheugen of een speciale netwerk kaart.
[Reactie gewijzigd door djwice op 12 maart 2026 07:58]
Ik heb m op de wenslijst gezet. Op dagelijkse basis werk ik vooral aan video op mijn x86+RTX5080 en soms aan trainen van kleine modellen. Ik vraag me nu af of dit misschien (veel) energiezuiniger gaat zijn dan mijn PC opzet?
Pas geleden aan Gemini gevraagd wanneer locale AI's in de buurt zouden komen van wat je nu met de (betaalde) online versies kan, en het antwoord was dat dit nog wel een hele tijd zou gaan duren.
Hoorde ook dat als je een selectieve AI gebruikt die heel goed in 1 ding is, in de buurt kan komen van de online AI's, weet niet of dit klopt.
Mijn beleving is nu echter nog steeds dat je voor dit bedrag een behoorlijk lange tijd een abonnement bij een gemini b.v. kunt afsluiten die waarschijnlijk betere prestaties heeft dan deze lokale AI.
Dan blijft het natuurlijk stiekem toch wel leuk om je eigen AI te hebben, en bijvoorbeeld te koppelen aan home assistant.
Gebruik op mijn werk co-pilot, en ben nog altijd onder de indruk wat deze kwa python programmeren opleverd, ik gebruik dit voor snelle analyse scripts die data herstructureerd en plot e.d. (geen echte software development dus )
Locale LLMs zijn best goed geworden, maar er zijn 2 dingen hoeveel geld wil je er in steken en hoe snel moet het antwoord komen? En dan komt nog bij gaande vragen geluid warmte en stroom.
Meer geheugen geeft je betere antwoorden op complexere problemen. Nvidia 5090 is leuk maar ook beperkt in geheugen, stoot veel warmte uit ev vreet stroom . Met Ai kun je video kaarten koppelen 3 x 4080 of and Radeon 7 / mi50 maar wat ik zie heel veel Developers zetten in op een Apple! Het is zelfs zo erg dat Mac mini (pro met 14cpu/20gpu 64gb ram) een backlog heeft van 7-8 weken. Ze zijn niet de snelste, maar hebben veel geheugen zijn still en met de Thunderbolt 5 kun je er meerdere aan elkaar koppelen. En ze zijn relatief goedkoop.
Mocht je zelf Ai locaal willen draaien zijn er genoeg YouTube videos die je een indruk kunnen geven of locaal Ai iets voor je is. Maar het is niet goedkoop.
Ik heb zelf recentelijjk de Bosgame M5 én de Asus ascent gekocht. Die zijn tussen kerst en vandaag al meerdere keren in prijs verhoogd en het einde lijkt niog niet in zicht. De bosgame M5 was met een prijs van net onder de 2k een no-brainer, ongeacht dat het met amd gpu is. Wat me opvalt aan beide is dat ze écht klein zijn. Heb ze nog niet kunnen testen, maar ik ga vermoeden dat zeker de Bosgame M5 kan gaan throttlen bij continue belasting.
Het enige jammere aan de bosgame is dat er geen uitbreidingsmogelijkheden zijn. Als dat platform een x16 pcie slot zou hebben zou dit als zoete broodjes over de toonbank gaan, maar helaas gaat dat niet, zover ik begrijp is het het halo strix platform wat niet genoeg lanes heeft. Anders kon je voor 2k een ai platform hebben om te starten en bij behoefte naar meer power een dgpu erin planten.
Maar je kunt niet alles hebben. Ik ben pas begonnen met he spelen met ai/llm,maar het lijkt erop dat amd gestaag aan de software aan het timmeren is als ik de diverse updates van amd voorbij zie komen. Ben benieuwd of ze dat volhouden.
Het enige verschil tussen de merken is: het kastje, de koeling en de hardeschijf. Het is een NVMe PCIe 5.0 interface voor korte(!) schijven.
De meeste fabrikanten stoppen er nog een nvme 4.0 schijfje in Nvidia niet. Snelheidsverschil ~ factor 2 in Lees/schrijf acties.
Je kunt het schijfje gewoon vervangen,MAAR korte nvme schrijven in PCIe 5.0 zijn nog lastig te verkrijgen en erg duur.
De kastjes van Dell maken meer geluid dan de andere merken. Bij Asus en NVIDIA hoor je niet of ze aan staan in de meeste gevallen.
Dus kunnen in de nacht gewoon door werken zonder dat je er last van hebt.
[Reactie gewijzigd door djwice op 12 maart 2026 07:02]
Het gaat om opstart tijden van je modellen, maar ook om tijden van het lezen van data tijdens het trainen van modellen.
Modellen die hier op draaien zijn bijvoorbeeld 65GB of 80GB (of meer). Het verschil in laadtijd is dan in plaats van 11 seconden ineens 6 seconden.
Het is aan een ieder om daar zelf keuzes in te maken.
Maar voor de duidelijkheid, je kunt hier ook video modellen op draaien, bijvoorbeeld LTX-2 : in 400 seconden heb je 5 seconden HD video en audio gemaakt vanaf een foto en beschrijving.
En in 1 minuut heb je van een bestaand liedje de tekst vervangen, waarbij het klinkt alsof de originele zanger het zong en uitvoerde met dezelfde band, met ACE-1.5 bijvoorbeeld.
Het is dus veel meer dan alleen LLM-draaien wat dit kastje doet.
[Reactie gewijzigd door djwice op 12 maart 2026 07:26]
Het gaat om seconden, vaak op taken van minuten dus eigenlijk zijn deze wacht tijden voor het laden van het model niet echt wereld schokkende. Misschien als je 256+ GB modellen hebt zul je iets merken maar paar seconden is niets op een totale taak.
Wat veel meer invloed heeft is het geheugen hoeveelheid en snelheid van dat geheugen. Dat heeft veel meer invloed op Ai workloads. Past je workloads in video geheugen dan maakt het wel uit welke interface je hebt. Aangezien dan systeem geheugen aangesproken wordt. Ik ben trouwens benieuwd naar de Apple M5 chip Vs spark. Want apple verkoopt bergen mac mini's met M4
In het kort je zorgt dat lokale modellen jouw data begrijpen of zelfs kennen. Van jouw manier van schrijven, jouw manier van tekenen, jouw manier van spraken, hoe jij er uit ziet of hoe je muziek maakt of beweegt
Maar ook jouw handleidingen etc.
En daarna kun je het model dus lokaal draaien op dit kastje of op de GPU in je computer of op een GPU in je data centrum.
En kun je vragen stellen over je handleidingen of kun je iets laten maken dat lijkt op wat je zelf gemaakt zou hebben.
Als dat onder Linux draait op ARM en op NVIDIA Blackwell GPU's: ja.
Maar voor hashes kun je wellicht beter een FPGA kopen. Sneller en goedkoper voor dat doel.
[Reactie gewijzigd door djwice op 12 maart 2026 07:32]
"maar Nvidia stond in het begin niet te springen om een testexemplaar aan te leveren"
Dit is bijzonder en zou misschien anders verwoord moeten worden. Er werden namelijk HEEL veel Sparks uitgedeeld aan onderzoekers en research labs, X, bsky en LinkedIn stond er vol van. Misschien dus dat de pers wat opzij geschoven werd.
[Reactie gewijzigd door BramVroy op 12 maart 2026 07:41]
:strip_exif()/i/2008017666.jpeg?f=imagearticlefull)
:strip_exif()/i/2008024004.jpeg?f=imagegallery)
/i/2008023956.png?f=imagegallery)
/i/2008023984.png?f=imagegallery)
/i/2008023972.png?f=imagearticlefull)
:fill(white):strip_exif()/i/2008023976.jpeg?f=imagemedium)
:strip_exif()/i/2008017662.jpeg?f=imagegallery)
:strip_exif()/i/2008017664.jpeg?f=imagegallery)
:fill(white):strip_exif()/i/2007921908.jpeg?f=thumbmedium)
:strip_exif()/i/2007843850.webp?f=thumbmedium)
/i/2007392276.png?f=fpa_thumb)
:strip_exif()/i/2008033538.jpeg?f=fpa)
/i/2007841882.png?f=fpa)
/i/2004919460.png?f=fpa)
/u/12436/p1_normal.png?f=community){kind=small}
:strip_icc():strip_exif()/u/78725/train-icon3.jpg?f=community){kind=small}
:strip_exif()/u/64172/crop63592a78cad19.gif?f=community){kind=small}
):strip_icc():strip_exif()/u/26392/3wideavatar1.jpg?f=community){kind=avatar}
/u/325014/Inter3-play.png?f=community){kind=small}