Wil je kleinschalig aan de slag met de AI-softwarestack van Nvidia's datacenter-gpu's, dan is de DGX Spark iets voor jou. Dankzij de 128GB gedeeld geheugen kun je enorme AI-modellen lokaal draaien, wat handig is voor experimenteren of voor het verwerken van data die je liever niet naar een cloud uploadt. De ASUS Ascent GX10 is een flexibele en stille uitvoering van de Spark, al hebben we wat praktische aanmerkingen. Houd er bovendien rekening mee dat enige Linux-kennis helpt bij het gebruik van de DGX Spark. Lees verder »
Het lokaal LLM's draaien op de Asus GX10 levert vele voordelen op:
* geen tokenlimiet (abo)
* geen prijs per token (api)
* data blijft binnenshuis (dus je kan vrolijk je terminal logs in de prompt dumpen)
* vrije modelkeuze
Ik weet dat het altijd gekker, groter, en duurder kan, maar voor mij was dit een erg interessant "tussenstation". Ik gebruik de Asus alleen om modellen te draaien. Qwen3-Coder-Next-FP8 is op dit moment mijn favoriet. In combinatie met vLLM werkt dit razendsnel als code assistant.
Decode snelheid staat genoemd als minpunt, maar onderschat niet het gemakt van een razendsnelle prefill fase. In de praktijk is dit gewoon echt snel genoeg voor wat ik ermee doe. En ik draai modellen die op mijn macbook met 24 G gewoonweg niet zouden passen.