Zelfs Apple-chips kunnen meedoen in lokaal AI-cluster van Nvidia's PAIR

Nvidia komt met Personal AI Router (PAIR): opensourcesoftware waarmee je apparaten op je lokale netwerk kunt laten samenwerken aan AI-taken. Dat werkt niet alleen met GeForce-kaarten, maar ook met andere gpu's of socs. PAIR is nu beschikbaar om te downloaden als bètaversie.

De PAIR-software herkent apparaten met AI-rekenkracht op je lokale netwerk. PAIR verdeelt vervolgens een AI-rekentaak over die apparaten en houdt daarbij rekening met de rekenkracht van iedere gpu. PAIR kan gpu's ook even met rust laten als ze al in gebruik zijn, bijvoorbeeld voor gaming.

PAIR is compatibel met Ollama en LM Studio. Die programma's draaien nog steeds het AI-model. PAIR dient alleen als router. Nvidia ziet vooral toepassing in workflows waarin een AI-agent een taak opsplitst in meerdere subagents, die elk een deel ervan afhandelen. Met PAIR kunnen meerdere agents parallel draaien, wat tijdwinst moet opleveren ten opzichte van één systeem dat iedere agent achter elkaar laat werken.

Ook andere gpu's mogen meedoen

De gpu's die via PAIR worden aangesproken, kunnen natuurlijk Nvidia's RTX-videokaarten zijn of een DGX Spark. Je kunt ook een gpu of soc van een ander merk opnemen in een PAIR-cluster. Nvidia noemt specifiek een Apple M4-soc of een nieuwer model. Met Nvidia-hardware werkt het in ieder geval vanaf de RTX 20-serie.

Screenshot van de PAIR-software die een taak verdeelt

Op basis van de herkende apparaten kun je gpu's voor AI-rekentaken aan een cluster toevoegen. Je kunt er dus ook voor kiezen om bepaalde apparaten in je netwerk uit te sluiten. Nvidia heeft PAIR vooralsnog getest met 18 gpu's. Er kunnen in theorie nog meer kaarten samenwerken.

Nvidia PAIR is nu beschikbaar om te downloaden. Het gaat voorlopig om een bètaversie. Het programma kan draaien onder Windows 11, Ubuntu, DGX OS (op Nvidia's eigen DGX Spark) en macOS.

Reacties (11)

[Yzord]

Dus mijn M3 Ultra mag niet mee doen?

[GerritGekke]

Precies. Jou ultra niet

[Recursio]

Jouw.

[Xbeek]

Klinkt idd raar, M3 ultra is altijd krachtiger dan M4 of M4 Pro, lijkt mij... Zou er iets in het design veranderd zijn vanaf de M4 generatie?

[Scribe]

Kan iemand mij uitleggen wat het punt hier van is als je niet een model op kan splitsen? Heel veel heel erg kleine modellen draaien? Want op de gemiddelde RTX gaming GPU ga je niet veel soeps draaien tenzij je een 5090 ofzo hebt

[bzzzt]

Dat staat letterlijk in het artikel: "Nvidia ziet vooral toepassing in workflows waarin een AI-agent een taak opsplitst in meerdere subagents, die elk een deel ervan afhandelen."

Elke subagent kan op z'n eigen GPU draaien.

[Jay-v]

Nee, AI agents draaien niet op GPU's, die draaien gewoon in een proces op een CPU (linkerkant van het eerste screenshot). Wat hier gebeurt is dat alle GPU nodes LLM's draaien voor inference, PAIR routeerd (load balanced eigenlijk) de inference verzoeken over individuele GPU nodes.

In het screenshot zie je bijvoorbeeld meerdere nodes die allemaal hetzelfde model draaien. Het voordeel is simpelweg dat je een hogere doorvoer kan realiseren (in Tokens/Sec).

Veel "agentic" tools zoals Claude Code in ultramode, Kiro crew etc. knippen een taak op, en spawnen sub agents (child processes) die allemaal tegelijkertijd hun inference verzoeken doen (in plaats van een enkele agent die het sequentieel afhandeld).

[Reactie gewijzigd door Jay-v op 4 september 2026 17:03]

[bzzzt]

Ok, jij je zin: agents draaien op de CPU maar hebben een LLM die bij voorkeur op een GPU draait nodig. Verschillende agents hoeven niet eens per se allemaal dezelfde LLM te gebruiken: Claude code laat soms ook een agent op een beter model los om lastige vragen te beantwoorden. Uiteindelijk is het gewoon een kwestie van de duur betaalde hardware zo maximaal mogelijk in te kunnen zetten.

[Mellow Jack]

De gemiddelde taak die een agent zal uitvoeren werkt prima op een klein model draaiend op een willekeurige machine. 10GB VRAM is voor enorm veel taken meer dan voldoende

[Yaksa]

Dat hangt er van af hoe je AI inzet. Voor meerdere iteraties van afbeeldingen of video-sequences kan het handig zijn. Overigens heb je (nu al) niet per se een RTX 5090 nodig om toch wat leuks (qua afbeeldingen of video) te kunnen maken, kijk maar 'ns in dit topic.

[RetroHead]

Zouden ze hier ook consoles als ps5/xbox series X aan kunnen toevoegen? Als die staan te slapen is het een extra Ai node..