Nee, zo doe ik het niet. Ik heb een kaart die er gewoon in zit, en een andere kaart die via een OCULink adapter naar buiten gaat en daar in een losse behuizing zit. Ik heb ook 2 aparte merken (AMD en Nvidia) dus samenwerken doen ze niet. Wat ik doe op de ene kaart met 16GB draait het grote model, en op de andere draaien zaken als embedding (voor RAG), een klein task model (die samenvattigen en suggesties maakt en batches draait) en whisper voor de speech to text. Dat is dan weer gekoppeld aan home assistant zodat ik er op mijn telefoon tegen kan praten (en ook op die home assistant voice boxjes).
Overigens is de bridge optie tussen kaarten allang verdwenen. Dat was Crossfire (AMD) en SLI (Nvidia) ging inderdaad met die bridge maar dat is niet meer. Gamers kopen nu gewoon een zwaardere kaart en die optie was ook vooral voor video bedoeld. Wat volgens mij via die bridge niet kon was VRAM samen delen, wat juist is wat je wil als je met LLM's aan de slag gaat.
Het alternatief voor OCULink was namelijk een grotere kast en zwaardere voeding kopen, en dan nog zaten ze recht tegen elkaar en had de bovenste bijna geen koeling omdat de fan dan tegen de achterkant van de onderste kaart zit te zuigen.
OCULink beperkt je snelheid wel tot PCIe x4 maar dat is eigenlijk geen probleem met inferentie omdat ik de modellen altijd in VRAM houd, dus er worden geen grote hoeveelheden data over de PCI bus gepompt. En de koeling is ook wat makkelijker op die manier want die tweede kaart staat in de open lucht. Wat belangrijk is met 34 graden in huis.
Het kostte bij elkaar ongeveer 80 euro voor de oculink spullenboel op aliexpress (externe OCULink naar PCIe adapter, licht frame, een 15 euro voeding en een PCIe kaart met 1x OCULink en een kabeltje). Een kast met grotere voeding was duurder uit geweest denk ik en meer werk geweest. Bovendien had ik dan nog dat koelingsprobleem. Uiteindelijk wil ik misschien wel een keer naar een board toe met echt meer PCIe maar dan zit je gelijk aan de duurdere klasse chipsets.
OCULink is electrisch ook gewoon PCIe over een kabeltje verlengd dus aan configuratie/drivers kan er niet veel mee mis gaan. Anders dan bij Thunderbolt wat wat ingewikkelder is en daardoor ook veel duurder.
[Reactie gewijzigd door Llopigat op 25 augustus 2026 21:54]