De Nederlandse start-up Juvoly neemt twee Nvidia DGX B200-supercomputers in gebruik voor het trainen van eigen spraakherkenningsmodellen en het hosten van opensource samenvattingsmodellen. Het is voor zover bekend het eerste Nederlandse bedrijf dat de Blackwell-datacentersystemen in Nederland gaat gebruiken.
:strip_exif()/i/2007317532.jpeg?f=imagemedium)
De systemen van Juvoly staan tijdens de 'kraamvisite' van de B200's in een promotieopstelling in een van de vele streng beveiligde en verrassend hete datacenterzalen van NorthC in Rotterdam, waar Tweakers een kijkje mocht nemen. Samen met prins Constantijn van Oranje, Carlo Ruiz van Nvidia en AI-voorvechters uit de zorgsector onthulde het bedrijf de hightechcomputers. De start-up wil naar eigen zeggen 'de zorg leuker en efficiënter maken, zonder dat gevoelige data het bedrijf verlaat'. Dat laatste is vanwege de huidige geopolitieke situatie zowel in de algehele techindustrie als onder tweakers een duidelijke trend.
Juvoly levert een dienst waarbij gesprekken tussen arts en patiënt door middel van een eigen model getranscribeerd en samengevat worden. Gesprekken worden lokaal verwerkt en daarna weer verwijderd. De nadruk van de dienst ligt op het verwerken van Nederlandse gesprekken, eventueel in bepaalde accenten, dialecten en de Friese taal. Het model zou tevens geoptimaliseerd zijn om spraak van mensen te verwerken die Nederlands niet als moedertaal spreken. Ruim vijfhonderd huisartsenpraktijken in Nederland gebruiken de dienst.
Het eindresultaat moet volgens ceo en medeoprichter Thomas Kluiters voorlopig wel altijd gecontroleerd worden door de arts: "Je kunt op het moment niet voorkomen dat kunstmatige intelligentie in de samenvatting informatie verzint. Een arts moet dus altijd controleren of alles inhoudelijk klopt."
Tegelijkertijd werkt het bedrijf er naar eigen zeggen hard aan om te zorgen dat de informatie die het AI-model aanlevert ook zo goed als mogelijk klopt. "We verzamelen geen data van gebruikers, dus ook geen gespreksopnames of patiëntengegevens. Het probleem is alleen dat we dan dus ook geen data hebben om het model verder op te trainen." In plaats daarvan gebruikt Juvoly bestaande datasets en nagespeelde gesprekken, in combinatie met het handmatig controleren en verder trainen van het model.
De hardware
Het trainen gebeurt dus vanaf deze week op de B200's van Nvidia, maar de bovenstaande datacenterracks zijn slechts een onderdeel van de hele hardwareketen die nodig is om een dergelijke dienst aan te kunnen bieden. De AI-platformen zijn weliswaar gloednieuw en ook zeer prijzig, bij elkaar een slordige zeven ton, maar Juvoly gebruikt daarbij onder meer nog vijf Dell-cpu-nodes met ieder twee Intel Xeon Gold-processors, twee 400GbE- en twee 10GbE-switches, een DDN 200NVX2 voor 60TB tijdelijke opslag en 160TB aan 'trage' opslag.
Specificaties Nvidia DGX B200
De Nvidia DGX B200 is een datacentersysteem dat bedoeld is als AI-platform. De supercomputer beschikt over acht Nvidia Blackwell-gpu's en 1,4TB aan gpu-geheugen. Ook zitten er standaard twee vijfde generatie Intel Xeon-cpu's in een B200-module.
De supercomputer dient als AI-accelerator, wat betekent dat hij gespecialiseerd is in het trainen en draaien van AI-modellen. De B200 heeft volgens Nvidia een rekenkracht van 72 petaflops voor AI-training en 144 petaflops voor inference, het produceren van nieuwe verbanden na het trainen. Ter referentie: een RTX 5090 heeft een rekenkracht van net geen 105 teraflops, ofwel 0,105 petaflops.
Die configuratie moet, wanneer alles volledig stabiel werkt, naar schatting in mei van dit jaar alle AI-taken lokaal op zich kunnen nemen. Tot die tijd gebruikt Juvoly nog de eigen Nvidia L40S- en H100-chips in combinatie met de clouddienst Microsoft Azure. Wanneer de B200's naar behoren werken, kan het bedrijf naar eigen zeggen grote opensource-llm's hosten, waardoor er geen externe cloudcomputeproviders meer nodig zijn.
Zoveel mogelijk lokaal
De nadruk op het lokaal verwerken van gegevens is groot tijdens het evenement. De afgelopen jaren, en met de recente inauguratie van Donald Trump als president van de Verenigde Staten als katalysator, legt de Europese techindustrie steeds meer de nadruk op lokale techproducten als alternatief voor doorgaans Amerikaanse diensten en producten. Daaronder vallen ook AI-toepassingen.
Maar prins Constantijn van Oranje benadrukt tijdens een panelinterview meermaals dat Nederland hier nog niet in vooroploopt. Hij vindt als Special Envoy voor de non-profitorganisatie Techleap, die techinnovatie wil stimuleren, dat er in de Nederlandse politiek vooral 'eindeloos gepraat' wordt over de toepassing van AI terwijl er nog 'te weinig ondernemingen met ambitie' kunstmatige intelligentie willen toepassen.
AI in de zorg?
Juvoly heeft volgens Constantijn van Oranje wel die ambitie, maar de start-up heeft daarmee nog geen vrij spel om in de zorgsector te doen en laten wat het wil met AI. Zonder te voldoen aan de Europese verordening Medical Device Regulation mag AI zoals die van Juvoly bijvoorbeeld geen medische gegevens interpreteren; de dienst is namelijk niet geregistreerd als medisch hulpmiddel. Vooralsnog blijft het dus bij het transcriberen en samenvatten van gesprekken.
"Die scheidingslijn is alleen niet zo concreet," aldus coo Joppe van der Reijden. Hij onderzoekt momenteel of een eventuele validatie voor MDR-goedkeuring past bij de doelen van het bedrijf. Maar dat is niet zonder nadelen, zo stelt Van der Reijden, want een dergelijk traject kost al snel een kwart miljoen euro en kan tot wel jaren duren. Er moet naar eigen zeggen eerst gekeken worden of verdere producten van het bedrijf deze goedkeuring zouden vereisen.
Tot die tijd blijft de gloednieuwe supercomputer van Juvoly zijn werk doen als training- en verwerkingssysteem dat spraakherkenningstech en een samenvattingsmodel draait. Hoe dan ook is het een voorbeeld van een afgebakend Nederlands antwoord op de gepolariseerde internationale techsector, een lokale toepassing om de gevoeligste gegevens van kwetsbare mensen vooral niet de wereld rond te hoeven sturen.
:strip_exif()/i/2007317472.jpeg?f=imagenormal)