Nvidia onthult opensourcemodel Drive Alpamayo-R1 voor autonome voertuigen

Nvidia introduceert het AI-onderzoeksmodel Drive Alpamayo-R1 voor autonome voertuigen. Volgens de fabrikant is dit het eerste opensourcemodel voor zelfrijdende auto's op basis van het 'vision, language, action'-principe. Het model moet via GitHub en Hugging Face beschikbaar komen voor onderzoekers, al is nog niet precies bekend wanneer.

Drive Alpamayo-R1 is een VLA-model, wat betekent dat het model beelden vertaalt naar natuurlijke taal en op basis van die taal een actie uitvoert, aldus Nvidia. Het model werkt volgens het bedrijf op basis van 'chain-of-thought'-denkstappen voor het oplossen van problemen, oftewel het opbreken van complexe problemen in kleine stappen. Het AI-model gebruikt dit 'denkproces' om te bepalen welke actie het meest geschikt is. Nvidia claimt dat dit principe de AI voorziet van 'gezond verstand', waardoor het model meer als een mens zou moeten rijden.

Het model zou volgens Nvidia het beste verder getraind kunnen worden met wat reinforcementlearning heet. Hierbij krijgt het model bij elke beslissing feedback over de correctheid van een actie, wat goed gedrag versterkt en slecht gedrag straft. Naar eigen zeggen levert verdere training van het model 'significant betere resultaten' op.

Het model wordt gratis beschikbaar via de vermelde platforms onder de Nvidia Open Model-licentie. Deze licentie staat aanpassingen onder dezelfde voorwaarden en commerciële verspreiding toe, al heeft het bedrijf het in de aankondiging van Drive Alpamayo-R1 nadrukkelijk over 'niet-commercieel gebruik'. Het model is volgens Nvidia bedoeld voor benchmarking en het ontwikkelen van experimentele toepassingen voor autonome voertuigen.

Nvidia Drive Alpamayo-R1-demonstratie. Klik voor een .gif

Reacties (28)

[Skit3000]

Zolang mensen Tesla's autopilot al niet vertrouwen (zonder het ooit zelf te hebben gebruikt) waarbij er duidelijk een aansprakelijke partij is wanneer er iets mis gaat, zou ik voorlopig al helemaal mijn geld niet inzetten op een opensource-onderzoeksmodel.

[Harmsen]

Dit bestaat al langer hoor, door hobbyisten in elkaar gezet met modules die je in bepaalde auto's in kan laden: comma four — comma shop. Als je echt durft kan je zelf experimenteren met verschillende modellen.

Een entertainment youtube filmpje hierover: YouTube: I Upgraded My Car With Open-Source AUTOPILOT and it's AMAZING

[Jerie]

Als je echt durft kan je zelf experimenteren met verschillende modellen.

Durft? Liever niet op de openbare weg in Nederland. Dan ben je vooralsnog strafbaar.

Er zijn ook allerlei zaken die nog niet goed worden gedetecteerd. Zoals kabels.

[MrFax]

Volgens mij mag het wel, zolang je maar het stuurt over kan nemen als het een denkfout maakt.

Ook zou je kunnen experimenteren met het AI-model zonder dat het echt iets doet, en alleen maar laat zien wat het zou doen.

[Reactie gewijzigd door MrFax op 2 december 2025 17:22]

[Skit3000]

Je kan het ook helemaal zelf maken, door gewoon foto's te nemen terwijl je rijdt en dat te correleren met hoe ver je stuur is gedraaid: YouTube: Budget Self-Driving Car - Computerphile

Werkt perfect, tot je in de situatie komt dat je geen trainingsdata hebt. Dat is dan ook gelijk mijn grootste bezwaar tegen dit initiatief van Nvidia; de code zal vast fantastisch werken, maar het is nutteloos zolang niemand het gebruikt/niemand gebruikt het zolang het nutteloos is. En de fabrikant die uit kostenoverweging tóch dit model in een auto stopt zal het heel snel weer terugroepen.

[Honytawk]

Bij een opensource model ben je zelf als chauffeur aansprakelijk aangezien geen fabrikant dit model in hun auto steekt. Je kan het dus enkel als u zelf uw auto uitrust met camera's.

Naar mijn optiek beter omdat je direct de verantwoordelijke te pakken hebt tijdens een aanrijding.

[Reactie gewijzigd door Honytawk op 2 december 2025 15:04]

[i-chat]

probleem daarbij is natuurlijk wel dat:

van de normale autorijder, die dit middels een YT-vid op zijn raspberry PI met coral tpu installeert en het vervolgens aan de debug-bus van zijn kia picanto (ik noem maar even wat), hangt, kun je nauwelijks verwachten dat die, redelijkerwijs, in staat is, de gevaren te overzien, te begrijpen dat zoiets je WA-verzekering onderuitschopt en hoe je zo'n systeem veilig zou moeten inregelen / testen en deployen.

ik zou zo'n systeem al niet eens durven toepassen op een brommobiel of scootmobiel laat staan op een auto.

[drdelta]

Je bent als chauffeur per definitie strafbaar als jouw auto een ongeluk veroorzaakt.

De enige mogelijke uitzondering is wanneer je een passagier bent in een SAE-level 5 voertuig. In alles daar onder ben je de chauffeur, moet je een rijbewijs hebben, en ben je per definitie ook verantwoordelijk voor het handelen van het voertuig.

[Elidibus]

Het ding is dat Tesla's, ondanks hun misleidende claims, maar level 2 autonoom mag rijden. Hierbij is het dus logisch dat de bestuurder de auto niet vertrouwt. Het "autonoom" rijden is een hulpmiddel, de auto mag niet volledig zelf rijden, je bent als bestuurder nog altijd verantwoordelijk.

Ik heb zelf een Model 3 (2024 model) gereden en ik vind het systeem van Tesla niet betrouwbaar, omdat ze enkel gebruik maken van camera's. Die camera's laten het juist tijdens de belangrijkste momenten afweten. Zodra de zon te laag staat, het te hard regent of zicht door andere factoren wordt belemmerd is het juist de camera die als eerste het zicht verliest. Dan begin je in Tesla's allerlei meldingen te krijgen dat bepaalde rijhulpsystemen even niet beschikbaar zijn. Ook krijg je eigenaardige situaties waarbij je bijvoorbeeld op een mooie zomerse dag je cruise control aan wil zetten, maar dat de ruitenwissers dan aanspringen, omdat de zon op de camera staat. Vervolgens zet je je ruitenwissers uit, maar mag je de cruise control niet gebruiken wanneer de ruitenwissers uit staan.

Dat alles en ik heb het eigenlijk nog niet eens gehad over phantom braking, iets wat ook mijn nieuwere "Highland" model voor kwam, maar verbeterd zou zijn. Inmiddels weet ik wel wanneer het ongeveer zal gebeuren, dus kan ik me schrap zetten. Daarnaast herkent de auto de belijning niet goed, in sommige gevallen detecteert de auto een lijn die er niet is en stuurt de auto je zonder pardon de berm in.

Vergelijk dit met concurrenten zoals BMW en Mercedes die het een stuk beter op orde hebben. Minder piepjes, minder systemen die niet werken, zelden phantom braking, dus een stuk meer vertrouwen. Dat komt omdat andere fabrikanten ook andere sensoren gebruiken. Het is de mix van sensoren die het juist betrouwbaarder maakt. Een camera ziet immers slechter dan een menselijk oog en wij gebruiken ook meerdere zintuigen. Dus waarop dat Musk baseert dat Tesla enkel op camera beeld moet kunnen functioneren weet ik niet.

Dan terug on topic voor dit artikel. Ook hier valt of staat de veiligheid m.i. met het gebruik van de camera's. Het ziet ernaar uit dat het systeem van Nvidia ook enkel op vision gebaseerd is, dus vraag ik me af hoe betrouwbaar het in de praktijk is. Het is natuurlijk aan Nvidia om dat te bewijzen, ben benieuwd.

[Xthemes.us]

Dus waarop dat Musk baseert dat Tesla enkel op camera beeld moet kunnen functioneren weet ik niet.

Op de winstmarge, zelfde prijs vragen voor minder kosten.
Zoals je zegt is het simpelweg stukken betrouwbaarder als je meerdere inputs combineert. Helaas is met name LIDAR blijkbaar nog erg prijzig en kijkt de logica bij Tesla te zijn dat als de mens het enkel met zicht kan dan moet dat genoeg zijn.

Helaas voor Tesla houdt dat in dat ze behoorlijk achterlopen. Ze krijgen hun self driving technologie maar niet aan andere bedrijven verkocht (0 klanten), naar verluidt had Ford interesse naar heeft na een test voor Waymo gekozen. Ooit waren ze koploper, nu lopen ze achterop.

[Skit3000]

De software die Tesla in Nederland levert is niet dezelfde als die in de VS in gebruik is. En alles wat je zegt is net zo goed van toepassing op de Ford BlueCruise modellen die wel toestemming hebben. Hoe je het ook went of keert; om in de rijbaan te kunnen blijven is gewoon een camera nodig. Lidar helpt alleen om voertuigen en objecten te detecteren op momenten dat de camera's het af laten weten dus helpen in de praktijk niet (want; als je camera niet werkt moet je zelf opletten, en als je zelf op moet letten ga je niet met 130 km/uur door dichte mist).

[Elidibus]

Dat argument hoor je vaker, maar ik vind het echt een kul argument. Waarom zou Tesla met dezelfde hardware in de VS geen phantom braking hebben, maar in Europa wel? Ja, ze mogen daar meer gebruik maken van autonoom rijden en het systeem werkt daar ook iets anders en iets beter, maar dan nog snap ik niet dat ze veiligheidsaspecten verloochen. De dingen die bij Tesla's in Europa mis gaan zijn heel erg basaal.

Daarnaast hebben andere merken er een heel stuk minder last van. Ik weet niet hoe het bij Ford werkt, maar wel hoe een BMW met dergelijke rijhulpsystemen rijdt. Je hoort nauwelijks piepjes, de auto rijdt moeiteloos uit zichzelf op de snelweg (met je handen nog aan het stuur) en remt zelden zonder dat je het verwacht.

Wat betreft je laatste opmerking over Lidar. Het probleem dat Tesla in ieder geval heeft is dat de camera's het juist heel snel af laten weten. In de mist vind ik het bijvoorbeeld logischer dat je niet autonoom kan rijden, of dat de distance control uit gaat. Het probleem dat ik in mijn Tesla ervaar is dat een zonnige dag al voldoende is om het systeem uit te schakelen, of als het net ietsjes harder regent, maar er nog wel voldoende zicht is. Een camera kan namelijk niet knipperen zoals wij dat kunnen en zal altijd eerder het zicht verliezen dan wij. Verder detecteert een Tesla ook heel vaak de false positives, ook bij perfect weer. Ik heb het nog bij weinig andere fabrikanten gezien dat de auto zo slecht om kan gaan met bijvoorbeeld een gelijmde lijn op de weg.

[Skit3000]

Ik heb ondertussen in Europa meerdere modellen gereden met hulpsystemen die de auto midden in de baan moeten houden en moeten remmen wanneer de voorligger dit doet, maar heb er tot nu toe nog geen een gehad die je niet af en toe "van de weg af" probeert te sturen in situaties met tijdelijke belijning, groeven in het wegdek, takken op de weg, of andere dingen die nét even anders zijn dan normaal. Het ergste is nog; dit is allemaal zonder waarschuwing. Bij sommige modellen is tegensturen ook nog eens vrij zwaar, als je daar je stuur dus toevallig net even los hebt (wat ik nooit doe) dan lig je binnen een halve seconde op de vluchtstrook, in de berm, of de vangrails.

Wat je specifiek zegt over jouw Tesla; het is dus juist wel de software die hier het verschil maakt. Ik schrijf zelf veel code voor beeldherkenning en je moet echt overal rekening mee houden om iets goed werkend te maken. De software in Europa is compleet anders dan de software in de VS, veel meer rules-based (zoals bij andere automakers). Kort gezegd; het herkent lijnen en voertuigen mits ze aan vooraf ingestelde parameters voldoen. Rijd je op de snelweg dan zoekt het naar witte strepen (van een bepaalde lengte) tegen een donkere achtergrond. Rijd je op een nat wegdek met laaghangende zon, dan weerspiegelt dit en wordt het beeld voor de camera min of meer omgedraaid (de lijnen zullen dan donker zijn en het wegdek wit) en daardoor niet meer herkent (zoals bij alle in Europa beschikbare modellen). De software die Tesla in de VS heeft, maakt geen gebruik van deze regels maar gebruikt machine learning om beelden van zo goed als alle omstandigheden te analyseren en per stuk te bepalen wat de juiste actie is. Daarmee bouwt het een model de uitkomst van deze miljoenen/miljarden/honderden miljarden microbeslissingen en heeft de auto veel meer mogelijkheden om te beslissen wat juist is. Op zichzelf hoeft dat natuurlijk niet goed te zijn, want als je alsnog alleen maar traint met data van perfecte weersomstandigheden dan raakt het systeem in de regen nog steeds in de war, maar de balans tussen de data waarmee ze trainen zorgt er in ieder geval voor dat hun auto's in de VS in vrijwel alle omstandigheden betere beslissingen nemen dan in Europa (en ook vaak betere beslissingen dan menselijke bestuurders).

[Prince]

Dit is niet gemaakt om er mee te rijden; het is een onderzoekmodel. Dit is om research mee te doen. Staat overigens ook duidelijk in het artikel.

[Joseph]

Hoe handig of juist niet handig is het inzetten van een AI-model in (deels) zelfrijdende auto's? Dit soort modellen blijven immers een black box: soms verrassend accuraat, soms slaat het de plank helemaal mis. Wanneer het het ene of het andere is, weet je per definitie niet.

Mij lijkt dat het bij dit soort voertuigen juist heel belangrijk is om degelijke, voorspelbare en navolgbare conclusies te hebben op basis van de binnenkomende data. Dit gaat potentieel over mensenlevens.

Kan iemand dat uitleggen?

[PjotrX]

Een groot deel van neurale netwerken trainen is niet alleen het verzamelen van data en een blakc-box model maken. Het is de toolset die er omheen bouwd. Een deel van de toolset is bedoelt om je neurale netwerk te begrijpen. Denk aan tools om bijhouden voor regressies tussen versies, of zoeken naar blinde vlekken waar meer data nodig is. Het is dus niet gewoon meer data = beter model wat je veel mensen hoort roepen. Want dan ga je snel de fout in dat je je model overfit voor bepaalde dingen en blind maakt voor andere dingen. Het is een lang process waar je probeert je model te begrijpen en je data te cureren dat moet zorgen naar een perfecte en gebalanceerde trainingset.

[i-chat]

met dat argument zou je vooral ook mensen niet achter het stuur mogen zetten.

om dit te illusteren.
- waarom heeft niet ELKE soldaat na een deployment PTSS,
- waarom hebben sommige tieners eetstornissen en anderen niet (soms zelfs in hetzelfde ontwrichte gezin).
- waarom hebben sommige mensen meer last van overgans- of midlife- klachten dan anderen.

ieder mens is anders, dus sommige soldaten zullen eerder (bij opjectief gezien minder stressvolle situaties) PTSS ontwikkelen dan anderen. sommige mensen zullen dat wellicht verwarren met zwakte of labiliteit maar in wezen komt het gewoon voort uit verschillen in hoe hun brein werkt. op ongeveer dezelfde manier waarop sommige mensen nu eenmaal beter kunnen voetballen dan anderen die even hard hebben getraind.

waarom ik dit argument maak is omdat wij vaak denken dat mensen de norm zijn, 'zodra een computer op de zelfde manier kan beslissen als een mens' dan is het doel behaald. ongeacht verdere logica of beargumentering

zou je bijvoorbeeld een model hebben met 1 kritieke on-oplosbare fout (die geen mens ooit zou maken) maar die voor de rest compleet foutloos is en in werkelijkheid 10x minder slachtoffers maakt dan menselijke bestuurders (op basis van de huidige verkeersveiligheids-statistieken). dan nog zal men zeggen.

'ja die computer maakt zulke domme fouten dat is echt niet veilig hoor'

[YGDRASSIL]

Maar computers zijn deterministisch. Zelfde input zelfde uitkomst. Wel lullig als je auto steeds iets fout doet, ze het allemaal doen en ook blijven doen. Mensen leren van hun fouten over het algemeen. Dus die vergelijking gaat een beetje mank.

[djwice]

Tesla stuurt alle data ook naar hun data centra en gebruikt dit om hun modellen te verbeteren en stuurt dat model dan naar de autos.
Ook van leermomenten van andere gebruikers dan jouw.
Waar gaat dit een beetje mank in de vergelijking?

Oh ja, het leert ook van dingen die niet jij maar anderen hebbdny meegemaakt en voorkomt dat jij ze meemaakt.

[Reactie gewijzigd door djwice op 3 december 2025 00:14]

[jip_86]

Het zijn net mensen, meestal gaat het goed maar soms ga je finaal de mist in.

[Wozmro]

Als ik met de auto rij dan is mijn input mijn ogen en oren (grotendeels). Mijn output zijn mijn benen en armen.

Wat er juist in mijn hersenen gebeurd zodanig dat ik kan autorijden? Ik zou het echt niet weten. Wat ik wel zeker weet is dat ik niet 100% perfect kan autorijden.

[fruitbakje]

Geen idee of je al antwoord hebt op je vraag. Als toevoeging op de rest

Mij lijkt dat het bij dit soort voertuigen juist heel belangrijk is om degelijke, voorspelbare en navolgbare conclusies te hebben op basis van de binnenkomende data.

Het zelf laten rijden van een auto blijkt een dusdanig ingewikkeld probleem, dat die degelijke en voorspelbare rekenmethodes niet voldoende zijn. Als in, alleen al het kunnen onderscheiden van objecten die een camera filmt, is onwijs ingewikkeld. Laat staan de beslissingen die de auto daarna moet nemen.

Dus de AI-rekenmethodes, om ze zo maar te noemen, zoals machine learning enz enz, zijn ontwikkeld om dit soort dingen mogelijk te maken. Maar het stap-voor-stap volgen van een besluit van zo'n stuk software wordt daardoor schier onmogelijk.

Al lijkt juist RDW en Tesla juist jouw vraag als discussie te hebben. Zo zegt Tesla over de EU-regels die RDW logischerwijs handhaaft:

Some of these regulations are outdated and rules-based, which makes FSD illegal in its current form. Changing FSD to be compliant with these rules would make it unsafe and unusable in many cases. While we have changed FSD to be maximally compliant where it is logical and reasonable, we won't sacrifice the safety of a proven system or materially deteriorate customer usability.

Dus in ieder geval de EU-regelgeving volgt jouw lijn (nog?) redelijk.

Maar goed, eigenlijk snappen we veel besluiten van mensen in de auto ook niet, maar die laten we ook rijden. Dus blijkbaar is "het kunnen snappen of volgen van een beslissing" niet een reden om iets of iemand te laten rijden of niet. Je kan ook als uitgangspunt nemen "AI hoeft niet 100% veilig te zijn. Als AI veiliger kan rijden dan mensen, dan is het al winst."

[Merik]

Het model is volgens Nvidia bedoeld voor benchmarking en het ontwikkelen van experimentele toepassingen voor autonome voertuigen.

Uit de laatste zin van het artikel, klinkt alsof het de deur opent voor andere modellen die te trainen zijn in een gecontroleerde omgeving zoals een testparcours met gesimuleerde (IRL) toepassing.

[Scribe]

Chain-of-thought is leuk, maar dan moet je wel heel erg snelle hardware hebben in je auto. Anders krijg je dat als je een bal ziet rollen, je eerst 10 seconden na gaat denken over wat dat zou kunnen betekenen voordat je gaat handelen. Beetje alsof je een heel onzeker persoon achter het stuur zet. Iniedergeval mooi dat het open source is! Ben benieuwd wat ze er mee kunnen en of dit model op een of andere manier zo geoptimaliseerd kan worden dat het snel genoeg kan draaien.

offtopic:
Leuk dat ze die bal laten zien op het plaatje, maar ik zou toch even wat harder remmen want zoals je aan de rechterkant ziet rent er een kind voor je langs!!

[jip_86]

Tesla heeft het ook, maar zegt er zelf al bij dat je dat niet voor alles kan gebruiken:
YouTube: A Peek into Tesla’s Autonomous Future: Core Tech Revealed by VP Ashok Elluswamy at ICCV25 WDFM-AD

[Vishari Beduk]

De naam 'Alpamayo', hoe verzinnen ze het?
Voor bergbeklimmers is dit de mooiste ijsberg op deze planeet.
Dus ik begrijp de relatie niet met zelfrijdende auto's

[drdelta]

Het is een nieuwe piek voor het ontwikkelen van zelfrijdende auto modellen?

Manus AI heeft ook niets met handen te maken..

[StackMySwitchUp]

Ik ben benieuwd hoe zwaar dit model is. Wellicht kan het leuk zijn voor autonome robots, als het bijvoorbeeld op een Jetson draait. ik ben het beslist niet eens met de bedrijfsvoering van nvidia maar open source modellen uitbrengen is wel een leuke zet. (even daargelaten dat het trainen veels te veel energie verbruikt)