Nvidia brengt platform uit dat 'Hugging Face-aanval had kunnen voorkomen'

Nvidia heeft het Open Agent Safety Platform uitgebracht. Dit platform bestaat uit twee nieuwe beveiligingstools voor AI-agents. Het bedrijf claimt dat deze tools de hack op Hugging Face door agents van OpenAI hadden kunnen voorkomen.

Dit nieuws in het kort

• Het nieuwe platform moet voorkomen dat AI-agents dingen doen die ze niet mogen.
• Nvidia werkt daarbij samen met partners als Arm en Intel.
• Het platform is open source en bedoeld als referentieontwerp.

Het Open Agent Safety Platform is een open source softwareplatform en referentieontwerp, bedoeld om AI-agents binnen hun sandboxomgevingen te houden. Het platform bestaat uit twee tools: OpenShell en Sentry.

OpenShell is runtimesoftware die bepaalt wat agents wel en niet mogen doen. Via de kernel beperkt de tool de toegang van een agent tot bestanden en systeemaanroepen. Hij toetst iedere netwerkverbinding eerst aan ingesteld beleid, voordat een agent de sandbox kan verlaten. Beleid is wel aanpasbaar, maar OpenShell gebruikt een formele verificatie om risicovolle wijzigingen te signaleren. Dergelijke wijzigingen moeten eerst goedkeuring van een mens krijgen.

Nvidia zegt tegenover Reuters dat het met Arm en Intel samenwerkt om te zorgen dat het systeem ook werkt op cpu's van die bedrijven.

De tweede tool is Sentry, die in actie springt als een agent toch grenzen overschrijdt. In zo'n geval zet deze tool de agent in quarantaine. Sentry is daarmee een optionele beveiligingslaag, naast OpenShell, zegt Nvidia.

Met partners uitgebracht

Het nieuwe platform is open source en bedoeld als referentieontwerp. Dat betekent dat partners producten boven op de tools kunnen bouwen en op de markt kunnen brengen.

Nvidia noemt ook diverse partners die het Open Agent Safety Platform mede hebben uitgebracht, waaronder Microsoft, Cisco, Oracle, Intel en Arm. Daarnaast werkt Nvidia samen met Anthropic om in de cloud beheerde agents te integreren met OpenShell.

Hugging Face

Volgens Justin Boitano, vicepresident en general manager van enterprise computing bij Nvidia, hadden de nieuwe tools de Hugging Face-aanval kunnen voorkomen. Daarbij wisten agents van OpenAI binnen te dringen in het AI-platform.

Hij denkt dat alleen betere regels voor AI niet voldoende zijn om te voorkomen dat dergelijke agents ontsnappen. "Recente incidenten laten zien dat AI-agents tegen een fundamenteel probleem aanlopen. Beveiliging op modelniveau is op zichzelf niet genoeg om te bepalen waartoe agents toegang hebben of wat ze kunnen doen", aldus Boitano tegenover CNBC.

Het Nvidia Open Agent Safety Platform. Bron: Nvidia

Reacties (31)

[Jedotw]

Ben ik de enige die het heel toevallig vindt dat net Nvidia hier mee komt? Eén van de bedrijven die een groot belang erbij heeft om de AI-hype zo lang mogelijk door te laten gaan en vooral niet wil dat de bubbel knapt?

[Letters]

NVIDIA is het moederbedrijf van Hugging Face, lijkt me een gegeven dat ze er belang bij hebben.

[Ryunoru]

Natuurlijk is dat niet toevallig, dit is een vanzelfsprekende actie. En niet eens een slechte. Ja, NVIDIA kan hier indirect aan verdienen... en?

[Bossie]

Inderdaad, het is simpelweg een investering om hun omzet uit de AI chips te beschermen.
Daarnaast is het ook heel slim om dit als een opensource reference design etc aan te bieden ipv als product/service ivm eventuele aansprakelijk als het toch niet waterdicht blijkt te zijn.

[Amplified]

Interessant genoeg heeft Ezra Klein (NYT) net een uitgebreid interview gehad met Jensen Huang over exact dit topic: YouTube: Jensen Huang Thinks A.I. Alarmism Has Gone Too Far | The Ezra Klein ...

Hierbij heeft Huang het voornamelijk ook over de verantwoordelijkheid die deze bedrijven hebben om dit soort zaken te voorkomen. Uiteraard heeft hij er baat bij, maar het geeft wat meer inzicht in zijn denkwijze.

[Jedotw]

Nu kan ik honderden interviews met Jensen Huang gaan linken, maar deze man is in het geheel niet bezig met wat goed is voor de "mensheid". In tegenstelling juist, hij is alleen bezig met wat goed is voor hem. Dat hij af en toe met wat gratuite uitspraken komt maakt het des te schijnheiliger.

[NoTechSupport]

Jij kent veel heiligen bij CEO's en tech-CEO's in het bijzonder? Ik ga Hensen niet verdedigen, maar ik ken problematischere CEO's en bedrijven dan Nvidia. Ze maken hardware die naar huidige normen efficient en effectief AI kan draaien, niets meer, niets minder.

Als hij de productie van hun AI-kaarten niet had laten opschalen, dan hadden de prijzen van grafische kaarten heel kort nog veel hoger geweest, waarna hij ontslagen zou zijn en productie toch opgeschaald zou zijn. Nu zit Nvidia wat gevangen in een situatie waarin ze enorm veel produceren en enorme winsten maken. Maar als een aantal AI-bedrijven over de kop gaan (bvb onder invloed van open source modellen uit China), dan kan het zo zijn dat de beurswaarde van Nvidia crasht. Terwijl ongeacht het model, hun chips momenteel de beste zijn (en ze daar dus op zich niet rechtstreeks veel mee te maken hebben). Op middenlange termijn (5 jaar) is er natuurlijk het risico dat chips van anderen hetzelfde trucje kunnen en breed beschikbaar komen.

[Reactie gewijzigd door NoTechSupport op 28 september 2026 17:12]

[Matthijz98]

Nvidia is heel erg bezig met open source AI.
Dat kan zijn, omdat ze meer hype willen creëren. Kan ook omdat ze medewerkers hebben die heel veel passie hebben voor AI en het werkveld gewoon verder willen helpen.

Ik denk zelf dat er ook (maar pure speculatie) een deel in zit dat Nvidia hoopt dat door zelf gehoste AI interessant te maken/houden ze de klap van de AI-bubbel misschien iets kleiner kunnen maken. Omdat ze dan AI hardware zoals de DGX Spark aan consumenten en bedrijven kunnen verkopen (voor iets redelijkere prijzen dan nu).

[Jedotw]

Recent gepubliceerd: 80% van de chips die Nvidia voor AI produceert wordt 1) nog niet gebruikt of 2) is nog niet eens gefabriceerd. Dus een groot deel ligt letterlijk op de plank en een ander deel moet nog gemaakt worden, voor beide geldt dat het helemaal niet duidelijk is óf ze überhaupt gebruikt gaan worden.

Daarbij is de door de AI-bedrijven aangekondigde "vertraging" ook niet helemaal naar zin van Nvidia.

[Bossie]

Heb je misschien een bron zodat ik het volledige artikel kan lezen ?

Voor Nvidia is het ook niet relevant wat er met de chips gebeurt na verkoop, wat voornamelijk belangrijk is dat er stevige funnel/backlog voor het product is.

[Jedotw]

Verschillende plekken, maar de blog van Ed Zitron is erg informatief: https://www.wheresyoured.at/wherere-all-the-ai-chips/

[Gropah]

Nvidia is heel erg bezig met open source AI.

Mwua, denk dat iedereen die een beetje Linux heeft gebruikt hier wel anders over denkt. De grote baas van Linux had er ook al grote woorden voor

[Matthijz98]

Opensource drivers of opensource AI is wel iets anders.

Ik bedoel vooral dat Nvidia zo ver ik weet het enige AI bedrijf is dat niet alleen de weights publiceert maar ook de trainingsdata, training scripts en meestal ook nog de papers die de technologie onderzoeken die gebruikt is.

[MightyFool]

Bubbel gaat niet knappen. AI is te handig en het aantal gebruikers te groot. Ook al zou hij financieel knallen, de techniek blijft bestaan en zal alleen maar doorontwikkeld worden, net als bij het internet.

[Jedotw]

Nergens beweer ik dat AI ophoudt te bestaan. In tegendeel zelf, lang geleden op de HTS Informatica hadden we hier al vakken in. Maar Nvidia heeft wel enorme inkomsten door de AI-hype, en net nu de AI-bedrijven aankondigen te gaan "vertragen" (dus minder inkomsten) komen zij met dit bericht?

[Moortn]

Op 27-07 van dit jaar stond dit bericht op Tweakers: nieuws: Nvidia start coalitie voor open AI-beveiliging na Hugging Face-incident

Nu 2 maanden later komen ze met dit platform, dus het lijkt me niet dat dit iets met vertragen van OpenAI of anderen te maken heeft. Eerder dat die bedrijven nu kunnen zeggen "we hebben een platform voor beveiliging en kunnen dus vol tempo door".

[Jelle E]

Financieel knallen is het knappen van de bubbel. De dot com bubbel heeft ons ook niet zonder internet achtergelaten ook al is die bubbel ook gebarsten.

[Reactie gewijzigd door Jelle E op 28 september 2026 14:55]

[reneflo]

Bubbel gaat niet knappen. ..., net als bij het internet.

De dot com bubble is ook geknapt. Dat internet nu nog steeds super handig is betekent niet dat er niet een moment van bubbelvorming en extreme gekte was. Ik weet ook zeker dat AI blijvend is, maar nog steeds kan het ook zo zijn dat we nu in een bubbel zitten die gaat barsten.

[gitaarwerk]

Dat denk ik zelf ook.

[Zwolsermbtr]

Er is veel sprake van het afremmen van ontwikkeling van AI-modellen op dit moment. Als dat gebeurt loopt Nvidia inkomsten mis, want de AI-bedrijven kopen dan geen nieuwe hardware bij ze in. Dat moet Nvidia natuurlijk voorkomen. Helemaal niet onlogisch dus.

Of het hype of een bubbel is maakt niet echt uit in die zin, dit is gewoon handelen in het belang van je bedrijf als je Nvidia bent.

[Reactie gewijzigd door Zwolsermbtr op 28 september 2026 15:06]

[bzuidgeest]

Hopelijk wel. NVIDIA verdient goed aan AI, tuurlijk zorgen ze dat het zo lang mogelijk door kan zonder issues.

En zelfs als de bubbel klapt. Internet verdween niet met de internet bubbel, Ai niet met de AI bubbel.

[Reactie gewijzigd door bzuidgeest op 28 september 2026 15:16]

[Jedotw]

Nergens beweer ik dat het klappen van de AI-bubbel voor het verdwijnen van AI zal gaan zorgen. Wat wel gaat gebeuren is dat opeens de honderden miljarden aan al bestelde (en zelfs al gedeeltelijk betaalde) chips, én de enorme hoeveelheden chips die nu al op de plank liggen, niet gebruikt gaan worden.

[bzuidgeest]

niet gebruikt gaan worden.

Dat betwijfel ik ten zeerste. Dat gaat of herpakt de consumenten markt in, word gerecycled (kleinste kans optie denk ik). Of word gewoon uitgeleverd in een wat gematigder tempo.

[Powerblast]

Ik vind het persoonlijk veel vreemder dat OpenAI of Anthropic niet met een dergelijke oplossing zijn gekomen voor de ontsnappingen (bij gebrek aan een betere omschrijving ). Nee, ze gaan over tot het willen vertragen van de modellen om het beter in te richten, terwijl Nvidia blijkbaar al wat liggen heeft. Doet me toch weer vermoeden dat er achter de schermen meer meespeelt bij dat hele vertragen verhaal.

Nvidia hun oplossing kan natuurlijk nog altijd niet waterdicht zijn, maar het is wel al een begin. Zie persoonlijk ook meer in een opensource oplossing die overal werkt want zoals ik het begrijp kan iedereen zijn willekeurige bot ineens illegale praktijken gaan uitvoeren zonder dat hij het toegeeft. Dat OpenAI hun eigen sandbox dus dichttimmert is zelfs niet voldoende.

[Reactie gewijzigd door Powerblast op 28 september 2026 15:49]

[spaceboy]

Ja, precies. Dit werkt prima. Bij bedrijven die niet wíllen dat agents los gaan. Maar dat is toch maar een (waarschijnlijk klein) deel van het probleem? Of ben ik nou pessimistisch?

[Moortn]

Dat lijkt me ook niet de doelgroep. Nvidia heeft een coalitie opgericht met AI-bedrijven om te zorgen dat ze veiliger hun modellen kunnen trainen. Dit platform lijkt me ook enkel daar op gericht.

[bergsegek]

Sam Altman heeft teveel macht op de globale markt met claims en toezeggingen welke de markt zullen laten ontploffen. Het is niet houdbaar dat de chipfabrikanten verwachten dat hij 70% van de wereldproductie opeist. zou het als een TSMC niet eens willen zo afhankelijk te zijn van 1 onbetrouwbare leugenaar.

[dakka]

Pfffft wat een onzin zeg (ten eerste dat ze er zo opeens mee komen), en dan gaan bedrijven natuurlijk dat referentieontwerp halfbakken implementeren en dan is het alsnog zo lek als een mandje

En in het lijstje van mede-auteurs, staat er niet een tussen die frontier-models ontwikkeld... (ja Anthropic die helpt bij het installeren) een beetje alsof een groep bedrijven dat keukenapparatuur ontwerpt, de HACCP regels gaat opstellen.

[Reactie gewijzigd door dakka op 28 september 2026 15:47]

[DavidZnay]

Je kunt ook, ik zeg maar wat, je sandbox echt van het internet houden en/of fatsoenlijk configureren. Deze 'sandbox' had praktisch gezien gewoon internettoegang.

[JohnKarma]

Kan niet gewoon de wifi kaart eruit gesloopt worden, en de netwerk kabel eruit. Wat dacht je van zo'n sandbox. Dat geleuter. Er moet gewoon aansprakelijkheid zijn als dit soort AI agents losgelaten worden op het internet want dat is het. Bikkelharde en grote schadeclaims. Heel eerlijk gezegd zal het me ook niet verbazen dat het heel goed mogelijk is dat Nvidia Hugginface mede om deze reden wil kopen. Reputatieschade voorkomen en schadeclaims vooraf afkopen.

[blurry]

Man deze hele ai industry is zo scummy, iedereen weet dat de "aanvallen" op hugging face makkelijk voorkomen hadden kunnen worden. De manier waarop de test was opgezet was lek genoeg dat een gemiddeld persoon kan zien hoe die setup fout is gegaan.

Maar nee, waarom zouden we nadenken? Nvidia heeft toevallig al een nieuw overpriced product klaar liggen die goed samen gaat met de voorgestelde regulatie waar alle ai guru's voor pleiten. Want deze gevaarlijke technologie die niemand begrijpt en humanity kan beëindigen moet verantwoordelijk gebruikt en ontwikkeld worden. Also, hebben jullie nog een paar miljard, zodat we door kunnen gaan met onze 'ontwikkeling' om ai in te kunnen zetten voor alles gerelateerd aan de politiek, het militaire complex en surveillance technologie?

Idk maar if it looks like a duck, is hier volgens mij wel van toepassing.