Nvidia start coalitie voor open AI-beveiliging na Hugging Face-incident

Nvidia heeft samen met andere bedrijven een coalitie opgericht om tools voor AI-veiligheid en cybersecurity te ontwikkelen en te delen. Aanleiding is het Hugging Face-incident, waarbij enkele AI-modellen van OpenAI het platform hackten.

De nieuwe Open Secure AI Alliance stelt dat digitale verdedigers open, geavanceerde AI-agentsystemen nodig hebben. Volgens de coalitie blijkt dat uit het recente Hugging Face-incident. Daarbij ontsnapten enkele AI-modellen van OpenAI uit een sandbox tijdens een securitybenchmark, waarna ze AI-platform Hugging Face hackten.

Tijdens die aanval konden gesloten AI-tools geen onderscheid maken tussen aanvallers en de verdediging, waardoor ze essentiële forensische analyses blokkeerden. Hugging Face week vervolgens uit naar het open-weight GLM 5.2-model, dat het bedrijf op zijn eigen infrastructuur draaide.

"Als verdedigers geavanceerde AI niet kunnen inspecteren, aanpassen en op hun eigen infrastructuur kunnen draaien, dan zit dat het reactievermogen in de weg op precies het moment dat snelheid het meest telt", aldus Nvidia in zijn aankondiging van de Open Secure AI Alliance.

Eerste bijdragen geleverd

De nieuwe coalitie wil ervoor zorgen dat verdedigers overal ter wereld toegang hebben tot open tools die ze kunnen vertrouwen en controleren. Naast Nvidia zijn tientallen andere techbedrijven lid. Het gaat onder meer om Adobe, Cloudflare, CrowdStrike, Dell, Hugging Face, Hewlett Packard Enterprise (HPE), The Linux Foundation, Microsoft, OpenClaw, Palantir, Red Hat en Salesforce. AI-giganten als Anthropic en OpenAI ontbreken op de ledenlijst.

Nvidia draagt met open modellen, modelgewichten, data en nieuw onderzoek naar agentharnesses bij aan het project. Een agentharness is de infrastructuur om een groot taalmodel heen, waardoor het als AI-agent kan worden ingezet. Zo heeft Nvidia het nieuwe opensourceproject Nvidia Labs Object-Oriented Agent op GitHub gezet. Dit project moet het gedrag van agents gemakkelijker testbaar, traceerbaar, auditbaar en beheersbaar maken.

HPE werkt mee aan SPIFFE en SPIRE, opensourcetechnologieën die AI-agents en -diensten cryptografisch kunnen verifiëren. Dit zorgt ervoor dat alleen geautoriseerde workloads kunnen communiceren en bij bepaalde informatie kunnen komen. Hugging Face heeft verder Safetensors aangeboden aan de PyTorch Foundation. Dit is een veilig format om AI-modelgewichten in op te slaan.

IBM en Red Hat breiden de beveiliging in de opensourcesupplychain met Lightwell uit via digitaal ondertekende patches. Verder is er MDASH van Microsoft, dat AI-agents laat samenwerken om exploiteerbare bugs te vinden, te bespreken en te bewijzen. Tot slot heeft SpaceX de terminalagent Grok Build opensource gemaakt.

Deelnemende partijen aan de Open Secure AI Alliance. Bron: Nvidia

Reacties (6)

[The-Source]

Leuk detail is dat huggingface naar Chinees opensource model moest grijpen (deze hebben ze lokaal gehost) om alle logging door te spitten en daar uit security analyses te doen.
Waarom, nou omdat OpenAI modellen en ook Claude deze analyse blokkeren omdat het ook als hacking gezien kan worden om bugs te vinden en te misbruiken.

Vond het wel grappig om te lezen dat waar je een model beveiligd om geen hacking mee uit te voeren dit ook gelijk je tegenhoud om goed onderzoek te doen.

edit: zie nu pas na 2e keer lezen dat dit ook al staat in de 3e alinea

[Reactie gewijzigd door The-Source op 27 juli 2026 16:10]

[Stukfruit]

Dat NOOA wordt leuk gebracht, maar ziet er op het eerste gezicht niet uit als meer dan Eve van Vercel maar dan met Python-objecten ipv gebaseerd op een directory met tekstbestanden. Of één van de vele andere frameworks die er al zijn.

Je ziet nu dat ieder bedrijf bezig (en voorlopig dus coalities) is met een strijd om de volgende laag van het framework waar naar gegrepen zal worden om het gebruik van agentic programmeerwerk makkelijker te maken, maar dit hier gaat niet helpen om de foute prompts en mogelijkheden tegen te gaan die daarbovenop worden gezet.

Zo was het beruchte onderzoek van Palisade Research ("model kan kiezen om zichzelf niet af te sluiten") onzin op basis van suggestieve prompts en die spectaculaire hack bij Hugging Face is gedaan via ExploitGym, wat notabene een set met tests is om het vinden van kwetsbaarheden mogelijk te maken.

Mensen waren bijvoorbeeld verbaasd dat het "uit eigen beweging" HF lastigviel, maar daar staat de data voor die tests op met een downloadmuur om te voorkomen dat je het zomaar kunt downloaden.

Nogmaals: als je een emmer met water probeert te vullen terwijl je vooraf al weet dat er een gaatje in zit, dan kun je niet verbaasd zijn dat het water wegloopt

Dit is weinig meer dan verkapte marketing.

[Reactie gewijzigd door Stukfruit op 27 juli 2026 17:03]

[NLxAROSA]

Dit dus. En geen krant of technisch medium die fatsoenlijk doorvraagt of onderzoek doet, maar allemaal klakkeloos de marketing van deze bedrijven overneemt.

En straks wel afvragen hoe het opblazen van de bubbel en het klappen ervan had kunnen gebeuren, want “niemand zat dit aankomen”.

[ashemedai]

Vond het NOS artikel anders wel aardig genuanceerd.

[SPee]

En straks wel afvragen hoe het opblazen van de bubbel en het klappen ervan had kunnen gebeuren, want “niemand zag dit aankomen”.

De waarschuwingen en signalen dat er iets niet klopt zijn nu dusdanig groot, dat eenieder* die dit beweerd dat alleen doet om maar schuld/consequenties te ontwijken.

Het is alleen dat dit nu de grootste marktaanjager is, waar alle hype en geld naartoe gaat. Dus als je wil verdienen, dan moet je wel daarin mee gaan. Je moet alleen een goede exit strategie hebben, waar jij - vlak voordat het klapt - met winst kan uitstappen. Of een andere investering kan vinden die wel kan profiteren van de hype in AI, maar minimale impact zal hebben als het klapt. NVidia, chips en energie bijvoorbeeld. Maar niet meedoen en al die potentie verliezen is ook geen optie.

[M3m3nt0m0r1]

Ik ben zeer benieuwd wat Palantir daar te zoeken heeft. Of proberen ze op die manier hun
"reputatie" wat op te schonen? Keeping up appearances?