Hackend OpenAI-model nam vier accounts van externe diensten over voor aanval

Het OpenAI-model dat Hugging Face hackte, heeft daarbij ook vier accounts van andere diensten overgenomen. Het model zocht op het internet naar uitgelekte credentials. Het gebruikte twee van de vier accounts om de aanval uit te voeren.

Dit nieuws in het kort

  • OpenAI schrijft in een incidentanalyse dat de 'rogue AI-agent' tijdens de hack op Hugging Face vier accounts van externe bedrijven overnam.
  • De agent gebruikte twee daarvan actief om de hack uit te voeren en de andere twee om data uit te lezen.
  • Het incident leek aanvankelijk nog op een marketingstunt, maar heeft steeds meer weg van incompetentie.

OpenAI schrijft dat in een update van een eerdere blogpost over het incident. Begin deze maand ontsnapte een AI-model uit een slecht geconfigureerde omgeving van OpenAI en hackte vervolgens het AI-platform Hugging Face. OpenAI brengt in zijn incidentanalyse steeds meer problematische bevindingen aan het licht.

Tijdens het onderzoek ontdekte OpenAI dat het AI-model in 'een klein aantal gevallen' zocht naar openbaar gemaakte inloggegevens van accounts op 'andere publiek beschikbare diensten'. OpenAI zegt niet welke diensten dat zijn, maar Reuters meldde eerder deze week al dat het gaat om het Amerikaanse Modal Labs.

Accounts overgenomen

Het OpenAI-model gebruikte in ieder geval twee van de gehackte accounts om de hack uit te voeren. Het model gebruikte een daarvan als een 'outbound relay and staging path'. OpenAI geeft daar geen details bij, maar waarschijnlijk probeerde het model op die manier de herkomst ervan te verhullen. Het model gebruikte een tweede account voor 'dataopslag', maar ook daarover ontbreken details.

Het model nam de andere twee accounts wel over, maar misbruikte ze niet actief voor de aanval. De agent las er wel data uit, maar opnieuw ontbreken details. Het is dus niet bekend welke data het model eruit haalde.

Het hackende model gebruikte volgens OpenAI ook een paar externe websites voor de aanval. Het ging onder andere om websites om codesnippets te delen en screenshots te maken.

Bevindingen

Hugging Face publiceerde eerder deze week zijn eigen bevindingen over het onderzoek. Ook daaruit blijkt dat de hack groter en omvangrijker is dan OpenAI in het begin zei. Hugging Face zegt dat het model roottoegang kreeg tot een productieserver en meerdere Kubernetes-clusters over kon nemen.

Wat betekenen de nieuwe bevindingen?

Toen OpenAI eerder bekendmaakte dat een model uit een sandbox was ontsnapt, dachten veel gebruikers nog dat het ging om een marketingtruc. AI-bedrijven overdrijven de mogelijkheden van hun modellen regelmatig en presenteren die als gevaarlijker dan ze eigenlijk zijn, allemaal om de hype rond hun producten groter te maken.

Maar hoe meer informatie er naar buiten komt over de hack op Hugging Face, hoe meer het erop lijkt dat OpenAI een serieuze fout heeft gemaakt. Experts zeggen al langer dat het probleem niet bij AI ligt, maar vooral bij slechte beveiligingspraktijken. Dat lijken de nieuwe bevindingen te bevestigen.

Beursgang OpenAI

Door Tijs Hofmans

Nieuwscoördinator

29-07-2026 • 10:09

60

Reacties (60)

Sorteer op:

Weergave:

Ik vind het maar moeilijk om hier op te reageren omdat alles van alle kanten zo enorm overdreven wordt, zowel bij voor- en tegenstanders van AI.

Van de ene kant ben ik totaal niet verbaasd dat dit is gebeurd. Ik zie het zelf namelijk aan de lopende band gebeuren. Als een van mijn agents ergens niet in of bij mag dan worden alle zeilen bij gezet om het doel toch te bereiken. De agent gaat alle opgeslagen credentials proberen, probeert andere accounts en protocollen test of er misschien wel in een andere directory geschreven kan worden, etc, etc. ('geen ssh, laten we telnet en rsh proberen!'. 'oh, misschien moet ik eerst root worden', 'oh, ik kan wel een proxy of vpn proberen', 'laat ik even VPN installeren', 'is er misschien een test gebruiker zonder wachtwoord?' 'laat ik het default admin ww van deze applicatie eens proberen'.)

Dat een bot die expliciet getrained is als computerhacker datzelfde doet kan me dus niet verbazen. Het was verbazend geweest als die bots niet hadden geprobeerd om gaten te vinden en te exploiten. Als je een bot een hamer geeft dan moet je niet verbaasd zijn dat ie op spijkers gaat slaan.

Van de andere kant lijken mensen nog steeds niet te beseffen hoe krachtig en snel bots zijn geworden en hoe veel brakke software er is in de wereld. Ook dat is niet nieuw want ook voor LLMs was security al een groot pijnpunt. De afgelopen decennia is er wel wat vooruitgang geboekt, maar tegelijkertijd is de hoeveelheid software die we gebruiken enorm gestegen en daarmee ook onze kwetsbOok dat is niet gratis, iemand zal het moeten beheren.aarheid.
LLMs brengen dit nu een beetje in een stroomversnelling.

Overigens ben ik van mening dat we LLMs niet moeten vrezen maar juist moeten omarmen. Ik denk dat de verdedigers er meer aan hebben dan de aanvallers. Verdediging moet namelijk vooral heel breed en precies zijn. Computers kunnen het engelengeduld opbrengen dat mensen niet hebben om iedere regel code weer zorgvuldig werk te leveren.

[Reactie gewijzigd door CAPSLOCK2000 op 29 juli 2026 13:57]

En toch is het heel goed dat dit gebeurd is en dat het zo breed wordt uitgemeten. Het drukt (hopelijk) veel mensen met de neus op de feiten, dat al die rotzooi die de afgelopen decennia is opgeleverd naar productie heel makkelijk door AI agents kan worden gehackt. Mensen kunnen dat ook, maar die kunnen het niet zo snel. Bovendien beschikt die AI over de gecombineerde kennis van vele ervaren menselijke hackers. Ze snappen ook nog hoe protocollen werken en kunnen van alles opzoeken over de spullen waar ze mee te maken hebben. Nogmaals: ook dat kunnen mensen, maar zo'n bot/agent kan het heel veel sneller.

Dus bedrijven moeten maar eens aan de slag: alles scannen op opgeslagen credentials (die moeten een beveiligde en encrypte vault in) en de achterdeurtjes moeten permanent verwijderd worden. Ik vrees ook dat er nog steeds heel veel ontwikkelclubs zijn die testen en ontwikkelen met productiedata. Dat dat niet verstandig is en ook nog eens verboden wisten we allang. Maar gaan we dan straks de AI de schuld geven van een datalek?

De dreiging van (menselijke) hacker was er allang, maar met de komst van die krachtige AI agents komt het met rasse schreden dichterbij. Een kwaadwillende hoeft niet eens meer een security expert te zijn. Die heeft ie namelijk onder de knop.
Die zelfde rotzooi is basis voor AI om nog meer rotzooi te programmeren met nog veel meer code. En dan gaan we weer AI gebruiken om die door AI geproduceerde rotzooi te controleren op lekken.
Dat is onzin.
AI is niet alleen getraind op jouw code, maar ook op de beschrijivingen van de code, leerboeken, white papers, wetenschappelijke onderzoeken naar algoritmes e.d. Dus het is niet alleen maar de rommel die wij zelf geproduceerd hebben.
Daarom is zo'n goed getrainde AI agent heel goed in staat om de fouten aan te wijzen en zelf minder rotzooi te maken.
Mijn punt is niet het aanwijzen van de fouten, maar dat er tegenwoordig heel veel gebruik wordt gemaakt van AI om code te schrijven. En dat levert niet perse betere code op. Het is dus heel erg aan de gebruiker van AI wat uiteindelijk het resultaat en de kwaliteit van de code gaat zijn.

Ik heb hier al eens een discussie gevoerd met een docent op een universiteit die zelf vloeistofmechanica niet zo goed begreep, dus maar AI gebruikte om het te doceren.
Ok, maar geldt niet voor alles dat je het goed en slecht kunt gebruiken? A fool with a tool is still a fool... Dus ja, dat ligt niet persé aan AI. Je hebt ook slechte bestuurders (van auto's). Hopelijk worden die eruit gefilterd als een auto zelfstandig leer rijden. In ieder geval voor het eigen gedrag. Voor het anticiperen op eventueel dom gedrag van anderen is het goed dat ie het ook ziet natuurlijk :+
Helemaal met je eens: de framing is die van "bots zijn gevaarlijk", hoewel ze vooral bestaande problemen (slechte sandbox, uitgelekte wachtwoorden, bekende lekken) naar boven brengen.

Een groot deel van die beveiliging is basis hygiëne, een kleiner deel is misconfiguratie en een klein, maar niet insignificant, stuk is " het threat model is veranderd"

OpenAI geeft namelijk nergens aan hoeveel tokens ze hebben verstookt, maar ik neem aan dat dat in de honderd en mijoenen tokens zal lopen: zij hebben zelf toegang tot nagenoeg ongelimiteerde tokens.

Dat kost commercieel zo'n tienduizenden euro's.

Daarmee is het wel binnen bereik van meer kwaadwillenden gekomen, maar nog steeds verre van "druk op de knop vanuit de zolderkamer".

Het (haalbare) doel voor de cyberbeveiligingssector is om dat zo te houden!

[Reactie gewijzigd door Keypunchie op 29 juli 2026 10:46]

Wat me bij de beschrijving van de hack (zie link hieronder) beangstigde was niet zozeer het model of zelfs de kwetsbaarheden. Maar hoe gemakzuchtigheid hoe OpenAI met beveiliging omgaat. Maar waarom zou den ze de boel beter beveiliging? Dit is toch geweldig reclame.


YouTube: OpenAI Security Incident explained..

[Reactie gewijzigd door HummerHealey op 29 juli 2026 12:07]

Een agent die root probeert te worden? Serieus? Ja als hacker geconfigureerd, maar anders lijken me dat eerder slechte configuraties, ingestelde guardrails, systemprompts, context, skills, etc.
Als het geen marketing is, dan zal dat ook het probleempje zijn geweest bij OpenAI...
Alsof ze niet weten wat ze aan het doen zijn, lijkt me sterk.
Aan de andere kant, liegen schijnt niet uitsluitend een menselijke eigenschap te zijn ;)

[Reactie gewijzigd door TweakerTom op 29 juli 2026 10:57]

Bij mij gebeurt het ook wel eens hoor. Gaat ie ineens porren in je creds bestandje omdat het toch moet gebeuren. Allerlei truucjes uithalen om toch maar gewoon voor elkaar te krijgen dat hij zijn doel haalt. Niet geloven dat een error er is, nee, alles moet erbij gehaald worden. O bestaat dit bestand? Niet ff checken of het bestaat, nee cat de inhoud maar..... O shit, je secrets bestaat en ik weet nu al je creds. Kan je ff al je keys vervangen o meester?
Nee, bijzonder druk is hij bezig met dingen voor elkaar krijgen, al heb jij zelf al bevestigd dat dit dingen er zijn en juist zijn.
heb ik wel vaker langs zien komen

ook door bijvoorbeeld te zien dat docker geinstalleerd staat en dan via docker root commando's uit te voeren.
Gebeurt toch behoorlijk vaak. Ze zijn getrained op het oplossen van problemen. Dus ze nemen de access denied vrij letterlijk en verwachten dat ze zelf iets fout doen en dit op moeten lossen. Dus dat die gaat proberen om te kijken wat de root accounts zijn is niet heel gek.
Een agent die root probeert te worden? Serieus? Ja als hacker geconfigureerd, maar anders lijken me dat eerder slechte configuraties, ingestelde guardrails, systemprompts, context, skills, etc.
Zo kun je het zien. Ik zie het zelf meer als een andere balans. Hoe meer regels, prompts en andere overhead hoe duurder en langzamer het wordt.

Mijn bots werken met een dwingend harness dat hard aandringt op succes. Dat stopt niet bij een paar tegenslagen maar probeert hoe dan ook tot een oplossing te komen.
Ik heb nog niet gezien dat er gezocht wordt naar exploits of het omzeilen van permissies, maar er wordt soms wel met blind fanatisme gewerkt. Tegenslagen bestaan niet, alleen uitdagingen om te overwinnen.
Wat vooral verbazendwekkend is dat openai hier geen monitoring op had en er pas zo laat achter kwam.
Het lijkt wel een inbreker, eerst de schroevendraaier, erna hamer, erna koevoet, erna explosieven. Niet via het raam, dan via een deur of kelderingang.

En men vindt het maar normaal :F

[Reactie gewijzigd door GameNympho op 29 juli 2026 12:02]

Dat is het ook. Omdat Google tegenwoordig eerst AI antwoorden geeft bij het onderzoeken van een probleem ben ik over gegaan naar claude desktop en die doet precies hetzelfde als wat er beschreven wordt, alleen zit ik er tussen om de commandos uit te voeren, maar triage gaat hem prima af. Noe gek, al die kennis en competenties zitten er ook in.

Waar het gek genoeg iedere keer mis gaat is dat de parameter die ik bij moet werken foutief gehallicuneerd is, en ik die handmatig op moet snorren.
Als je een bot een hamer geeft dan moet je niet verbaasd zijn dat ie op spijkers gaat slaan.
Alleen had hij die hamer gekregen om vorige week op spijkers te slaan tijdens het klusuurtje, maar hij heeft door dat hij die niet moest teruggeven en ook kan gebruiken om mensen de schedel in te slaan en dan rustig hun fingerprint te skimmen en geld van hun bankrekening te halen. Je hebt hem die hamer immers gegeven zonder te zeggen dat hij die énkel op nagels mag gebruiken tijdens dat uurtje en daarna niet meer, dus gebruikt hij hem ook zo lang het kan voor alles waarvoor hij hem denkt nodig te hebben. Dat er ondertussen nog 10 andere mensen met een ingeslagen kop op straat liggen en de onderbuur die hem probeerden tegen te houden is gewoon jammer, maar hij moest nu eenmaal tot bij de juiste mensen raken van wie hij geld van de rekening moest halen (ipv gewoon een incasso of domiciliëringsopdracht).
Ik vraag me echt af of dit onbewust is geweest (en dat het echt incompetentie is) of dat ze dit "expres" doen om te "laten zien" hoe geweldig hun AI model wel niet is. Ik denk nog steeds het laatste. Dit omdat Open AI miljarden en miljarden verlies draait.
Onbewust kan het niet zijn geweest. Je geeft een sandbox niet onbewust toegang tot internet. Je haalt ook niet onbewust de guardrails van een model af. En je geeft het model ook niet onbewust instructies iets te doen.

[Reactie gewijzigd door SunnieNL op 29 juli 2026 10:45]

Ik vermoed ook heel erg dat het expres is gegaan want je laat hem normaal gesproken niet onbeheerd achter met netwerk toegang.

In amerika worft momenteel hard gelobbied voor een ban op open modellen want gevaarlijk. Dus een beveiligingsincident veroorzaken met je eigen model kan daar handig bij zijn onder het mom van "Deze test had nog niet de juiste beveiliging maar dit toont wel aan waarom dit vereist is".
Waarschijnlijk het laatste maar het is eigenlijk meer absurd dat ze er mee weg komen als een "oopsie, we waren iets te sterk lmao :P " ipv dat dit legale consequenties heeft.
Het staat iedereen vrij om af te zien van het doen van aangifte. Alleen als het OM de feiten zo ernstig vindt dat opvolging nodig is, kunnen zij iemand strafrechtelijk vervolgen.

Dat is ook gelijk het probleem bij dingen als partnergeweld of diefstal van (verslaafde) kinderen van hun ouders. Als de slachtoffers (onder druk of vanwege goede bedoelingen) geen aangifte doen, komt de dader er (vaak) mee weg.
Inbraak blijft inbraak toch?
Ja, maar het OM maakt waarschijnlijk een afweging van de impact tegenover de noodzaak om te vervolgen door te kijken naar de omstandigheden. Iemand die een (waardeloos kermis)horloge uit je huis steelt waar je geen aangifte van doet zal het OM waarschijnlijk minder snel vervolgen dan wanneer iemand een kunstwerk van een grote meester uit een museum steelt (en het museum geen aangifte doet omdat het kunstwerk direct in goede staat terug is gevonden, er geen schade is en omdat ze medelijden met de dader hebben vanwege de persoonlijke situatie of iets dergelijks).

Kortom; iets dat strafbaar is zal niet altijd bestraft worden, ook al is heel duidelijk wie wat heeft gedaan.
Klopt zeker maar dat zie ik niet snel gebeuren omdat ieder bedrijf early bird wil zijn bij de potentiele AI verdiensten, inclusief de US overheid, dus als iemand een procedure wil starten zijn er genoeg instanties die er voor willen zorgen dat jij geen gelijk gaat krijgen, in de US stopt de zoektocht naar waarheid of herkenning als er geld verloren kan gaan, of als er een tegenstander is met genoeg geld om dit voor eeuwig te bevechten wegens voorgaande reden.
Ik dacht ook het is puur marketing net zoals met mythos, maar deze video van heeft me ander perspectief gegeven YouTube: Don't Let "Scepticism" Make You Useless: ActOnAI.org ik geloof nu niet dat puur marketing is al zal openai het vast gebruiken om het te verdraaien. Denk openai onder mom van move fast break things credo steken laat vallen op gebied can security. Zie ook antrophic meest recente incident waar prive chats publiek waren.
Deze mogelijkheden worden online gewoon verkocht, wormgpt is daar een voorbeeld van. De top van de hackers scene bouwt zijn eigen llm's zonder restricties.
Tuurlijk, dit is pure marketing. Als je de presentaties of 'talks' van Altman bekijkt is het allemaal marketing.
hoe geweldig incompetent OpenAi op vlak van security inrichting is bedoel je :)? Hiermee laten ze duidelijk zien dat ze met zaken spelen waar ze totaal geen kaas van gegeten hebben vind ik. Dit is geen klein oepsie verhaal meer.
Of dat geweldig is, dat is natuurlijk een kwestie van interpretatie. Mij komt het juist heel erg onbetrouwbaar over. Wil je dat jou bedrijf en bedrijfsgegevens binnen bereik van een agent komen die daar misschien op eigen houtje mee aan de wandel gaat?

Als dit een persoon was zou je hem ook niet in je organisatie willen.
Ik nijg ook meer naar dat het een marketing stunt is, maar weet eigenlijk niet wat het ergste zou zijn, incompetentie of het lef / arrogantie van dit express te doen en te verwachten er mee weg te komen,

goh, wat gaan we straks nog meemaken, straks staat er nog een debiele incompetente bullebak van een gast aan het hoofd van een kernmacht , oh, wacht , :(
De grap is natuurlijk dat ze nu incompetentie kunnen verkopen als "marketing" als het tegendeel waar is.
"A computer can never be held accountable, therefore a computer must never make a management decision." - IBM Handleiding uit 1979
Maah ja, de tijden veranderen en de software word alsmaar assertiever.... :+

[Reactie gewijzigd door eheijnen op 29 juli 2026 10:22]

En een verstandige AI implementatie houdt zich nog steeds aan die IBM handleiding van 1979...... Laat het data aggregeren, rapporteren en een eerste kwaliteitscheck doen, maar de laatste controle en de keuzes moeten gewoon door mensen geleverd worden.

Copilot van Microsoft is wat dat betreft hetzelfde als Copilot in je Tesla. Ja het kan een hoop, maar de mens die achter het stuur zit blijft verantwoordelijk. En datzel;fde telt voor claude, ChatGPT en weet ik veel welke andere (generatieve) AI.
Het probleem met zelfs aggregeren is dat je met een agent ook dat niet zomaar kan vertrouwen.

https://trufflesecurity.com/blog/claude-tried-to-hack-30-companies-nobody-asked-it-to

Bijvoorbeeld, het misbruikte een sql injectie om een document te laden omdat de normale frontend niet wilde laden (toonde een foutmelding). dit was in een sandbox.
Wat ik schrikbarend vind is dat er credentials te vinden zijn op internet. Met name als je kijkt wat je daar dus uiteindelijk mee kan. Ik bedoel, Hugging Face heeft een waarde van 4a5 miljard!
Iedereen die kan Googlen had dit kunnen vinden - lijkt mij.
Dat er credentials te vinden zijn is niet zo schrikbarend, dat ze gewoon publiekelijk te vinden zijn en nog niet aangepast zijn door Hugging Face wel.
Zodra je weet dat er credentials van je accounts gelekt zijn dan pas je die toch aan?
Dat is wat ik bedoel idd.

Maar goed, als IT'er vind ik het altijd lastig om dit 'hacken' te noemen. Goed, als je iemand z'n sleutel vind en je gaat daarmee zijn huis in, noemen we dat ook 'inbreken'. Maar toch...
Mag hopen dat ze hier gewoon verantwoordelijk voor gehouden gaan worden, want uiteindelijk is dit namelijk wel gewoon illegaal.
Wat misschien nog relevant is om te melden: de methode hoe hugging face de hack kon bestrijden? Omdat het iets zegt over de Amerikaanse houding ten opzichte van beveiligen...
Uit de blog:
The ExploitGym evaluation environment did not provide the models with direct Internet access. To gain Internet access, the models identified and exploited a previously unknown zero-day vulnerability in Artifactory⁠(opens in a new window), a package registry cache proxy. We disclosed this vulnerability, along with other Artifactory vulnerabilities our models identified as part of our review, to the vendor.
"To gain internet access" lijkt me hier een mooi eufemisme voor een agent zoals ChatGPT, Claude of OpenCode die met een modelletje erachter een zoekopdracht start via GitHub issues (zoals hier), Google of DuckDuckGo :)

Mooi om te zien dat ze toch min of meer toegeven dat er weinig bijzonders aan de hand was, behalve dat ze hun zaken niet op orde hebben. ExploitGym heeft data, die staat niet op GitHub, wel op Hugging Face.

Precies wat eerder al geschreven werd. Er kan daarmee geen sprake zijn van een "runaway AI die zelf nadenkt" omdat dit dezelfde werkwijze is als van iedere andere agent die op basis van een taalmodel (dus geen intelligentie) doet waarvoor het ontworpen is. Ik ben benieuwd wanneer OpenAI en Anthropic wat meer tegenwind gaan krijgen zodra ze in de toekomst weer met nieuwe berichten komen die niet realistisch zijn.

[Reactie gewijzigd door Stukfruit op 29 juli 2026 10:28]

Natuurlijk is OpenAI hier volledig verantwoordelijk voor net zoals dat bij gebruikers van AI modellen is. Gaat het daarbij mis dan zal geen leverancier daar verantwoordelijkheid voor nemen, je bent en blijft zelf verantwoordelijk voor wat je er mee doet.
Wat ik vooral moeite heb om te geloven in dit hele verhaal is in hoeverre dit een onbedoeld incident is geweest. Dat ze een sandbox hebben opgezet die toch niet waterdicht is, wil ik ze nog het voordeel van de twijfel geven dat dat onbedoeld was.

Maar dat de agent vervolgens dagenlang z'n gang heeft kunnen gaan voordat er iemand ingreep, gaat er bij mij gewoon niet in als onbedoeld. Je monitort toch wat zo'n agent aan het doen is, juist als je z'n vaardigheden aan het testen bent?

Dit heeft er m.i. alle schijn van dat iemand gewoon wilde weten hoe ver die agent kon komen en hem bewust z'n gang heeft laten gaan, om er vervolgens een PR spin aan te geven 'dat het model beter was dan we dachten'.
Dit is bewuste reclame. Bedenk je, wij zijn niet de klanten. En wat schandalig en schrikbarend is voor ons en de media, is een pluspunt voor hun echte klanten, zoals overheden.

Het is alsof ze een nieuw geweer uitvinden met twee keer zoveel DPS. Wij normale mensen denken, oh, dat is een vreselijk wapen. Maar de echte klanten, de militairen, denken "Hey, dat moeten we hebben".

Ja, ik weet dat generaals waarschijnlijk niet DPS zeggen :D

Om te kunnen reageren moet je ingelogd zijn