Ethische hackers breken met Claude in op systemen van OpenAI

Een groep ethische hackers wist in te breken op de systemen van OpenAI. Ze deelden hun bevindingen via OpenAI’s bugbountyprogramma. Met behulp van Claude konden ze de hack uitvoeren en kregen ze zo toegang tot de accounts van OpenAI-werknemers.

De hackersgroep, die zichzelf s1r1us noemt, beschrijft de hack in een reeks berichten op X. Ook hebben de hackers hun hack toegelicht aan de Wall Street Journal. De aanvallers zeggen dat de aanval 72 uur duurde.

De onderzoekers wisten een kwetsbaarheid uit te buiten in een library van een derde partij die op het forumgedeelte van OpenAI's website werd gebruikt. Door een geïnfecteerd HEIC-bestand te uploaden, bleek het mogelijk code uit te voeren op de site. Vervolgens misbruikten de onderzoekers een kwetsbaarheid in de single-sign-onfunctie van OpenAI-accounts die werknemers gebruikten voor hun werk. Daardoor kregen de aanvallers toegang tot Outlook, Gmail, Google Drive, Slack, GitHub en andere diensten waar werknemers konden inloggen via SSO.

De onderzoekers wisten een account van een werknemer over te nemen. Dat bewezen ze door een pullrequest aan te maken in de GitHub-repo van OpenAI.

De onderzoekers meldden hun bevindingen via het bugbountyprogramma van OpenAI. Ze zeggen dat ze voornamelijk gebruikmaakten van Claude Opus 5 om de hack uit te voeren. De AI-agent wist een exploit te schrijven waarmee de gevonden bug eenvoudig kon worden uitgebuit.

Ironische aanval

De aanval is ironisch, omdat uitgerekend OpenAI recent veel in het nieuws is geweest vanwege de cybersecuritygevaren van grote taalmodellen. Zo moest OpenAI deze zomer toegeven dat meerdere agents andere bedrijven hadden aangevallen. Dat incident blijkt bij elk nieuw onderzoek wat ernstiger dan gedacht. OpenAI pleitte er zelf onlangs voor om, samen met andere bedrijven, de ontwikkeling van AI tijdelijk af te remmen. Dat komt deels voort uit zorgen over de kracht van AI-modellen, al zitten daar ook economische en marketingaspecten aan.

Reacties (47)

[kitkat007]

Leg mij eens iets uit. OpenAI presenteert zijn modellen als extreem geavanceerde LLM’s en agents die zelfstandig complexe software en securitytaken kunnen uitvoeren en kwetsbaarheden kunnen vinden.

Maar tegelijkertijd blijkt hun eigen website en omgeving niet waterdicht te beveiligen.

Dan ontstaat toch een vrij logische vraag: als je technologie zo krachtig is als je beweert. Waarom lukt het dan niet om diezelfde technologie effectief in te zetten om je eigen systemen beter te beschermen?

[AnonymousGerbil]

De onderliggende asymmetrie: een aanvaller hoeft maar één keer succes te hebben waar de verdediger bij iedere fout in de problemen kan komen.

Dat maakt een volledig op neurale netwerken gebaseerde methode bijzonder geschikt voor het hacken, terwijl de technologie inherent niet volstaat voor de bescherming daartegen.

[elmuerte]

Dat is voornamelijk waar AI gevaarlijker is. Niet omdat het zo goed is (dat is het niet volgens vele onderzoeken, incl. die van de AI vendors zelf) maar omdat het 24/7 snel en veel verschillende dingen kan proberen. Infinite monkey theorem.

[pietvelleman]

Volgens mij... maar ik ben een leek... is het echte probleem van AI dat AI geen 'waarheid' en harde regels kent.

AI heeft de grootste moeite met toegeven dat het iets niet weet, of twijfelt. De simpele reden daartoe is dat een AI volledig is gebaseerd op statistiek. Niets is waar, niets is 100%. Alles is een waarschijnlijkheid.

Dus echt harde regels inbouwen... is feitelijk onmogelijk. Omdat alles een bepaalde mate van waarschijnlijkheid heeft, dus ook regels als "dit mag nooit", "dit moet altijd", bestaan niet in de ziel van een LLM.

Dus de regels die je meegeeft... worden gewoon in dezelfde 'waarschijnlijkheidsmachine' gegooid, waaruit - via extreem ingewikkelde algoritmes - gegrabbeld wordt.

[Finwickle]

AI heeft de grootste moeite met toegeven dat het iets niet weet, of twijfelt. De simpele reden daartoe is dat een AI volledig is gebaseerd op statistiek. Niets is waar, niets is 100%. Alles is een waarschijnlijkheid.

Maar dit zou juist net zo goed kunnen leiden tot een AI die altijd twijfelt. Juist doordat het nooit 100% is, zou AI ook altijd een slag om de arm kunnen houden. Het is volgens mij puur marketing/sales van AI-bedrijven die ervoor zorgt dat AI zo stellig is. Dat geeft meer vertrouwen in wat AI zegt en verkoopt beter.

[pietvelleman]

Sorry voor mijn primaire reactie. Maar ik ben zo ongelofelijk moe van 'marketing' opmerkingen als het gaat om AI.

"Het is volgens mij puur marketing/sales van AI-bedrijven die ervoor zorgt dat AI zo stellig is."

Nee... het is niet puur marketing. Het is juist een groot commericieel probleem dat AI veel te stellig klinkt terwijl het onwaarheden verkondigt. Marketing-technisch is dat dus niet echt handig.

Zullen we het over de techniek van AI hebben?


chatgpt:
"hie hog iz the ijfffel turn"
>> De Eiffeltoren is 330 meter hoog inclusief de antenne.

Weet je hoeveel onzekerheden alleen al in de vraag zitten? Elk woord is een onzekerheid. Meerdere onzekerheden zelfs. En als er al begrepen wordt wat mijn vraag is, moeten er nog steeds veel aannames worden gedaan. Heb ik het over de Eiffeltoren in Parijs? Of de hoogte van een replica in China? Er is simpelweg geen beginnen aan om feit en waarschijnlijkheid uit elkaar te halen bij een LLM. Alles, op elk niveau, is een waarschijnlijkheid, dus twijfel uitspreken... daar is geen beginnen aan..

[Reactie gewijzigd door pietvelleman op 18 september 2026 20:07]

[Zonder]

Zo heb ik er eigenlijk nog nooit naar gekeken, maar goed punt!

[pietvelleman]

"Dat maakt een volledig op neurale netwerken gebaseerde methode bijzonder geschikt voor het hacken, terwijl de technologie inherent niet volstaat voor de bescherming daartegen."

Pentesting is natuurlijk een perfecte manier om je systemen veiliger te maken. Wat jij zegt, maakt AI een uitstekende pentester. En daarmee ook erg goed voor de bescherming tegen hacken....

[nullbyte]

Niet echt, cybersecurity is een gelaagd systeem. Met 1 keer succes hoor het niet afgelopen te zijn.

[phYzar]

Omdat de aanvaller maar 1 kwetsbaarheid hoeft te vinden, en de verdediger er misschien wel tientallen heeft (onbewust). Je zou OpenAI zichzelf kunnen laten 'red-teamen', maar zelfs al vinden ze er 100, zijn dat álle kwetsbaarheden?

[ccnl]

Omdat de aanvaller maar 1 kwetsbaarheid hoeft te vinden

AI is toch zo goed in patronen te herkennen? Als een hack poging 72u duurde zonder de slimme AI in de gaten heeft, zegt alles over de slimheid van de AI.

[phYzar]

Goed punt, en denk ik meer een indicatie dat de 'verdedigende AI' helemaal niet actief verdedigd. Meer een politiehond die uit z'n bench mag voor een specifieke taak dan een waakhond die je bij je clauten grijpt wanneer je op het erf komt.

[Powerblast]

Ik zou verwachten gezien ze ons vertellen dat AI zo goed is in gaten te vinden, dat hij dus ook goed is om de gaten in zijn eigen verdediging te vinden en proactief al te verhelpen. Maar zo werkt het blijkbaar niet . Ik lees daar persoonlijk uit dat AI toch wel wat minder goed is in dergelijke zaken vinden dan ze ons willen doen geloven. Beter dan een mens waarschijnlijk omdat het sneller gaat, dat wel.

[mjtdevries]

Wellicht is hun eigen AI wel degelijk heel goed in gaten vinden in de eigen verdediging. Maar dan moet je die AI wel vertellen om dat te gaan doen.

Maar voor je marketing afdeling is het veel handiger om je AI andere bedrijven "per ongeluk" te laten hacken, dan vertellen dat je je eigen omgeving veiliger hebt gemaakt.

[telenut]

Van die 72 uur was er misschien maar 5 minuten interactie met openAI...

[beeldbuijs]

Maar dan nog, als je je eigen kwetsbaarheden probeert te vinden, stop je toch niet bij 100 als je er al 100 gevonden hebt?

Het lijkt me dat je juist continue naar zwakke plekken blijft zoeken met een klein team, al helemaal zolang ai nog volop in ontwikkeling is en dus beter wordt, ook die van de competitie.

[GeleKoplamp]

Misschien meer toegespits op een aanval en minder op een verdediging?

[1khalid]

Zoals FC Barcelona op dit moment.

[blabla1234]

Vrij weinig software bedrijven onderhouden hun eigen website, het is een visite kaartje en niet persé hetgeen waar het bedrijf zich in specialiseert.

Dat gezegd hebbende zou het ze natuurlijk wel sieren om hun modellen op hun eigen shit te testen ipv andermans dingen kapot te maken

[Little Penguin]

Dat gezegd hebbende zou het ze natuurlijk wel sieren om hun modellen op hun eigen shit te testen ipv andermans dingen kapot te maken

In dit geval is het een derde partij die gebruik maakt van een concurrerende "AI" om een omgeving van OpenAI te kraken. Mogelijk dat ze het ook via tooling van OpenAI geprobeerd hebben en dat dit niet gewerkt heeft....

[blabla1234]

Ja ik bedoelde ook meer OpenAI zelf met hun HuggingFace hack en 6 andere incidenten die ze recent meldden. Niet zo heel moeilijk om wat testomgevingen op te zetten / toestemming te vragen natuurlijk

[Malarky]

Je kan het vergelijken met een enorm groot land dat millitair superieur is maar zich alleen mag verdedigen tegen inkomende drones en raketten die van alle kanten kunnen komen. Dat land mag niet aanvallen om zelf installaties te vernietigen. De kans dat ze alle aanvallen kunnen afweren is gewoon klein. Er glipt wel eens wat doorheen maar dat maakt je niet meteen millitair zwak.

[asing]

Capture the flag - AI edition!

Je zou bijna de popcorn pakken als je niet zou beseffen hoe gevaarlijk het kan worden als ze dat ineens gaan doen met de verkeerde intenties.

[410Gone]

De mensheid is een gevaar... zet knopje om en de atoombom vliegt al..

[david-v]

Gelukkig kun je een atoombom niet via het internet afvuren. Er is een airgap en er is menselijke interactie nodig. De fout die ze in de wargames film hebben gemaakt (shall we play a game?) willen ze natuurlijk niet in de echte wereld krijgen

[aadje93]

tjsa, die centrifuges in iran hadden ook een airgap

[david-v]

Klopt, daar moest een persoon daadwerkelijk de malware in het interne systeem zien te krijgen, dat ging niet zonder menselijke interactie.

[hajee999]

Het is geen kwestie van als. Dat gebeurt al op grote schaal!

[phYzar]

Claude vs OpenAI in een wapenwedloop?

"Whoever wins, we lose"

https://www.imdb.com/title/tt0370263/taglines/

[DDX]

Nu beide tegelijk in het nieuws, Google moet nu ook aan de bak met nieuws zodat mensen Gemini niet vergeten.

[PjotterP]

Kwestie van tijd zou je denken voordat de weights / safetensors van hun frontier-modellen uitlekken.

[Noxious]

LiveOverflow heeft er een fijne video/analyse over gemaakt:

YouTube: How OpenAI got hacked with an image

[KaiTak]

AI die elkaar kunnen hacken... what possibly go wrong....

Hoe doen ze dat. Ik wilde laatst Claude een AI image laten maken van de grote leider en dat mocht niet... maar hacken mag wel???

[Honytawk]

Precies dat hun cybersecurity niet op punt is.
Dan klinken hun verhalen dat hun AI zo slim is dat die uitbreekt toch wel anders ...

[eli_r]

Ethisch hacken met behulp van energieverslindende AI is een tegenstelling van heb ik jou daar.

[david-v]

Wat een rare opmerking. Moet een ethische hacker ook veganist zijn omdat dat ook ethisch is? Wat heeft een energieverslindende AI te maken met de werkzaamheden van een ethische hacker?

Ik snap de relevantie niet helemaal.

[batteries4ever]

Volgende nieuwsitem: Ethische hackers breken met ChatGPT in op systemen van Anthropic. Je ziet het gewoon aankomen...