OpenAI komt met AI-model dat eigen AI-modellen probeert te jailbreaken

OpenAI heeft een eigen intern model dat probeert om eigen, niet-uitgebrachte modellen aan te vallen. Volgens het bedrijf werkt GPT-Red effectiever dan een menselijk 'red team'.

Door GPT-Red is GPT-5.6 veel beter bestand tegen aanvallen, beweert OpenAI. GPT-Red is alleen intern, omdat het specifiek is getraind om AI-modellen aan te vallen. Daarbij verzint het model zoveel mogelijk manieren om bijvoorbeeld prompt injections uit te voeren. De bedoeling daarvan is dat modellen die OpenAI uitbrengt beter bestand zijn tegen aanvallen.

Menselijke 'red teams', die binnen bedrijven voor de release proberen om producten en diensten te kraken om zo de beveiliging te verbeteren, schalen niet goed mee en vormen daardoor een bottleneck, zo stelt het bedrijf. Daarom was een AI-versie nodig. "Het ontwerpen en uitvoeren van deze oefeningen is tijdrovend, waardoor we minder snel nieuwe foutpatronen kunnen identificeren en deze in sterkere beveiligingsmaatregelen kunnen integreren. Bovendien leveren deze oefeningen weliswaar waardevolle voorbeelden van succesvolle aanvallen op, maar ze genereren niet de hoeveelheid en diversiteit aan vijandige data die nodig is om de robuustheid van modellen door middel van training te verbeteren."

Modellen gescheiden houden

OpenAI houdt GPT-Red intern én gescheiden van andere modellen zodat het model nieuwe modellen goed kan blijven aanvallen. "Wij geloven dat we met GPT-Red een vergelijkbaar vliegwiel voor veiligheid op gang hebben gebracht, waarbij de modellen van vandaag kunnen worden gebruikt om de modellen van morgen robuuster, beter afgestemd en betrouwbaarder te maken."

Het bedrijf zegt dat het de rekenkracht en data zal blijven opschalen voor GPT-Red. "We zullen tegelijkertijd algoritmes blijven verbeteren om toekomstige versies van GPT-Red te trainen die sterker zijn dan het huidige model. En op hun beurt zullen deze modellen bijdragen aan de veiligheid van toekomstige GPT-releases."

OpenAI GPT-Red

Reacties (14)

[Orangelights23]

Dit zijn meer prompt injections dan echt red teaming, of pentesting. Bij red teaming doe je namelijk alles (binnen de kaders) om ergens binnen te komen: dit kan bijvoorbeeld ook gaan over het namaken van een toegangspas om een bedrijfshal binnen te komen, of iemand bellen en doen alsof je van de IT-servicedesk bent en vragen om een password reset uit te voeren middels een malafide website.

Pentesting gaat dan wat specifieker over technische handelingen en bedrijfslogica binnen applicaties, hardware en infrastructuur.

Overigens hoeft dit niet vóór release gedaan te worden (was dat maar wel het geval, maar ja, geld...).

Wat OpenAI nu heeft ontwikkeld, komt niet in de buurt van red teaming, het is niets meer dan prompt injection wat een klein onderdeel is binnen pentesting, wat weer een mogelijkheid is binnen red teaming.

Maar... dit is natuurlijk wel gaaf. De AI snapt zichzelf tot op zekere hoogte en kan daardoor ook sneller/efficiënter zichzelf proberen te breken. Het zou mij niets verbazen dat je over een tijdje een LLM kunt laten draaien die je eigen applicaties probeert te breken, dezelfde applicatie waarin die LLM ook draait.

[walteij]

Het is meer dan alleen prompt injection (maar wel veel inderdaad), op Ignite 2024 nog een mooie sessie van mee gekeken wat er dus allemaal gedaan wordt om te kijken hoe de guardrails van AI opgerekt of doorbroken kunnen worden, en die is gelukkig terug te kijken. Toegangspasjes op een AI LLM proberen te gebruiken gaat niet zo heel veel nut hebben denk ik. Ik vraag me wel af hoe je dus het AI LLM Redteam de soort gedachtenkronkels van een mark Russinovic kunt leren......

[JoepG]

Maar als dat aantal prompts worden uitgevoerd, wat betekent dat voor het energieverbruik? En de bezettingsgraad van de servers waar het model opdraait? Zowel het systeem wat getest wordt als het test systeem zelf. Heb daar niet echt een idee van, maar als AI veel energie slurpt, en je gebruikt dan een AI om een andere AI te testen, heb je dan dubbel verbruik, en aangezien de AI veel meer prootps kan geven is de beslating ook veel hoger.

Als iemand daar inzicht in heeft, ben ik wel benieuwd

[Jorah_Newstone]

Dat kan al met Mythos, als je Mythos mag gebruiken tenminste. Alleen wel vrij gevaarlijk want hoe bewijs je dat de applicatie van jou is? Of dat je AI mag laten pentesten? Voor hetzelfde geld ben je een hacker die stoute dingen doet.

[Orangelights23]

Mythos is een generieke cybersecurity LLM, terwijl deze van OpenAI zich specifiek richt op LLM’s.

Bewijslast is niet erg ingewikkeld binnen IP’s, het grootste risico is dat er andere LLM’s komen die wél beschikbaar gesteld worden en door iedereen ingezet kunnen worden, zowel offensief als defensief.

[thafang]

We gave up control.

[Scriptkid]

We are taking controle back

[Slavy]

Yo dawg I heard you liked AI

So I put AI in your AI, so you can AI while you AI your AI.

[Skit3000]

Ik vraag me af wat OpenAI voor elkaar zou krijgen als ze ChatGPT en hun API een weekje afsluiten voor iedereen en die tijd dan gebruiken om alle compute die ze hebben in te zetten om betere manieren dan nu te vinden om teksten te genereren. Er zijn bijvoorbeeld naast gewone LLMs ook Diffusion LLMs die razendsnel zijn (maar vaker fouten maken), zie bijvoorbeeld deze demo van Mercury 2 (vraag om een spelletje Tetris te spelen, of een spel zoals Mario met parallax effect, vijanden, een eindzone en publiek beschikbare sprites).

Kort verhaal nog korter; als een partij als OpenAI echt al hun compute er tegenaan gooit kunnen ze misschien wel iets maken wat vele malen beter werkt dan alles wat we tot nu toe hebben gezien.

Toevoeging; dit spel (HTML even plakken in een online viewer) is het resultaat van een chatsessie waar ik 12 keer heb gevraagd om iets toe te voegen. Waar dit met ChatGPT of Claude per keer een minuut of langer duurt tot je antwoord hebt, kostte dit me met Mercury 2 in totaal nog geen twee minuten.

[Reactie gewijzigd door Skit3000 op 16 juli 2026 09:42]

[markhelifreak]

Nou, dat was hem dan.

[bosbeetle]

Lijkt me waardevol wapen tegen andere AI's. De oorlog kan beginnen. (of is denk ik al begonnen)

[Jorah_Newstone]

De AI oorlog is al begonnen, OpenAI vs Antropic. Ze resetten nu zelfs al de wekelijkse limiet op haast dezelfde tijdstip om zo mensen aan hun model te houden inplaats van men overstapt.

[YopY]

Is al een tijdje geleden begonnen, het is nu een "arms race" tussen wie kan het beste / snelste meer hardware online brengen, en wie kan het snelste itereren op nieuwere en betere modellen. Het is logisch dat ze daar ook AI bij gebruiken om zichzelf te versterken. De vraag is of het ook daadwerkelijk voor verbetering zorgt; op dit moment denk ik dat ze aan een plateau zitten, want de nieuwere modellen van afgelopen jaren zijn slechts incrementeel, niet revolutionair, en zeker niet exponentieel.

Kan natuurlijk zijn dat er maar 1 "punt" nodig is om dat wel zo te maken, bijvoorbeeld als ze (of een LLM zelf) met een techniek komt om ineens 10-100-1000x zo snel / efficient te worden.

[CAPSLOCK2000]

Prima ontwikkeling hoor, dit moest vroeg of laat gaan gebeuren, mensen houden het gewoon niet meer bij. Het gaat hier natuurlijk niet bij blijven en de volgende generatie software wordt gebouwd met GPT Red in het achterhoofd. We gaan vast ook nog een keer iets horen over een GPT "Bruin" voor het leger en geheime diensten dat is gemaakt om GPT Red te ontwijken, en het criminele circuit is er vast ook al vollop mee bezig.