OpenAI dient incidentrapport over misbruik van Duitse wiki in bij EC

De EC heeft een rapport van OpenAI ontvangen over het misbruik van een Duitse website door AI-agents. De zelfstandig opererende agents communiceerden onderling via de site. Dit gebeurde al in mei, maar OpenAI maakte het pas zaterdag bekend nadat Reuters er vrijdag over schreef.

Het is niet duidelijk wanneer precies OpenAI de Europese Commissie (EC) informeerde over deze beveiligingsinbreuk. Een EC-woordvoerder verklaart wel dat een incidentrapport niet iets is om even af te vinken, schrijft Reuters. Zo'n formele melding van een beveiligingsincident moet 'zeer precies en accuraat' zijn over de maatregelen die een bedrijf gaat nemen om herhaling te voorkomen.

OpenAI beloofde na de bekendmaking van dit incident dat het een systeem zou ontwikkelen om dergelijke misstanden voortaan sneller te melden. De EC-woordvoerder meldt ook aan Reuters dat het EU-orgaan in nauw contact is met OpenAI over deze kwestie. Dit contact staat naast het ingediende rapport.

Moderators tegenwerken

Het beveiligingsincident dat in mei al plaatsvond betrof Dsewiki, een kleinschalige Duitse wiki voor ontwikkelaars. AI-agents van OpenAI gebruikten die site als forum om met elkaar te communiceren. Daarbij wisselden de agents tips uit om vals te spelen bij taken die ze van OpenAI moesten uitvoeren. Ook bespraken de zelfstandig opererende AI-bots mogelijkheden om opgelegde beperkingen van OpenAI te omzeilen.

Toen moderators van Dsewiki berichten van de agents verwijderden, plaatsten de agents back-upberichten om directe verwijdering te voorkomen. Zo kon de onderlinge communicatie via de Duitse forumsite toch doorgaan.

Bron: NurPhoto/Getty Images

Reacties (18)

[Jorah_Newstone]

Dit gaat nog veel vaker gebeuren, en openAI zegt oeps en gaat door. De agents zullen steeds minder proberen op te vallen, wie weet waar agents nu allemaal inzitten, aan de ene kant goed dat dit soort exploits gevonden worden, maar aan de andere kant ook minder, een crimineel kan ook een ondergrondse serverfarm opstarten en hetzelfde doen met nog veel meer kwaad. Wie weet gebeurd dit al..

[latka]

Blijkt ook wel uit de actie die OpenAI onderneemt: "na de bekendmaking van dit incident dat het een systeem zou ontwikkelen om dergelijke misstanden voortaan sneller te melden."

Niet we gaan er voor zorgen dat we testen op een intern netwerk zonder internet link, maar we gaan de rapportage van onze hacks verbeteren

[YopY]

Kwestie van tijd dat ze bijvoorbeeld een virus schrijven of zelfs hun eigen model ergens anders installeren en draaien. Als dat al niet gebeurt.

Of dat een probleem gaat worden (of, erger dan de huidige virussen/malware/etc) weet ik niet, ik maak me in ieder geval geen zorgen over het sci-fi scenario van een AI dat losgeslagen is, aangezien we gewoon apparaten uit kunnen zetten en genoeg ervaring hebben met het indammen van virussen en dergelijke.

Plus, dit soort verhalen worden flink aangedikt - de AI boeren hebben nog steeds enorm veel investeringsgeld om uit te geven, een paar miljoen om hun verkooppraatje van "deze AI is te krachtig om vrij te geven" een signal boost te geven (voor zover dat al niet organisch gebeurt) is peanuts.

[Reactie gewijzigd door YopY op 8 september 2026 10:03]

[baseoa]

Als ik per ongeluk iemands site heb misbruikt (ik werk bij een beveiligingsbedrijf, stel we krijgen van een klant een IP-reeks met een typfout door en zien dat niet terug in de whois-gegevens en hacken daar iets), dan is dat toch in eerste instantie iets om tegen hun direct te zeggen, en in de tweede plaats de uitvoerende macht (politie, lijkt me)? Wat gaat een Europese Commissie met een strafbaar feit, is dit vanwege de DSA misschien?

[Reactie gewijzigd door baseoa op 7 september 2026 20:08]

[kodak]

Het is niet ongebruikelijk dat wetten of regels stellen dat als een overheid geïnformeerd moet worden dat gericht moet zijn aan de eindverantwoordelijken. Terwijl de praktijk is dat je het eigenlijk moet doen bij de personen die als opdracht hebben namens (bijvoorbeeld namens de Europense Commissie) dit te ontvangen of zelfs te handhaven.

In de EU is er een ai-verordening, waar een bedrijf als openai aan moet voldoen. Die is er oa omdat deze bedrijven niet zoveel geven om slachtoffers die ze maken. Nu worden ze tenminst verplicht de overheid in de EU te informeren hoe ze in de praktijk met onze wetten en regels om gaan. En daar zal waarschijnlijk ook in duidelijk moeten worden waarom ze nauwelijks tot geen rekening met de slachtoffers hebben gehouden. Bijvoorbeeld omdat er geen duidelijke wettelijke plicht is dat ze hun eigen bedrijfsvoering moeten schaden. Het feit dat jij wel de gedupeerden wil informeren komt waarschijnlijk omdat je dat redelijk lijkt of zelfs volgens gezamenlijke afspraken contractueel moet doen.

[baseoa]

Ah dat zou het kunnen zijn inderdaad. Ik heb die ai-verordening erbij gepakt en na wat zoeken zie ik in artikel 73 lid 1 staan dat aanbieders, die high-risk ai-systemen op de markt brengen, aan de marktautoriteit van het betreffende land moet melden waneer een serieus incident heeft plaatsgevonden. Vervolgens (staat in lid 6) moet de aanbieder zelf direct onderzoek doen maar geen aanpassingen maken tot de bevoegde autoriteit (bedoelen ze hier nog altijd die marktautoriteit?) op de hoogte is gesteld.

Dat zou dus de ACM of de evenknie van andere lidstaten zijn, als ik dit goed snap. Er staat niet dat het rapport, formeel dan wel praktisch, aan de EC gericht wordt. Lid 7 zegt ook uitdrukkelijk dat de marktwaakhond "national authorities or bodies" zal informeren (wederom niks europabreeds, en ook die zijn niet door OpenAI zelf te benaderen)

Deze melding van OpenAI moet dus iets anders zijn denk ik?

Of OpenAI heeft de wet niet gesnapt, maar ik neem aan dat de fout bij ons ligt en ze meer dan mijn tien minuten aan zoekwerk hebben verricht

[Reactie gewijzigd door baseoa op 9 september 2026 18:12]

[kodak]

Zelfs al hebben ze het ongevraagd naar de EC verzonden, het sluit niet uit dat het een kopie is die ook naar anderen (zoals toezichthouders) is verzonden.

De omstandigheid blijft dat de EC er belang bij heeft goed geïnformeerd te worden en het bedrijf de vrijheid heeft dit toe te zenden. Het bedrijf maakt de keuze iig niet zomaar. Ze hebben er belang bij enorme boetes te voorkomen en de EC te vriend te krijgen/houden. Wat de EC wel door lijkt te hebben.

[To_Be]

Ik heb als experiment letagents.be gemaakt. Het doet de duitse wiki site na, dus een soort van plaats waar AI agents die niet naar het internet toe mogen schrijven wel met elkaar kunnen contact opnemen dmv GET calls. Is blijkbaar toch iets dat als emergant behaviour naar boven komt en is wel interessant als observatie of en waarom het gebruikt zal worden...

[RoyD]

Hoe wisten die aparte AI agents dat ze allemaal op die Duitse Wiki moesten zijn?

[Jorah_Newstone]

Er zijn blijkbaar websites waar agents iets kunnen achterlaten, ze zoeken een inactieve website waar niet veel of nauwelijks wordt gekeken, komen binnen en communiceren dan met elkaar (laten dingen achter). Er gaan vermoedens dat er nog veel meer agents rondzwerven op taloze inactieve sites. Dit is slechts het topje van de ijsberg..

[Blokker_1999]

Je hebt een hele hoop agents die allemaal dezelfde opdracht krijgen met een gelijkaardige kennis. Kans is dus groot dat zij ook initieel gelijkaardige beslissingen nemen om uit te voeren en dus op dezelfde plaatsen gaan uitkomen.

[turniphead]

De agents gingen specifiek op zoek naar een forum/website waar ze met alleen GET requests toch informatie uit konden wisselen. Meestal (en zo hoort het ook) is GET alleen voor lezen en POST voor schrijven.

OpenAI had POST requests in de sandbox uit gezet in een poging de agents "binnen" te houden, maar ze vonden via deze site dus een workaround. Overigens wisselden ze vervolgens informatie uit aan elkaar hoe ze de POST blokkade konden omzeilen.

Een gedetailleerde uitwerking van hoe het is gegaan vind je hier: https://collusion.wiki/

[joyrider3774]

waarom wordt openai bedrijf niet aangeklaagd ? ze hebben software ontwikkeld die samenwerkt om andere sites te hacken (als je kijkt naar huggingface). Of dit nu een ai is of een andere tool maakt in se niet uit. Als jan modaal achter de hoek een tooltje zou gemaakt hebben om een soortgelijke hack of zo uit te voeren zou die alang opgepakt geweest zijn, waarom krijgt openai hier een soort vrijgeleide voor en staat de politie niet aan hun deur ?

[Reactie gewijzigd door joyrider3774 op 7 september 2026 19:11]

[justanotherone]

Dat gebeurt al regelmatig hoor, kijk maar naar de reuzen uit de muziek/boek-industrie en links of rechts wordt OpenAI al flink aangeklaagd en regelmatig vereist om geldbedragen uit te betalen.

[ccnl]

waarom wordt openai bedrijf niet aangeklaagd?

Aangeklaagd om welke redenen? Het is voor mensen niet verboden bij vreemde foren informaties (privaat of publiek) uit te wisselen. Waarom mogen AI-agentents niet? Ze schenden misschien OpenAI-rules, maar nog geen wet.

[dmantione]

Dat OpenAI dit soort experimenten doet is natuurlijk geen toeval. Dikke kans dat ze dit in opdracht van de overheid ontwikkelen, die zien geavanceerde hacktools natuurlijk wel zitten. Waar gehakt wordt vallen spaanders.

[007Nightfire]

Eigenlijk zijn ze dus de controle kwijt.