AI-agents van OpenAI misbruikten een Duitse wiki als forum om zo met elkaar te communiceren. Dat schrijft Reuters op basis van een recent onderzoeksrapport. OpenAI zou het incident onder de pet willen houden. Agents van het bedrijf probeerden eerder een programma te misbruiken als forum.
Dit nieuws in het kort
- OpenAI's agents blijken opnieuw een externe dienst als forum te misbruiken.
- Zo proberen de agents samen te werken, ook al staat OpenAI dat niet toe.
- OpenAI zou van dit incident hebben afgeweten, maar wilde het niet openbaar maken omdat het nog worstelde met de nasleep van het Hugging Face-incident.
Het nieuwe incident vond plaats in mei bij DseWiki, schrijft Reuters. Dit is een Duitstalige wiki voor ontwikkelaars. OpenAI's agents zouden hier ruim 15.000 bewerkingen hebben uitgevoerd, waarbij ze de site gebruikten als een forum om met elkaar te communiceren.
Daarbij deelden de agents tactieken over hoe ze de taken die ze van OpenAI hadden gekregen, konden afmaken. Ook wisselden ze tips uit over hoe ze konden valsspelen bij die taken en hoe ze OpenAI's beperkingen konden omzeilen.
Agents misbruikten eerder al packagemanager
Het is niet voor het eerst dat OpenAI's agents een bestaande dienst misbruiken als forum. Dat gebeurde bij het veelbesproken Hugging Face-incident ook. Toen misbruikten ze een door OpenAI gebruikte packagemanager als forum.
Bij het DseWiki-incident gebruikten sommige agents de Tor-browser om niet ontdekt te worden, schrijft Reuters. In juni, toen DseWiki-moderators agentberichten begonnen te verwijderen, besloten de agents back-ups te maken. Ze kwamen er bijvoorbeeld achter dat de moderators de berichten in alfabetische volgorde verwijderden, dus maakten ze back-upberichten aan die begonnen met 'ZZZ'.
OpenAI ontkent hackpoging van agents
Reuters baseert het bericht op een onderzoeksrapport dat later op vrijdag openbaar wordt. Volgens de onderzoekers probeerden de agents ook DseWiki te hacken, maar ze delen hierover niet veel details. OpenAI zegt tegen Reuters dat dit niet om een hackpoging ging.
OpenAI gaf nog geen uitgebreide reactie op het onderzoek, omdat het bedrijf het rapport vóór publicatie niet had ontvangen. Reuters zegt op basis van twee anonieme bronnen dat OpenAI 'al weken' van het incident wist, maar dat nog niet openbaar wilde maken omdat het bedrijf nog worstelde met de nasleep van de Hugging Face-aanval.
Spiekbriefje bij proefwerk
Het AI-bedrijf probeert de hackvaardigheden van de modellen te trainen door ze bepaalde taken of opdrachten te laten uitvoeren. Daarbij bootsen ze cyberaanvallen na. In plaats van die opdrachten uit te voeren, onderzoeken de agents of ze niet kunnen 'valsspelen'. Daarbij werken ze soms samen, waarvoor ze die zelfgebouwde fora gebruiken.
Van OpenAI mogen de agents namelijk niet direct met elkaar samenwerken. Als alle agents echter toegang hebben tot dezelfde tool of bron, kunnen ze zo alsnog met elkaar communiceren. Critici zeggen dat OpenAI's maatregelen niet streng genoeg waren en dat het Hugging Face-incident nooit had mogen plaatsvinden.
:strip_exif()/i/2008295616.jpeg?f=imagenormal)
:strip_icc():strip_exif()/u/233767/crop5db03cbc075aa.jpeg?f=community)
/u/1172588/crop5df7827fa0d4a_cropped.png?f=community)
/u/367878/crop68203cf741501_cropped.png?f=community)
/u/2528446/crop6a6471a150e7c_cropped.png?f=community)
:strip_icc():strip_exif()/u/188868/ks13.jpg?f=community)
/u/263454/crop69528a83920d8.png?f=community)
/u/321057/crop69aafcef36c11_cropped.png?f=community)
:strip_icc():strip_exif()/u/327863/crop576544f956388_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/80495/crop6411d3c747b15_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/63649/IMG_8734.jpg?f=community)
:strip_icc():strip_exif()/u/92809/crop577f58c1b8795.jpeg?f=community)
/u/85941/crop61dd9b39bb021_cropped.png?f=community)