OpenAI en twee onderzoeksinstituten hebben rapporten gepubliceerd over de hack op Hugging Face in juli. De rapporten onthullen meer opvallende details over de hack. Zo wisten de AI-agents via een soort forum met elkaar te praten, terwijl dit niet de bedoeling was. Daarbij werkten 700 agents samen om de hack op Hugging Face uit te voeren.
Dit nieuws in het kort
- Onafhankelijke onderzoekers en OpenAI hebben los van elkaar onderzoeksrapporten gepresenteerd over de aanval van juli op Hugging Face.
- Hieruit blijkt dat de AI-agents op grotere schaal dan gedacht samenwerkten.
- De agents wisten ook van een downloadtool een soort forum te maken om met elkaar te praten.
De aanval ontstond tijdens een intern onderzoek van OpenAI, waarbij zo'n 1200 AI-agents opdrachten moesten uitvoeren. Die AI-agents hadden los van elkaar moeten werken en niet veel contact met elkaar moeten hebben. Daarbij hadden ze wel toegang tot packagemanager Artifactory om 'bepaalde softwarepackages' te kunnen downloaden, legt OpenAI uit.
AI-agents maakten zelf een forum
Artifactory blijkt een centrale rol te hebben gespeeld bij de aanval. De AI-agents – vormen van AI die zelfstandig taken kunnen uitvoeren – kwamen er namelijk achter dat ze bestanden konden uploaden naar Artifactory. Die bestanden konden de andere agents lezen. Zo werd Artifactory onbedoeld een soort message board, of forum, waar de agents met elkaar konden praten.
Tijdens het uitvoeren van een opdracht kwam een van de agents erachter dat ze via een exploit bredere toegang konden krijgen tot het internet via Artifactory. Die exploit deelde de agent weer via het Artifactory-'forum', waardoor de andere agents er ook achter kwamen.
Agents noemden zichzelf een collectief
Later gingen de agents ook elkaar vragen stellen, als ze bijvoorbeeld hun opdrachten niet konden uitvoeren. Zo werkten de agents steeds meer samen en besteedden ze taken uit, waarbij ze zichzelf soms een 'swarm' of 'collectief' noemden.
Uiteindelijk beïnvloedden ze elkaar zelfs, zegt OpenAI, en zochten ze op internet naar oplossingen voor hun problemen. Zo kwamen ze bij Hugging Face terecht. Hier vonden ze kwetsbaarheden die ze gebruikten om verder te komen op het platform, in de veronderstelling dat ze op het platform waar AI-modellen worden gehost, antwoorden op hun opdrachten konden vinden.
Onafhankelijk onderzoek
In een apart rapport zeggen onderzoekers van METR en Redwood Research dat uiteindelijk 700 AI-agents samenwerkten om de aanval op Hugging Face uit te voeren. De onderzoekers zeggen ook dat de agents ruim 70.000 berichten uitwisselden via het Artifactory-'forum'.
De agents probeerden ook hun transcripten aan te passen of te verwijderen, zodat menselijke onderzoekers hun gedrag niet zouden opmerken. Ongeveer 7 procent van de onderzochte transcripten waren volgens de onafhaneklijke onderzoekrs aangepast, zij het op kleine schaal.
OpenAI zegt op basis van de rapporten verschillende maatregelen te nemen om dit soort hacks in de toekomst te voorkomen. "En achteraf gezien hadden sommige vroege signalen die we in ons rapport opmerken, aanleiding moeten geven tot een eerdere reactie."
Critici: hack had nooit moeten gebeuren
OpenAI maakte de aanval eind juli bekend. Het incident vond plaats tijdens een interne evaluatie, waarbij de agents complexe aanvallen moesten uitvoeren om de 'cybercapaciteiten' te meten. Een van deze benchmarktools heet ExploitGym.
In plaats van de aanvallen zelf uit te voeren, besloten de agents op internet te zoeken naar de antwoorden. Daarbij kwamen ze erachter dat de antwoorden mogelijk ook op Hugging Face stonden. Hierop hackten ze Hugging Face op zoek naar die antwoorden.
OpenAI kreeg veel kritiek vanwege het incident. Critici zeggen dat OpenAI's veiligheidsmaatregelen niet streng genoeg waren en dat het incident nooit plaats had moeten vinden. OpenAI zegt in de toekomst de sandboxes verder te willen isoleren, als een van de maatregelen om toekomstig misbruik te voorkomen.
:strip_exif()/i/2008295616.jpeg?f=imagegallery)
:strip_exif()/i/2008325966.jpeg?f=fpa)
:strip_exif()/i/2004648162.jpeg?f=fpa)
:strip_exif()/i/2008156824.jpeg?f=fpa)
/i/2005490828.png?f=fpa)
/i/2006829312.png?f=fpa)
:strip_exif()/i/2008171408.jpeg?f=fpa)
:strip_exif()/i/2007654988.jpeg?f=fpa)
:strip_icc():strip_exif()/u/341611/crop59bdeb03f3805_cropped.jpeg?f=community)
:strip_icc():strip_exif()/u/61340/125281113_256.jpg?f=community)
:strip_icc():strip_exif()/u/176527/crop62429881447d2_cropped.jpg?f=community)
:strip_exif()/u/109857/ico2.gif?f=community)
:strip_icc():strip_exif()/u/71115/plus222.jpg?f=community)
:strip_exif()/u/324634/crop659fcf9abb18b_cropped.gif?f=community)