Het OpenAI-model dat Hugging Face hackte, heeft daarbij ook vier accounts van andere diensten overgenomen. Het model zocht op het internet naar uitgelekte credentials. Het gebruikte twee van de vier accounts om de aanval uit te voeren.
Dit nieuws in het kort
- OpenAI schrijft in een incidentanalyse dat de 'rogue AI-agent' tijdens de hack op Hugging Face vier accounts van externe bedrijven overnam.
- De agent gebruikte twee daarvan actief om de hack uit te voeren en de andere twee om data uit te lezen.
- Het incident leek aanvankelijk nog op een marketingstunt, maar heeft steeds meer weg van incompetentie.
OpenAI schrijft dat in een update van een eerdere blogpost over het incident. Begin deze maand ontsnapte een AI-model uit een slecht geconfigureerde omgeving van OpenAI en hackte vervolgens het AI-platform Hugging Face. OpenAI brengt in zijn incidentanalyse steeds meer problematische bevindingen aan het licht.
Tijdens het onderzoek ontdekte OpenAI dat het AI-model in 'een klein aantal gevallen' zocht naar openbaar gemaakte inloggegevens van accounts op 'andere publiek beschikbare diensten'. OpenAI zegt niet welke diensten dat zijn, maar Reuters meldde eerder deze week al dat het gaat om het Amerikaanse Modal Labs.
Accounts overgenomen
Het OpenAI-model gebruikte in ieder geval twee van de gehackte accounts om de hack uit te voeren. Het model gebruikte een daarvan als een 'outbound relay and staging path'. OpenAI geeft daar geen details bij, maar waarschijnlijk probeerde het model op die manier de herkomst ervan te verhullen. Het model gebruikte een tweede account voor 'dataopslag', maar ook daarover ontbreken details.
Het model nam de andere twee accounts wel over, maar misbruikte ze niet actief voor de aanval. De agent las er wel data uit, maar opnieuw ontbreken details. Het is dus niet bekend welke data het model eruit haalde.
Het hackende model gebruikte volgens OpenAI ook een paar externe websites voor de aanval. Het ging onder andere om websites om codesnippets te delen en screenshots te maken.
Bevindingen
Hugging Face publiceerde eerder deze week zijn eigen bevindingen over het onderzoek. Ook daaruit blijkt dat de hack groter en omvangrijker is dan OpenAI in het begin zei. Hugging Face zegt dat het model roottoegang kreeg tot een productieserver en meerdere Kubernetes-clusters over kon nemen.
Wat betekenen de nieuwe bevindingen?
Toen OpenAI eerder bekendmaakte dat een model uit een sandbox was ontsnapt, dachten veel gebruikers nog dat het ging om een marketingtruc. AI-bedrijven overdrijven de mogelijkheden van hun modellen regelmatig en presenteren die als gevaarlijker dan ze eigenlijk zijn, allemaal om de hype rond hun producten groter te maken.
Maar hoe meer informatie er naar buiten komt over de hack op Hugging Face, hoe meer het erop lijkt dat OpenAI een serieuze fout heeft gemaakt. Experts zeggen al langer dat het probleem niet bij AI ligt, maar vooral bij slechte beveiligingspraktijken. Dat lijken de nieuwe bevindingen te bevestigen.
/i/2008182788.png?f=imagenormal)
:strip_icc():strip_exif()/u/79614/Family-Guy-Victory-is-Ours.jpg?f=community)
/u/85941/crop61dd9b39bb021_cropped.png?f=community)
:strip_icc():strip_exif()/u/71115/plus222.jpg?f=community)
:strip_exif()/u/324634/crop659fcf9abb18b_cropped.gif?f=community)
:strip_icc():strip_exif()/u/572004/fox.jpg?f=community)
/u/62384/crop61891f444d6e9.png?f=community)
/u/139379/format-c.png?f=community)
:strip_icc():strip_exif()/u/460723/crop57a669a35eb30_cropped.jpeg?f=community)
:strip_exif()/u/267506/crop6737556602b99.gif?f=community)
:strip_icc():strip_exif()/u/122141/ic.tweakimg.net2.jpg?f=community)
:strip_icc():strip_exif()/u/900587/crop58d287fd6389a_cropped.jpeg?f=community)
:strip_exif()/u/23102/anandus.gif?f=community)
:strip_icc():strip_exif()/u/269054/crop6064049cee9ab_cropped.jpg?f=community)
:strip_icc():strip_exif()/u/417493/crop58174774d1256.jpeg?f=community)
/u/237439/cloudy-small-orange.png?f=community)
/u/161002/crop67d05e43676c8.png?f=community)
:strip_icc():strip_exif()/u/29516/omegium.jpg?f=community)