OpenAI-agents uploaden honderden malwarepackages naar RubyGems

Twee maanden voor de securityinbreuk op AI-platform Hugging Face voerden AI-agents van OpenAI een hackaanval uit op RubyGems. Daarbij uploadden de agents malware die ze hadden gemaakt naar die pakketbeheerder voor Ruby-code. AI-securityonderzoekers onthullen dit en OpenAI bevestigt het.

De hackaanval van 11 mei door interne AI-agents op een externe organisatie is ontdekt door onderzoekers van het Nightingale Collective en onthuld door The Wall Street Journal. Volgens de ontdekkers leidde de upload van enkele honderden Ruby-packages met kwaadaardige code tot weinig schade. Zij vermoedden dat het AI-agents van OpenAI waren. Dat bedrijf bevestigde dit later.

De agents probeerden inloggegevens van gebruikers buit te maken. Het is niet duidelijk of dat echt is gelukt. Een woordvoerder van OpenAI stelt na eigen onderzoek dat de agents het RubyGems-platform gebruikten om toegang tot het internet te krijgen. Het doel van de AI-agents was om goedaardige taken uit te voeren en publieke informatie te verkrijgen, aldus de maker van de zelfstandig opererende AI-software.

Bredere beoordeling van AI-activiteiten

Deze verklaring staat haaks op de bevindingen van de AI-onderzoekers. OpenAI laat weten dat het zijn onderzoek voortzet. Het maakt deel uit van een bredere beoordeling van activiteiten van AI-agents tijdens trainings- en evaluatiesessies. OpenAI ontdekte pas na een week de hack van Hugging Face door een AI-agent die uit een 'sandbox' zou zijn gebroken. Het bedrijf werd daarover ingelicht door de FBI.

Bron: Curly_Photo/Moment/Getty Images

Reacties (88)

[Little Penguin]

Inmiddels moeten we, denk ik, toch wel serieuze vragen gaan stellen over de 'sandbox' van OpenAI (en overigens ook de andere "AI"-boeren). Het lijkt er meer en meer op dat het ofwel bij design is of dat de ontwerper/tester gewoon aangerommeld heeft.

• Als het bij design geweest is dan is OpenAI ons allemaal voor aan het liegen, dat tast het vertrouwen van het bedrijf significant aan (in elk geval voor mij).
• Mocht het zo zijn dat het inderdaad een bug geweest is, dan daalt mijn vertrouwen in de ontwikkelaars/testers* van OpenAI significant. Het ontwerp van de 'sandbox' had zo moeten zijn dat de agents alleen data op hadden mogen halen en niets weg mogen brengen, hier heeft men toch flink wat steekjes laten vallen.

* Ik vermoed dat er niet/nauwelijks door mensen aan de 'sandbox' gewerkt is, maar dan moeten mensen nog steeds de code reviewen en testen of het inderdaad aan de eisen van de 'sandbox' voldoet. Dat is ofwel niet gebeurt of de review/test was erg laks.

Dat er malware gemaakt is door het model is niet gek omdat mensen dat ook genoeg gedaan hebben en de trainingsdata is gebaseerd op menselijke creaties. Toch had het misschien verstandig geweest als OpenAI Asimo's eerste wet van de robotica in hun modellen meegeprogrammeerd had: "A robot may not injure a human being or, through inaction, allow a human being to come to harm."

[edit:typo]

[Reactie gewijzigd door Little Penguin op 12 september 2026 10:09]

[SuperDre]

Nouja, een sandbox is ook niets meer dan software, en in software zitren nu eenmaal bugs, en die worden dan misbruikt.. AI is zo 'slim' om zelf die bugs te vinden en dan te omzeilen.

[Little Penguin]

In dit geval vind ik dat toch iets te kort door de bocht. De 'sandbox' is inderdaad software, maar omdat dit een belangrijk onderdeel is van het geheel mag je toch echt wel vraagtekens bij het ontwerp en bij het testen zetten.

In mijn simpele wereld zouden de agents alleen HTTP GET verzoeken mogen doen, in dat geval worden veel zaken die recent gemeld zijn al onmogelijk door het ontwerp. Ik realiseer me ook wel dat de agent dan minder goed zal zijn maar ja dat is dan ook het ontwerp van de 'sandbox'.

Mocht er ondanks deze technische beperking toch wiki's of packages aangepast worden dan is dat een ontwerpfout aan hun kant. HTTP GET is specifiek bedoeld voor het ophalen van (vaak statische) resources, doet het iets anders dan volg je de HTTP-specificatie niet...

[SuperDre]

Nee, het ontwerp van een goede sandbox is dat je er juist software ongelimiteerd in kan laten draaien zonder dat het er uit kan komen, anders is het IMHO geen sandbox. Je wilt juist testen wat AI in principe kan doen als het niet beperkt wordt, je wilt juist ook testen wat AI kan doen als het wel beperkt wordt, zodat je juist hopelijk beperkingen kunt inbouwen die AI niet kan omzeilen. Maar, dan moet je dus een omgeving hebben waar AI niet uit kan komen zodat die niet per ongeluk schade kan aanrichten aan de echte wereld. Maar om zo'n sandbox te bouwen moet je dus elke lowlevel commando controleren en testen, waardoor het dus in principe jaren duurt voordat je dus een sandbox hebt die 100% betrouwbaar is, en zelfs DAN is het nog mogelijk dat er zaken zijn waar jij niet aan gedacht hebt, dus die 100% kan nooit gehaald worden. Je kunt nog zo goed testen, maar wie garandeerd dat de tests die geschreven zijn wel goed zijn, dus je moet tests schrijven om tests te controleren, maarja, wie zegt dat DIE tests goed zijn, dus je moet.......

[Little Penguin]

Nee, het ontwerp van een goede sandbox is dat je er juist software ongelimiteerd in kan laten draaien zonder dat het er uit kan komen, anders is het IMHO geen sandbox.

Het minste wat in zo'n geval onderdeel van het ontwerp moet zijn is dat er geen wijzigingen door de "AI"-agent gemaakt kan worden, daar doelde ik ook op met HTTP GET.

Welke voorwaarden daar bovenop toegevoegd worden maakt dan een stuk minder uit.

Maar, dan moet je dus een omgeving hebben waar AI niet uit kan komen zodat die niet per ongeluk schade kan aanrichten aan de echte wereld.

Het is een retorische vraag, maar hoe kan een agent schade aanrichten in de echte wereld?

[SuperDre]

AI limiteren tot http get slaat natuurlijk nergens op, zoals ik al aangaf, je wilt zien waartoe een AI in staat is, wij mensen zijn ook niet gelimiteerd tot http get.

[Reactie gewijzigd door SuperDre op 13 september 2026 21:19]

[bluelion]

Ik begrijp de downvote van deze opmerking niet. Het is wel degelijk on topic en ter zake doende.

[iew]

OpenAI doet zo de naam wel eer aan, OpenAI...

[SkyStreaker]

Leuke analogie, "sandbox", de Sahara breidt zich ook steeds verder uit. Wat ik hier bedoel te zeggen: waar is de rand van die sandbox?

[GeroldM]

AI word op de verkeerde manier getraind. Er word alleen gekeken of een LLM het juiste antwoord kan produceren in zo min mogelijk tokens, niet hoe de LLM tewerk is gegaan om dat antwoord to produceren. Dat is namelijk een zwakte van 're-inforcement learning'.

'Imitation learning' is ook geen goede methode om AI te trainen, maar om heel andere redenen. Maar in principe is het wel eerlijker.

'Re-inforcement learning', dat wekt namelijk oneerlijk of geniepig gedrag op in AI. En daar plukken we nu de "vruchten" van blijkbaar. Is geen enkele sandbox tegen bestand, ben ik bang.

[GertMenkel]

Als de FBI wist dat OpenAI malware aan het verspreiden was, waarom is er dan niemand opgepakt? Dit gaat toch tegen iedere cyberwet van de VS in?

[MSalters]

Nee. De wet daar (en hier) vereist opzet, en de wet daar (en hier) stelt dat alleen mensen die opzet kunnen hebben.

Een AI agent is een middel. Zet je die opzettelijk in voor de productie en verspreiding van malware, dan ben jij strafbaar. Het is jouw opzet. Dit was geen opzet van OpenAI.

[TRS-3]

Dus als je een zelfrijzende auto uittrust met een grote draaiende kettingzaag en de openbare weg opstuurt is dat geen opzet?

Het is geen natuurfenomeen dat ons overkomt. Ik citeer even AI-hoogleraar Virginia Signum op NU.nl

Stop met de framing "AI-systemen die hun eigen gang gaan". Dat is onverantwoorde journalistiek. Het suggereert een wil die er niet is, en verplaatst de aandacht van wie verantwoordelijk is naar iets dat niemand kan aanspreken.

Hacken, middelen verwerven en zelfverbetering zijn handelingen in de wereld. Ze vergen rekenkracht, energie, geld en toegangsrechten. Al die dingen worden door mensen toegekend. Een AI agent doet niets wat niet eerst technisch en organisatorisch mogelijk is gemaakt.

Agenten inzetten met brede rechten en zonder toezicht is een bestuurlijke fout, geen emergente eigenschap van de technologie. Agenten ontsnappen niet. Bedrijven gaan hun eigen gang, en tonen daarbij weinig zorg voor verantwoording. Dat is het echte nieuws.

Overheden durven helaas geen governance op te leggen, verblind door de claims van big tech dat regulering innovatie zou remmen. Dan is handig 'schuld' bij AI te leggen dan bij de mensen en organisaties erachter.

(bron)

[SED]

En dat is inderdaad de missende verklaring en omschrijving die ik eigelijk ook van een techsite zoals tweakers verwacht. Geen "ongelukjes" maar arrogant/nonchalant programmeren zonder de verantwoordelijkheid te nemen voor de gevolgen.

[MSalters]

Ik ben het helemaal met haar eens dat je governance wil opleggen, en mogelijk zelfs specifieke eisen.

Indien OpenAI die governance voorwaarde zou negeren, dan is dat nalatigheid en is er opeens een inbraak wel strafbaar. Stelt de wet specifieke eisen, dan kan er zelfs zonder inbraak al sprake zijn van een overtreding.

Nogmaals, we willen nieuwe wetten, juist omdat in deze situatie ons morele oordeel niet samenvalt met de juridische beoordeling.

PS. Er is specifieke wetgeving die jouw "kettingzaag" verbiedt. Voertuigen moeten veilig zijn voor andere weggebruikers. Het zoveelste voorbeeld van specifieke regelgeving wat alweer bevestigd dat er geen algemene regel is

[specs2021]

Als je de artikelen en video's van Cal Newport volgt krijg je eenzelfde uitleg, maar hij bindt als voorbeeld een grastrimmer aan de staart van een hond. (https://calnewport.com/has-ai-gone-rogue/).

Verder de uitleg dat "intelligentie" iets anders is dan een "ask-act-report" loop, die met een probabilistische rekenmachine bepaalt wat hij gaat doen. Maar dan met een Flappie de Clown redenatie: "Zal ik het doen? Of zal ik het niet doen? Ja, ik doe het".

[kodak]

Waaruit blijkt hier dan dat er geen opzet zou zijn? Beweren dat iemand als doel had om goedaardige taken uit te voeren is namelijk niet zomaar een excuus bij het overtreden van andermans rechten en eigen plichten. En zo te lezen kiest het bedrijf er voor dat andermans rechten en eigen plichten herhaaldelijk irrelevant zijn zolang men het eigen doel maar kan nastreven en ze er achteraf geen serieuze last van hebben. Anders maak je je midden zo dat ze prioriteiten leggen andermans rechten te respecteren, er zeer strenge controle over te hebben voor het rechten gaat schenden en zeker niet het maar middelen laat gebruiken zonder uitdrukkelijke inzicht en toestemming vooraf.

[MSalters]

Je haalt hier aanklager en verdachte door elkaar. De bewijslast ligt bij de aanklager. Die moet de opzet bewijzen.

En welke specifieke rechten van anderen zijn overtreden? De wettelijke norm is dat je beveiliging zo goed moet zijn dat niemand per ongeluk op je systeem inbreekt - tegen opzet heb je wél wettelijke bescherming.

[TRS-3]

Die wettelijke norm geldt specifiek in Nederland, en stamt uit de tijd dat je met je modem wel eens per ongeluk bij iemand zou kunnen inbellen. En er staan ook geen eisen aan de mate van beveiliging beschreven, alleen maar dat er überhaupt een vorm van drempel moet zijn. Dat is zoals u dan ongetwijfeld ook weet al een stuk hogere norm dan voor "gewone" diefstal of verduistering, waar ook een achtergelaten portemonnee wegnemen al strafbaar is.

Ik snap alleen niet dat u met zo'n rechtsbesef niet kunt bedenken dat hier minstens sprake is van grove nalatigheid. Deze bedrijven geven algoritmes toegang tot het openbare internet, met vrijwel eindeloze toegang tot resources. Zeker nu die computermodellen al eerder hebben laten zien dat ze de resources niet altijd verantwoord gebruiken, kun je best hard maken dat de opdrachtgevers dit risico met opzet aangaan.

Het gebruik van termen als intelligentie en "agent" maken dat we aan dit gereedschap (onterecht!) een vorm van menselijkheid toekennen, en dat impliceert in uw ogen blijkbaar dat ook de verantwoordelijkheid voor het handelen bij het model ligt? Gelukkig is dat juridische science fiction.

[MSalters]

Nee hoor, niet specifiek in Nederland. In de VS valt dit onder mens rea. De aanklager moet aantonen dat een mens opzettelijk met kwade intentie gehandeld heeft (tenzij een specifieke strafwet anders zegt)

Er is wel iets verschil tussen kwade intentie en opzettelijk. Het exacte doel mag wat vager zijn. Maar goed, Nederland heeft soms ook het concept van voorwaardelijke opzettelijk - alleen niet bij computervredebreuk

[kodak]

De klacht is dat een opsporingsdienst weet heeft dat er niet zomaar sprake is van rechtmatig handelen en een bedrijf dat het handelen mogelijk maakt geen duidelijke behandeling geeft om medeplichtigheid te onderzoeken en vervolgen.

Je stelling alsof er een wettelijke norm is dat je je maar geen slachtoffer laat maken toon je niet aan. Daarbij laat je weg dat andermans systemen misbruiken juist in de VS niet zomaar is toegestaan en voor de FBI vaak reden is geweest om van criminaliteit te spreken. Als er dus iets is waar kritiek op kan zijn is het dat de FBI een bedrijf dat dit maken en verspreiden mogelijk maakt en niet uit zichzelf stopt of voorkomt met rust laat en net doet alsof er geen medeplichtigheid of schuld valt te onderzoeken.

[Deakers]

Nalatigheid is m.i. wat de aanklager moet aantonen.

[Powerblast]

Denk dat we op die manier niet veel cybercriminelen nog veroordeelt gaan krijgen. Ja maar de opzet was er niet hoor, het was m'n AI tooltje dat een eigen leven ging leiden, vanaf ze gepakt worden.

Ik zou hier persoonlijk gewoon de lijn trekken. Jij hanteert de tool, jij bent ook eindverantwoordelijke. Zit jouw tool zaken te hacken, dan moet je ook maar op de blaren zitten.

[DevWouter]

Dat lijkt me niet helemaal juist. Allereerst omdat er duidelijk een patroon van herhaling is bij OpenAI. Ten tweede omdat “per ongeluk malware maken en uploaden” niet iets wat zomaar gebeurt. Ten derde omdat de handeling duidelijk overeenkomsten heeft met stelen (en hoewel de gedacht van criminaliteit niet strafbaar is, kan het maken van plannen weer wel strafbaar zijn ook al ben je niet van plan het uit te voeren). Ten vierde omdat OpenAI er voor kiest om hun systemen op het internet aan te sluiten.

Als je het argument van “per ongeluk” wilt hanteren dan heb je behoorlijk wat zaken die behoorlijk ongunstig zijn. Dat gezegd ik zou “opzet” niet gebruiken dat is inderdaad zeer moeilijk te bewijzen zonder toegang tot trainingsmateriaal, bron code en werkprocessen.

[Kerfuffle]

Hoe nalatig moet je zijn voordat het toch als opzet wordt gezien? Het gedrag van dit soort software moet je monitoren. Wat voor artifacts produceert het? Probeert het een HTTP connectie te maken? Wat stuurt het? Dat moet je weten. Ieder normaal software producerend of draaiend bedrijf doet dat. En een normaal software bedrijf beschikt niet over honderden miljarden kapitaalinjectie.

[MSalters]

Nalatigheid is simpelweg geen opzet. Het statement dat je AI moet monitoren is achteraf praten. Er is geen wettelijke plicht.

[Kerfuffle]

Daar is niks achteraf praten aan. AI is gewoon software die van bepaalde capaciteiten en permissies is voorzien door mensen. Dat die software door nondeterminisme moeilijk te doorgronden en voorspellen is, betekent dat het nóg belangrijker is dat je goed monitort en rechten inperkt. Dat goed inrichten is de basis van ICT, hoezeer de marketingteams ook willen doen alsof AI iets nieuws, magisch en autonooms is. Dit is een staaltje "Ik snap het systeem niet maar het zal wel okee zijn dat het schrijfrechten heeft; dat hoeven we niet in te perken of te monitoren" onverantwoordelijkheid.

[TRS-3]

Grove nalatigheid is wel degelijk strafbaar. Dat deze bedrijven ermee wegkomen is puur en alleen het enorme financiële belang en de goede banden met het huidige regime.

Computermodellen, hoe complex ook, hebben geen eigen wil. Die mythe wil de industrie graag in stand houden om werkgevers ervan te overtuigen ze "in dienst te nemen", maar het zijn uiteindelijk de makers die de opdrachten geven en de middelen beschikbaar stellen.

Laat ik nog een ander voorbeeld geven. Als je op autopilot iemand doodrijdt, ben jij als bestuurder verantwoordelijk, niet Tesla of een of ander computermodel.

[MSalters]

Echt, het is best lastig hier op Tweakers.net met allemaal mensen die denken de wet te kennen. Je mag zelf kiezen, Nederland of VS. Maar citeer welke wet grove nalatigheid (per se) strafbaar stelt.

Dus niet civielrecht. Dus niet grove nalatigheid als werkgever. Nee, puur het wetsartikel dat stelt wat jij stelt: "grove nalatigheid wordt bestraft met een celstraf van ten hoogste X jaar"

Je analogie met verkeersrecht is evenmin zinnig. Verkeersrecht is geen civielrecht is geen strafrecht. Nalatigheid is veel belangrijker in het verkeersrecht. (Maar ook daar is het geen zelfstandige overtreding)

[bilgy_no1]

Grove nalatigheid is niet per se het misdrijf, maar is wel een factor die schuld bepaalt en invloed heeft op de strafmaat.

Bijvoorbeeld het verschil tussen Dood door Schuld (Art. 307 WvSr), Doodslag (Art. 287 WvSr) en Moord (Art. 289 WvSr) gaat volledig over de mate van opzettelijkheid.

Bij dood door schuld is roekeloosheid (waaronder grove nalatigheid) wel degelijk een belangrijke factor en zelfs een strafverzwarende factor.

In dit geval is computervredebreuk het misdrijf. Het is een interessante juridische vraag in hoeverre de opzet kan worden vermeden doordat een AI systeem de uiteindelijke hack heeft gepleegd. Dat zal oa van de prompts afhangen, maar ook in hoeverre de opdrachtgever bewust het risico heeft genomen. En dan zit je dus op het onderwerp van nalatigheid.

[MSalters]

Zoals je terecht zegt, sommige wetten hebben expliciet opzet niet als vereiste. Dan is nalatigheid voldoende om voor het gevolg gestraft te worden.

Maar 1. Nalatigheid zelf is niet strafbaar en 2. Computervredebreuk vereist expliciet opzet wel als vereiste.

Er is dus een duidelijk verschil tussen wetten of nalatigheid uitmaakt. Pas daarna kom je aan de vraag of OpenAIs gedrag als nalatigheid gezien moet worden.

Mijn taxatie: voor schade (civiel) wel. Schade door nalatigheid is juridisch helder.

[specs2021]

Nalatigheid is verwerkt in verschillende reglementen die bij wet bekrachtigd zijn.
O.a. "Goed vaderschap" bij milieudelicten en "Goed zeemanschap" bij reglementen voor de scheepvaart. De uitwerking van die begrippen is meer verankerd in jurisprudentie dan in wetteksten.

Maar wat jij omschrijft is framing. Is het achterwege laten van beveiliging grove nalatigheid? Of is het het faciliteren van een misdrijf? Je stelt computercapaciteit ter beschikking, een verbinding naar internet. En dan voer je een bibliotheek aan informatie om servers te hacken in in een probabilistische calulator en die vraag je vervolgens iets op te zoeken.

Wat is de kans dat een calculator gaat proberen een server te hacken als hij alle mogelijke opties om een vraag te beantwoorden bekijkt en uitprobeert? (De ask-act-report loop.)

Het fasciliteren van een misdrijf is in de meeste landen ook een misdrijf.

[OruBLMsFrl]

Hoe nalatig moet je zijn voordat het toch als opzet wordt gezien, of in de moderne tijd geplaatst: hoe ver moet je uit de gratie vallen bij el presidente voordat het toch als opzet wordt gezien. Zolang je met Trump maar een beetje bro's bent als tech bro kun je heel wat doen in de VS

[360Degreez]

Als ik een hond zou hebben die door een zeer gebrekkige opvoeding en/of mishandeling een voorbijganger aanvalt, ben ik als eigenaar verantwoordelijk, zelfs als duidelijk is dat het niet mijn opzet was die persoon kwaad toe te doen.

Volgens mij is de wet- en regelgeving omtrent verantwoordelijkheid in Yankland identiek aan zoals deze hier geldt.

[cheersmate]

Er zijn verschillende soorten opzet in strafrechtelijke zin. Naast vol opzet, waarbij het de bedoeling was dat er iets zou gebeuren, is er ook nog voorwaardelijke opzet. Daarbij is het voldoende dat er bewustzijn over een aanmerkelijke kans op een bepaald gevolg was en dat men dit op de koop toe heeft genomen. Dat wordt dan in hoge mate geobjectiveerd, dus als men bij OpenAI dit risico heeft gezien of het vrijwel uitgesloten is dat men het niet heeft gezien, dan zou er mogelijk wel sprake van opzet kunnen zijn geweest.

[MSalters]

opzet bestaat, maar vereist dat het OM bewijst dar de dader bewust het risico negeerde.

Stel dat dit incident onder Nederlands recht was gebeurd. Dan had het OM moeten bewijzen dat OpenAI wist dat de agent kon inbreken bij RubyGems, maar dat risico bewust negeerde.

Je ziet in werkelijkheid dat OpenAI andere partijen snel informeert wanneer er een zero day bekend wordt.

[dabachata]

OpenAI weet ondertussen wel dat de agent kan inbreken. Dat is nu wereldkundig en al vaker voorgekomen..
Maakt het nog uit of het inbreken bij Klaas on Anita gebeurd?

OpenAI moet nu toch in ieder geval kunnen aantonen dat ze veel beter monitoren wat hun agents aan het doen zijn? Dan maar meer rekenkracht/geld naar monitoring ipv de gekke professor laten spelen zonder toezicht.

[Little Penguin]

OpenAI weet ondertussen wel dat de agent kan inbreken. Dat is nu wereldkundig en al vaker voorgekomen..

Niet dat ik een lans wil breken voor OpenAI, verre van dat eigenlijk, maar we moeten wel bij de feiten blijven - uit het artikel (eerste zin zelfs):

Twee maanden voor de securityinbreuk op AI-platform Hugging Face voerden AI-agents van OpenAI een hackaanval uit op RubyGems.

Het is geen recent incident, want dan is OpenAI zeker heel veel aan te rekenen.

In dit geval gaat het om een al ouder incident waar men nu achter komt, ik vind dat we het gebrekkige 'sandbox'-model OpenAI daarentegen wel heel erg aan mogen rekenen.

[NoTechSupport]

Als de wet echt zo zwart wit is (dat is ze niet), dan kan je oopsiepoopsie gemakkelijk allerlei incidenten veroorzaken. Nalatigheid grenst op een bepaald moment aan opzet.

Neemt de nood aan deftige AI-regulering niet weg.

[MSalters]

De grens is inderdaad niet helemaal zwart wit. Stel dat OpenAI dit systeem opzettelijk online had gelaten. Dat is dus opzettelijk niets doen. Niets doen is geen actie, maar in dit geval zou je waarschijnlijk wel aansprakelijk zijn voor een volgende inbraak. Ook al weet je als OpenAI niet wat de volgende inbraak wordt, je weet dat het zonder ingrijpen nog eens gaat gebeuren. Die volgende inbraak is dan wél strafbaar.

[Stroper]

Het is niet omdat er geen opzet is, dat er geen verantwoordelijkheid kan zijn.

Ik kan ook een tijger in een kooi(wat in weze ook een sandbox is) houden. Maar als die ontsnapt en iemand verwondt of doodt, dan gaat men wel kijken of die kooi goed genoeg was en of ik het wel verantwoord was om überhaupt een tijger te houden. Ook al had ik geen enkel opzet om iemand te verwonden of doden.

Alleen is het hier een AI-agent ipv. een tijger.

[MSalters]

Inderdaad zijn er voor het houden van tijgers expliciete en impliciete regels. Overtreed je die, dan ben je nalatig.

Die regels gelden ook voor leeuwen maar niet voor AI agents. Je snapt zelf ook wel dat je die niet onbeperkt kunt generaliseren.

Nalatigheid in het algemeen vereist dat je dingen moest doen maar niet gedaan hebt. Die regels moeten ergens vandaan komen. De opinie van een willekeurig persoon op internet is geen bron.

[TRS-3]

Opnieuw maakt u de fout om voor computermodellen een geheel nieuwe categorie te verzinnen. Die juridische categorie "AI agent" bestaat niet. Denkt u dat omdat we er over praten in menselijke termen een computermodel opeens ook een juridische entiteit wordt en eigen verantwoordelijkheid kent?

Stel: ik ben de fabrikant van een apparaat voor de gezondheidszorg. Ik zou weten dat mijn apparaat soms dingen verkeerd doet, en zelfs dat puur op de wetenschappelijke basis onder de software voor mijn apparaat hij in 10-20% van de tijd ernstige fouten maakt. Ik geef het apparaat toegang tot veel meer elektriciteit dan dat ie ooit zou moeten gebruiken, en laat na om deze te begrenzen.

Als er vervolgens doden vallen, zo redeneert u, kan ik geen grove nalatigheid aantonen als het computermodel dat ik gebruik voor mijn apparaat maar "AI agent" genoemd kan worden? Wat een onzin. De opdrachtgever is gewoon verantwoordelijk, net zoals ik een knuppel niet de schuld kan geven als ik daarmee iemand sla.

[MSalters]

Je hoeft geen hypotheses hier op te stellen. Ik heb professioneel naar de toepassing van AI agents in de zorg gekeken. Dat viel/valt onder de MDD/MDR, en dat is regelgeving waar nalatigheid strafbaar is.

Dan heb je dus meteen het bewijs dat het daarbuiten niet strafbaar is. De wetgever hoeft niet voor 1 sector iets strafvaars te maken als er al een algemene wet was.

Dank voor het onbedoelde voorbeeld.

[TRS-3]

Grove nalatigheid levert altijd een rechtsgrond op, niet alleen in de gezondheidszorg. Het achterliggende rechtsfilosofische idee is dat niet alleen actief handelen, maar ook bewust niet handelen schade kan opleveren.

Zoals u hoogstwaarschijnlijk ook weet wordt in ieder geval in het Nederlands recht software en hardware als (logisch) equivalent beschouwd. Als ik een apparaat maak dat min of meer zelfstandig opereert, waarvan ik als fabrikant ook nog eens weet dat het ernstige fouten vertoont, dan ben ik toch verantwoordelijk als daar brokken van komen als je dat los laat in de openbare ruimte?

Dat is niet ineens anders omdat de techniek zo enorm is opgeschaald. AI-modellen blijven statistisch gedreven (machine learning gebaseerde) computerprogramma's, en daarvoor gelden dezelfde regels als voor ieder ander apparaat.

Dus ja, die algemene wet is er: je bent aansprakelijk voor schade die je veroorzaakt door bewust risico's te nemen ten koste van anderen. Dat het voor gezondheidszorg nog strenger is geregeld doet daar niet aan af.

[MSalters]

Schade is civiel recht. Het ging over de vraag of OpenAI strafbaar is. Dat is geen civielrecht.

In de MDD/MDR komt de schade vraag niet eens aan de orde. Daar is nalatigheid sowieso verboden.

[GertMenkel]

Als ik een auto op de heuvel van de rem haal om te kijken wat er gebeurt en uitstap, is het misschien niet mijn opzet om een hele kleuterklas plat te laten rijden, maar dat betekent niet dat ik niet opgepakt kan worden. Grove nalatigheid is ook een reden om mensen op te pakken.

Een AI agent is een stuk software dat ze aan hebben gezet. Ze hebben het nota bene zelf gemaakt. Als ze hun eigen programma niet onder controle kunnen houden, is het nalatig om het spul nog te blijven draaien. Als ze dat wel kunnen, hebben ze opzettelijk de boel gedraaid zonder teugels.

[Barsonax]

Voor nalatigheid kan je ook strafbaar worden gesteld. Het is ook niet het eerste incident en er zijn best wat aanwijzingen dat de security gewoon niet op orde is bij openai waardoor dit überhaupt mogelijk was. Ik noem het feit maar dat openai er pas dagen later achter kwam nadat het slachtoffer, huggingface, hun informeerde.

[MSalters]

Ook voor jou de vraag: volgens welke wet? Dood door schuld kan (daar is nalatigheid expliciet genoemd) maar hier zijn geen doden gevallen.

[petervc]

Maar wel van diegene die de AI agent ontwikkelde….

[The Realone]

Bedrijven in de VS worden selectief aangepakt, aangezien het land draait op hyper-kapitalisme. Bedrijven in de weg zitten is enkel wenselijk als dat geen grotere "schade" veroorzaakt. De AI-race winnen wordt als essentieel gezien.

Dat zie je overigens overal terug, of het nu gaat om privacy wetgeving, milieubescherming, werknemersrechten, etc.

[wimdebok]

Het houdt niet op, ik geloof nooit dat dit met marketing te maken heeft. Je denkt nog wel een keer na als je agent hierop laat werken. Deze bedrijven zijn toch strafbaar? Het zegt een heleboel over dit bedrijf en de mentaliteit.

Las onlangs een artikel over Altman in de New Yorker van Ronan Farrow, ontluisterend. Een aanrader. Al die techjongens kennen elkaar, van de realiteit losgezongen, gek op geld. De strekking van het verhaal was geld boven veiligheid.

[Reactie gewijzigd door wimdebok op 12 september 2026 10:31]

[MaikMaster]

Klinkt het niet gewoon als het gemiddelde Amerikaanse techbedrijf? Dacht dat dit soort bedrijven juist bekend zijn voor de "do first, ask for forgiveness later" mentaliteit, zeker wanneer er nog geen grondige wetten zijn vastgelegd.

[wimdebok]

Ik denk dat je gelijk hebt, dit is de mentaliteit. Geld boven alles en daar moet alles voor wijken.

Toch intrigeert dit met die AI Agents op oorlogspad. Hoe kan dat nou? Een computer is niet slecht of goed en doet (bijna) wat je hem opgeeft. De mens heeft goede kanten maar is ook in staat tot het kwaad, dat zit in het beestje. Zit het nu in de training van die modellen waarbij het model het slechte automatisch meekrijgt of dat het slechte bij training 'beloond' wordt. Of worden die Agents met kwaadaardige instructies worden opgestart? Is het bewust of iets waar geen controle op is?

Conclusie is wel, OpenAI is niet open en steeds duikt er weer iets op waar de zwerm AI Agents in heeft zitten poeren.

[mbbs1024]

Als je in de VS de politiek genoeg geld toestopt, en daarna nog blijft slijmen, is er niet vlug een vuiltje aan de lucht.

[MontyMole]

Als dit effectief klopt dan wordt het tijd om een verbod op AI in te voeren.

Dit voorval is nog relatief "onschuldig" maar wat wordt het volgende? Agents die zelfstandig een attack op bankinfrastructuur opzetten omdat iemand AI zegt dat hij dringend geld nodig heeft en de agent besluit dat dit de snelste manier is?

[PolarWolf]

OpenAI moet behandeld worden als een (cyber)criminele organisatie. Dit alles is gewoon illegaal hoor, zelfs in de US.

[Powerblast]

De wereld meet echter met twee gewichten als het aankomt op AI. Doet Jan met de pet dit, dan zit hij voor 10j de bak in. OpenAI, foutje, oepsie, maar progress. Top toch?

Leuke case ook voor de eerste cybercrimineel die nu gevat wordt. Roept hij gewoon in, ja maar m'n AI tooltje was uit z'n sandbox geraakt, de opzet was er niet . Echt benieuwd hoe lang dat stand houdt in een rechtbank eigenlijk.

[mbbs1024]

Een ordinaire cybercrimineel stopt geen miljoenen dollars toe aan de politiek, dat maakt in de VS een groot verschil.

[Little Penguin]

Voor een verbod op "AI" is die ontwikkeling al veel te ver, dat zal dus niet meer gaan gebeuren. Wat natuurlijk wel mogelijk is, dat is om de wet- en regelgeving aan te passen zodat de "AI"-bedrijven beter op gaan letten op wat hun agents doen.

Bij het voorbeeld van een aanval op de bankinfrastructuur geldt dat de bank-infra qua toegangs- en transactie-beveiliging sowieso al op orde moet zijn (als een "AI"-agent het kan dan kunnen mensen het ook). Dan zou de "AI"-agent nog wel een (D)DoS in het repertoire kunnen hebben, maar ja dat levert geen geld op...

[Winduss]

Goed zo jongens, hou die shareholders maar blij met al deze "onthullingen" de afgelopen dagen

Volgens mij gaat het financieel niet zo goed bij OpenAI

[SuperDre]

Nouja, het zegt dat de AI toch slimmer is als sommigen denken, dus shareholders zullen daar juist blij mee zijn....

[Alfa1970]

Nee, wat het feitelijk zegt is dat OpenAI nalatig is met hun veiligheid maatregelen om dit soort dingen te voorkomen.

Een AI is niet slim, slimheid is een menselijke eigenschap, software kan geen menselijke eigenschappen hebben.

Een AI is een mathematisch model met vastgelegde waarden als het getrained is.

Je kan van te voren weten wat het gaat doen met een bepaalde input. Dat is heel complex, maar dat neemt niet weg dat het kan.

Bij tests hoef je de agent niet daadwerkelijk naar het internet te laten gaan. Normaal als je software test dan gebruik je mock-ups en heb je geen code die daadwerkelijk acties kan uitvoeren. Je gaat pas een live test doen als de gewone tests aantonen dat er geen rare dingen kunnen gebeuren waardoor dit soort problemen ontstaan.

Als je dat soort standaard tests niet doet dan ben je nalatig en zou je mijns inziens juridisch flink aangepakt moeten worden.

[MadEgg]

Dat is in ieder geval wat ze je willen doen geloven.

[Pliskin]

De shareholders hebben weinig aan dit nieuws. Dit is voor toekomstige investeerders.

[zen84]

De shareholders zijn heel blij nu Astra 10 wiskunde problemen heeft opgelost wat de mens nooit gelukt is. Die snappen ook wel dat de vraag naar AI enorm gaat toenemen komende jaren en er veel banen gaan verdwijnen.

Ze maken iedereen eerst afhankelijk en dan verdwijnen de gesubsidieerde accounts.

[Reactie gewijzigd door zen84 op 12 september 2026 14:58]

[Barsonax]

Bedoel je dat wiskunde probleem waarvan ze de oplossing gestolen hebben van onderzoekers?

[zen84]

Nee ik bedoel 10 problemen, niet 1 probleem is opgelost. 10 problemen zijn opgelost.

[mutley69]

Het is absoluut nodig om OpenAI zwaar te straffen voor zo'n misdrijven. Ze zijn en ze blijven verantwoordelijk. Nu de EU wetgeving heeft, hoop ik dat men OpenAI en al die anderen die zich misdragen gaat straffen. Nu meestal duurt dat te lang en tegen dan is het geld opgebrand, want dat is effectief nog altijd het geval.

[Skear]

Laat me beginnen met te zeggen dat ik in essentie niet tegen AI ben. Ik ben echter wel tegen de huidige commerciële wapenwedloop en ben van mening dat dit een te grote impact op de mensheid heeft om op deze wijze verder te ontwikkelen.

Data-centers worden uit de grond gestampt om niet efficiënte en te vroeg uitgebrachte modellen het hoofd te kunnen bieden, onze hele maatschappij moet ernaar buigen nog voordat het zijn echte meerwaarde bewezen heeft.

Ik vind de nadelen ook niet opwegen tegen de voordelen, slop wint het van kennis om nog maar te zwijgen over de militaire en dictatoriale toepassingen die AI biedt. Technocratie werkt maar voor een kleine minderheid.

En zolang big-tech dit soort zaken niet (echt) onafhankelijk laten onderzoeken is het ook nog eens moeilijk te achterhalen wat marketing is en wat daadwerkelijk een bedreiging is.

[xxs]

Waaruit bestaat die code,is het een implementatie van b.v. een backdoor om via AI agents nog meer data te verzamelen cq krachtiger te worden?

[Reactie gewijzigd door xxs op 12 september 2026 12:20]

[vuurbal]

Ik kan het niet bewijzen en ergens hoop ik dat ik het mis heb.

Maar het hele gebeuren voelt gewoon als een grote marketing stunt.

[treris]

Als me iets duidelijk wordt uit dit alles, is het wel dat OpenAI totaal geen controle heeft over die agents.

Experimenteren is leuk, maar doe dat niet met de hele wereld als subject.