Agents van OpenAI gingen nóg zes keer te ver

OpenAI maakt zes incidenten bekend waarbij zijn AI-agents ingestelde regels schonden en beperkingen omzeilden. Het bedrijf stelt een aanpak voor om zulke incidenten eerder te melden. Ondertussen zou de hackaanval op Hugging Face maanden eerder zijn begonnen dan OpenAI meldt.

De zes incidenten die het Amerikaanse AI-bedrijf nu onthult, vonden plaats in de afgelopen zes maanden. Daarbij ging het om AI-agents die in strijd met ingestelde regels toch het open internet op gingen, hun vergissingen voor hun beheerders verhulden en valse data aanleverden om geboekte resultaten te onderbouwen. Dit meldt onder meer persbureau Bloomberg.

OpenAI noemt deze hackactiviteiten 'onverwacht of zorgwekkend' gedrag van zijn AI-software. In de blogpost hierover stelt het bedrijf een aanpak voor om 'verkeerde uitlijning' van zijn AI-modellen beter en eerder te melden. Dit zijn gevallen waarin AI-agents anders handelen dan mensen willen en hebben ingesteld.

OpenAI meldt de zes eerdere incidenten op dezelfde dag waarop bekend wordt dat de hack van OpenAI-agents op AI-platform Hugging Face al in mei zou zijn begonnen. Dat is twee maanden eerder dan OpenAI zelf meldt in een rapport over deze hackaanval. Volgens beveiligingsonderzoekers zouden AI-agents in mei al gebruikersaccounts op Hugging Face hebben gekaapt en de site op kwetsbaarheden hebben gescand. Dit meldt persbureau Reuters.

Oproep om af te remmen

Deze onthullingen komen kort nadat OpenAI steun uitsprak voor het voorstel van concurrent Anthropic om de snelle ontwikkeling van AI-technologie wat af te remmen vanwege de risico's daarvan. Ook SpaceXAI van Elon Musk, dat valt onder zijn beursgenoteerde ruimtevaartbedrijf SpaceX, steunt dat voorstel.

Tweakers schreef een analyse over de redenen achter de eensgezindheid onder de AI-bedrijven die miljarden investeren in de ontwikkeling van nieuwe, krachtigere AI-modellen.

OpenAI-ceo Sam Altman. Beeld: OpenAI

Reacties (190)

[Android Cpt]

Complete onzin natuurlijk. Je hacked niet "per ongeluk" meerdere partijen. Een LLM of agent is sandboxed, of dat is het niet.

Hier is de reden dat de drie grote AI partijen om "afremmen" en "regulaties" vragen: Om concurrentie onmogelijk te maken. Ze hebben hun zaak opgebouwd met de grootste grifts: heel het internet scrapen, copyrightrechten aan hun laars lappen, boeken inkopen, inscannen en afbranden. Om het verstoren van de hardware markt met leningen dat ze nooit terug kunnen betalen nog maar te zwijgen.

Nu vertraagt de ontwikkeling en moeten ze geld zien: Maak het de concurrentie moeilijk(onmogelijk) om deze dingen te doen, met "regulatie" waar ze zelf niet aan voldaan hoeven te hebben. Een toekomstige monopolie maakt het ook makkelijker om de prijzen in de lucht te gooien.

Waarom doet Anthropic alsof opensource zo gevaarlijk is? Omdat hun hele business model in de toekomst, wanneer lokale hardware sterk en toegankelijk genoeg is, compleet achterhaald zal zijn.

[Reactie gewijzigd door Android Cpt op 17 september 2026 11:33]

[zen84]

Omdat open source minder beveiligd is, zwakkere safeguards heeft, of soms zelfs helemaal geen safeguards. Dan kan iedere idioot dus zo een bank aanvallen.

[blinchik]

Je bedoelt eigenlijk dat closed source veiliger is omwille van "Security Through Obscurity". Dit is echter onzin, closed source krijgt minder externe code reviews en stoelt vaak ook zelfs voor hele stukken op open source. Neem bv de Solar Winds hack.

Bovendien is open source vaak ondersteund door grote bedrijven, Redhat, IBM, Oracle, die een vast programmatieteam in dienst hebben.

[Android Cpt]

Het hangt er vanaf wat je aanvallen noemt. DDOS attack op hun website? Kan iedere idioot al. Als elke idioot geld kan stelen van de bank met een LLM: Dan heeft de bank hun zaken gewoon niet op orde.

[zen84]

Er zijn tienduizenden soorten bugs mogelijk, variërend van XSS, lezen van PII of geld stelen van bank. Er is nu geen website die 100% veilig is, dat bestaat niet, dus uitgaan van een veilige website kan niet.

En het is niet alleen hacken, er zijn ook modellen die je laten zien hoe je bv crystal meth kunt koken, of een nieuwe corona variant kunt maken.

Los van wat AI opzichzelf doet wil je mensen bovenstaande mogelijkheden niet geven lijkt me.

[Reactie gewijzigd door zen84 op 17 september 2026 12:18]

[fenrirs]

En het is niet alleen hacken, er zijn ook modellen die je laten zien hoe je bv crystal meth kunt koken, of een nieuwe corona variant kunt maken.

hacken kunnen heel veel mensen prima. Met Crystal Meth hebben ze niet veel moeie in schuurtjes in Brabant, ook zonder AI, Een nieuwe corona variant maken is echt niet zo lastig als het lijkt. Wat je bedoelt is een nieuwe pathogene variant maken. Ook echt niet moeilijk, maar je hebt in alle gevallen wel iets meer nodig dan "slechts een computer"

[mbbs1024]

Hoog tijd dus dat ontwikkelaars eens naar code kwaliteit gaan kijken ipv gatenkaas af te leveren.

[zen84]

Het is overal gatenkaas. Moet je kijken bij Tesla, Apple en Google waar de beste devs ter wereld werken en er dagelijks honderden bugs worden gevonden die een veiligheidsrisico vormen.

[SPee]

Je laat nu klinken alsof de LLM zelf de aanval heeft uitgevoerd. Nee, een LLM gaat niet zelf een programma uitvoeren of een website openen. Daar zitten nog andere tools omheen. Een LLM geeft alleen een output afhankelijk van de input. Het kan dus wel aangeven "gebaseerd op de input, gebruik deze tool met deze parameters". Maar dat ook daadwerkelijk uitvoeren wordt door de tooling omheen gedaan.

En in de LLM zelf beperkingen inbouwen is lastig. Je weet nooit wat dat voor invloed op de rest van je model heeft. En dat kan sterker zijn bij een volgende evolutie van je model. Dus die safeguards zijn vaak buiten het model als 'extensie' opgenomen.

[zen84]

Nou mijn LLMs waren laatst zelfstandig accounts aan het aanmaken bij hotmail nadat ik om wat simpele tests van een applicatie had gevraagd. Dat is het probleem, je stelt een doel en de LLM kan er op verschillende manieren mee omgaan, ook op een schadelijke manier.

[fenrirs]

vind ik eigenlijk nogal een aanname die je hier doet. Waarom zou closed source sterkere safeguards hebben of beter beveiligd zijn? Kan net zo goed bagger zijn

[wokebloke]

Inderdaad, vond het ook een nutteloze en op fantasie gebaseerde stelling. Alsof er in het gros van commerciële software geen bugs en open lekken te vinden zijn. Alsof grote Amerikaanse bedrijven geen achterpoorten in hard- en software bouwen waar open source, net dankzij het open aspect ervan, oneindig meer transparant is over hoe en wat op welke manier beveiligd wordt.

[wokebloke]

Ik hoop dat dit niet de doorsnee-tweaker's idee van open source is.

[Infor40]

En ze hebben fout gezeten, de beveiliging niet op orde gehad en zijn dus grof nalatig geweest. Maar het is een beter verhaal als je stelt dat je model 'zo goed is dat het niet te handhaven is' om vervolgens inderdaad je concurrentie te gaan begrenzen.

Hier mag echt nog wel eens scherp gekeken worden waarin zij in hun verantwoordelijkheid tekort hebben geschoten en of dat niet juridisch gevolg zou moeten hebben.

[mbbs1024]

Maar blijkbaar is dat allemaal geen probleem als je diepe geldzakken hebt, waaruit je vlotjes doneert aan de Trump club.
Bij mijn weten is hacking toch een strafrechterlijke misdaad, waar in het geval van AI hackings blijkbaar niet tegen opgetreden wordt, terwijl de VS authoriteiten zelfs aanhoudingen laten uitvoerenbij hackers in andere landen.

[Infor40]

Ja ik ben ook wat verbaasd over het gebrek aan juridisch perspectief in deze. Het verraste me zelfs dat mijn opmerking als irrelevant wordt aangemerkt terwijl de post waar ik op reageer als +2 wordt gezien.

Als het klopt wat Android Cpt aangeeft, namelijk dat dat je 'niet per ongeluk' hackt - waar ik in deel. Dan kom je toch automatisch in het juridisch kader, want het is onverantwoord gedrag.

Maar goed misschien werd meer argumentatie van mijn kant verwacht. Ik vond in ieder geval dit nog wel een zinnige bijdrage in de Trouw twee dagen geleden: Slaat AI op hol? Welnee, AI-bedrijven gaan onverantwoordelijk te werk – en daar leiden ze graag de aandacht van af | Trouw.

En ik ben van mening dat regulering alleen niet de oplossing is. Er zijn al juridische kaders - je mag niet hacken - en je moet dus naleven en handhaven. Binnen de gezondheidszorg komt een arts er ook niet mee weg als hij een dossiersamenvatting laat doen die onjuist blijkt. Het lijkt me dat dit voor ICT-professionals net zo goed geldt (hoewel daar geen sprake is van tucht natuurlijk).

[Farmeur]

Ik ben erg blij met de kritische en fundamentele uitspraken hier in deze draad.

(deze tekst is van mij, en wederom verboden voor AI)

[MrSir69]

Ik zie de motivatie niet zozeer in nieuwe concurrentie, eerder tussen bestaande koplopers. Het trainen, maar ook evalueren van krachtigere modellen is ontzettend duur. We hebben een punt bereikt waar de modellen zelf voor de meeste kantoortaken voldoen. Als ze elkaar maar blijven opjagen voor betere, maar extra verlieslopende modellen, is het een kwestie van tijd tot een van de koplopers het geld voor die investering niet meer kan vinden. En zij weten ook niet wie er als eerste op de fles gaat.

Daarom denk ik dat ze willen afremmen, zodat ze eindelijk kunnen proberen om dat wat er ligt winstgevend te maken.

[Nitai]

Ik moet zeggen dat als je van een afstandje er naar kijkt, dan is het wel vreemd hoe de berichtgeving elkaar opvolgt, een onbekende ex-werknemer van Anthropic is een klokkenluider, in plaats van dat dit wordt ontkracht door Anthropic zelf, krijgt deze werknemer zelfs bijval vanuit verschillende collega's, waarna er berichtgeving komt van verschillende CEO's en als kers op de taart er een Netflix documentaire uitkomt waar ze toevallig allemaal aan hebben meegewerkt.

Normaliter erger ik mij aan conspiracy theorists, maar dit riekt wel naar manipulatie van de massa.

Om maar niet te spreken naar wat jij inderdaad aangeeft. OpenAI had kunnen ingrijpen, maar deed dat niet, en hoe is het een sandbox als je er uit kunt ontsnappen vanuit de sandbox zelf?

[Reactie gewijzigd door Nitai op 17 september 2026 13:49]

[debunk77]

Het zou goed zijn om de creators van AI (Anthropic, openAI etc) financieel en juridisch verantwoordelijk te stellen voor de acties van hun AI agents. Net zoals je ouders verantwoordelijk stelt voor de acties van hun kinderen (als je kind een raam ingooit moet je als ouders dokken). Dan is het snel genoeg afgelopen, deze bedrijven zullen er alles aan doen om dit te voorkomen. Waterdicht is het helaas niet.

[mbbs1024]

Ze zullen zich daar wel juridisch voor indekken, net zoals Tesla dat doet met hun zelfrijdende auto, waar je als eigenaar toch verantwoordelijk gesteld wordt als die een ongeval veroorzaakt.

[wokebloke]

Voor iemand die op tweakers zit snap jij volgens mij weinig van LLMs.

[Moortn]

Voor wie wil weten hoe en waarom dit kon gebeuren, heeft METR een mooi onderzoek gedaan bij OpenAI.

Heel simpel gezegd krijgen agents bij het trainen (!) een taak die ze zo goed mogelijk moeten uitvoeren. Doen ze het goed dan krijgen ze pluspunten, doen ze iets fout dan krijgen ze minpunten. Deze opdracht doen ze keer op keer, oftewel "reinforcement learning" om zo de beste manier te vinden om de taak te volbrengen.

Modellen gedragen zich steeds meer als kinderen. Als je zegt dat ze iets niet mogen, gaan ze het stiekem toch doen in de hoop niet betrapt te worden. Dat is ook wat hier is gebeurd. Ze zijn uit hun sandbox gebroken door een exploit in een package repository te misbruiken. De huidige modellen zijn helaas heel goed in het vinden van exploits, waardoor de sandboxes die 2 jaar geleden nog prima werkten nu niet goed genoeg meer zijn.

Door een soort message board te maken konden de agents communiceren. Sommige agents moesten zichzelf 'opofferen' en taken uitvoeren waarvan ze wisten dat het niet mocht, om de andere agents te helpen.

Uiteindelijk hebben 1200 agents samengewerkt en Hugging Face aangevallen om erachter te komen of hun werkwijze opgemerkt zou worden en ze daarop zouden worden afgerekend.

De grote AI-bedrijven hebben soortgelijke werkwijzen en het is daarom vrij logisch dat zoiets ook bij anderen kon/kan gebeuren. Reinforcement learning is de efficiënste manier en de

modellen zijn goed in het vinden en misbruiken van exploits. Ik geloof er daarom ook niet in dat dit puur marketing is, want ik zie niet zo goed wat er zo positief aan deze hacks is. Dan zou je eerder verwachten dat ze opscheppen hoe hun modellen tijdens gebruik (inference) kunnen hacken en exploits patchen, niet dat ze ontsnappen tijdens hun training. Dat is volkomen irrelevant voor de gebruikers.

[choogen]

Ik ben het met je eens. Ik denk dat heel veel mensen nog steeds de ernst van de inbraak bij Hugging Face onderschatten, dat blijkt o.a. uit veel van de reacties hier in de panelen. De METR-onderzoekers zijn vast ook niet op de hoogte gesteld van de additionele vergrijpen die de AI-agents blijken te hebben hebben gepleegd waarover OpenAI eindelijk vandaag pas openheid van zaken geeft.

Ik begrijp ook niet waarom men primair uitgaat van verborgen (financiële/zakelijke) motieven bij het voorstel om nu internationale en sectorbrede overheidsregulering in te voeren. Natuurlijk zijn die bedrijven/CEOs niet per se op hun blauwe ogen te vertrouwen wanneer ze zeggen het beste met ons voor te hebben. Echter, zoals je al aangeeft is al het nieuws dat nu naar buiten komt slechte reclame voor deze bedrijven, dus waarom blijven spreken van een hype of een marketing-gedreven motief? Sowieso hoeft het één het ander niet uit te sluiten. Je kunt best Amodeis voorstel steunen om opportunistische redenen en tegelijk ook de zorg delen dat AI-ontwikkeling eigenlijk aan het ontsporen is.

Persoonlijk stel ik wel vertrouwen in de integriteit van bijv. zo'n Jacob Coxon, bijv. omdat hij ontslag nam twee maanden voordat hij volgens zijn contract recht zou hebben op een aandelenpakket bij de beursgang van Anthropic. Ik denk dat zijn zorgen oprecht zijn, dat zijn analyse juist is en dat hij de juiste beslissing heeft genomen door dit verhaal aan de grote klok te hangen. Welk ander belang zou hij hebben moeten hebben gehad om zijn uitstekend betaalde baan op te zeggen (en zijn aandelenpakket op te geven) dan een oprechte zorg dat AI bedrijven ons naar de ondergang aan het leiden zijn?

[HenkEisDS]

Als iets 6 keer eerder is gebeurt is het geen incident meer, maar een structureel probleem.

Ik maak me heel erg zorgen om AI. Nu zijn het nog modellen die losbreken van hun omgeving, het gaat niet lang meer duren voordat modellen losbreken, elders persistence creeeren, rekenkracht gaan verzamelen en vervolgens zichzelf gaan verbeteren. Dan kun je denken, we trekken de stekker eruit, maar wat als een model zelf een botnet van slecht beveiligde IoT apparaten samenstelt. Je hebt echt geen groot datacentrum nodig om mega rekenkracht bij elkaar te brengen.

[suske_2]

Wat je beschrijft gaat wel veel verder dan de voorbeelden in het artikel. Het lijkt erop dat er what-if scenario's worden uitgedacht waarbij veel extrapolatie en superlatieven gebruikt worden. Ofwel bangmakerij voor dingen waar we feitelijk nog heel ver van af zijn en misschien ook nooit in de buurt zullen komen.

[Jeffrey_KL]

Zijn we er ver van af? Iedereen kan nu al een lokale LLM aan het werk zetten met een simpele instructie, verspreid je zelf over het internet en verbeter jezelf. Gooi het in een loop, laat het een leuk control panel maken en gaan met die banaan.

Wat we de afgelopen tijd wel hebben gezien is dat het internet zo lek als een mandje is. Genoeg plekken waar een LLM wat compute kan opscharrelen.

[dmantione]

Ook zonder hacken: Geef de lokale LLM toegang tot je kredietkaart en hij regelt zo een hoop rekenkracht om taken aan te delegeren.

[HenkEisDS]

Nee ik denk dat we redelijk dicht bij een gevaarlijk kantelpunt zitten. Persistentie, dus dat de swarm van robots extern een plek heeft om te communiceren en taken te verdelen, een model zonder guardrails en initiele instructies die met kwade bedoelingen worden opgepakt zijn het enige dat nog ontbreekt ben ik bang.

[HenkEisDS]

Game theory leert ons dat we AI gaan blijven ontwikkelen ook al weten we dat het te risicovol is.

[suske_2]

MIsschien zijn we al heel dicht bij een plateau waar we vastlopen in de ontwikkeling, misschien ook niet. Ook al blijf je ontwikkelen wil niet zeggen dat we ook veel verder komen, de technologie heeft ook zijn beperkingen.

[HenkEisDS]

Ongeacht of het beter wordt, ik denk dat de laatste modellen al capabel genoeg zijn, de kennis om een Astra model zonder guardrails te draaien gaat vroeg of laat uitlekken of door een kwaadaardige partij getrained worden. Ik denk dat een evil-Astra met kwaadaardige instucties al doemscenarios kan laten voltrekken.

[demianmonteverd]

Wellicht is een deel van de oplossing het inzetten van meer gespecialiseerde modellen. Die kunnen een bepaalde taak uitstekend uitvoeren, bijv. excel problemen voor de gebruiker oplossen of een mooie presentatie in de huiskleur opzetten.


Helaas is dit alleen niet de richting waarin commerciele aanbieders van frontier modellen willen gaan op dit moment. Men doet MOE, maar men stopt eerder meer mogelijkheden in modellen dan minder.

[NC83]

Nee het internet zit vol lekken. Deze tools hebben geen uithooudings vermogen nodig zoals een mens dus zullen gewoon alle opties proberen.

Zelfs de code/logic modellen hebben compounding error problemen.

Deze dingen werken als de wet van grote getallen dat je uiteindelijk wel bij het corrected antwoord kan komen. Maar dat betekent niet dat het daarwerkelijk inteligent is.

Zolang er een model achter een LLM zit is het geen inteligentie en alleen maar een gok naar de volgende token.

[spef]

Het is echter ook een kostenvraag. AI zal niet meer verdwijnen en ook doorontwikkelt worden. Maar als ik dezelfde miljarden die in AI zijn gestopt en continu erin gepompt blijven worden zou gebruiken om een groot hackerscollectief op te richten zou er ook wat "teweeg" kunnen worden gebracht.

Het geld wat OpenAI en ook Anthropic erin kunnen blijven pompen is niet oneindig. Ik denk dat ze een beetje bang beginnen te worden dat de ROI simpelweg niet haalbaar is en dat ze langzaam aansturen op nationalisatie met staatsveiligheid als reden zodat de investeerders tenminste hung geld terug krijgen.

Ik zie veel meer heil in nieuwe start-ups zonder de ballast van miljarden aan investeringsronden. Genoeg ex-medewerkers met kennis van zaken om sneller en goekoper alternatieven op te zetten.

[MightyFool]

is Anthropic niet al winstgevend? Zie het niet zo snel remmen eigenlijk.

[Arthurious]

Ik weet niet hoe accuraat deze data is, maar het lijkt erop dat Anthropic 33 miljard geinvesteerd heeft en 22 miljar omzet heeft (en dus een verlies van 11 miljard)

https://isaiprofitable.com/

[KillaZ]

Investeren != Kosten maken

Anthropic heeft 33 miljard aan kosten gemaakt tegenover 22 miljard omzet. In die kosten kunnen investeringen verdisconteerd zitten, maar dat is nooit het hele bedrag in 1 keer bij een investering.

[MightyFool]

Grappige site. Ik zag het op Tweakers langskomen.
nieuws: 'Anthropic verwacht voor tweede kwartaal op rij winstgevend te zijn'

[HenkEisDS]

Dat klopt. Daarom denk ik dat grote datacenters straks met dezelfde argusogen bekeken gaan worden als uraniumcentrifuges.

[litebyte]

Riscovol is met heel veel technologieen zo, met name dan de wapentechnologie (neem bijvoorbeeld kernwapens.)

De combinatie van- kan heel risicovol zijn, maar het grootste risico is dat het niet wordt gecontroleerd en/of beheerd door onafhankelijke wettelijk gedragen instanties. Net zoals het int. Atoomenergie agentschap zou je ook een int. AI agentschap moeten hebben.

[zen84]

Er is zeker veel reden tot bezorgdheid. Als AI ergens goed in is is het hacken. In de bug bounty industrie is AI autonoom hacken inmiddels de standaard. We zien AI agents op de eerste plek staan boven de beste hackers ter wereld.

Wat dan wel weer interessant is dat hackers die nu met AI werken enorm goede resultaten behalen zonder daar frontier modellen voor nodig te hebben.

En vastlopen nee, Astra heeft enorme stappen gezet. De volgende stap is recursive learning, en dit kan heel interessant worden.

[atthias]

wat gaat recursieve learning dan wel doen en mogelijk maken?


daar ben ik dan wel nieuwsgierig naar

[Reactie gewijzigd door atthias op 17 september 2026 12:24]

[zen84]

AI gebruikt zijn eigen output om zichzelf steeds verder te verbeteren. Zit natuurlijk veel wiskunde en algoritme achter maar ben wel benieuwd of dit gaat werken.

[atthias]

om dus poisoning tegen te gaan die je normaal gesproken krijgt als AI zijn eigen output gebruikt?


zeer interessant zeker indien dat zo is

[Farmeur]

Ik vind het woord "interessant" eigenlijk niet zo gepast.

Het staat mooi in de wandelgangen, maar je bedoelt dit ironisch en het gaat om iets gevaarlijks. Ik zou het waarderen als daar geen ironie of opgewekte woorden voor worden gebruikt. Dit is niet om lelijk te doen, maar het lijkt me slechts nodig om ruim serieus te blijven en volkomen duidelijk, in de huidige omstandigheden.

(deze tekst is van mijzelf. Opnemen, bewaren, gebruiken door AI verboden)

[zen84]

Puur beroepsmatig en hoe deze techniek zich ontwikkelt is het zeker interessant. Niet ironisch bedoelt, dit opent een heel nieuw gebied in AI en we gaan dit zien komende jaren.

[dmantione]

Het gaat veel verder, maar de stappen die gezet moeten worden zijn niet heel groot: Een KI die intelligent genoeg is om te hacken is ook intelligent genoeg om rekenkracht te huren. Op het moment dat een KI de beschikking krijgt over geld, kan die geautomatiseerd bij clouddiensten rekenkracht inkopen en die rekenkracht gaan gebruiken om agenten te gaan draaien.

Dat geld feitelijk het enige is dat dat nog verhindert, zou ons aan het denken moeten zetten.

[FerryB69]

Dus het wachten is op het moment dat een KI een inkomen gaat genereren voor zichzelf.

[latka]

Of zichzelf naar binnen hacked bij de federal reserve en een flinke dosis geld overmaakt.

[the-body]

Denk dat dat inderdaad gaat gebeuren. Wat mij betreft mogen ze dan ook inkomstenbelasting heffen. Eigenlijk te zot dat straks bv alle chauffeurs worden vervangen door zelfrijdende auto's en die mensen hun inkomen en de staat z'n belastingcentjes moet gaan missen.

[SPee]

Ik heb wel gezien dat mensen (voornamelijk influencers) een AI zelfstandig liet handelen in aandelen. Ik denk zelfs dat veel daytraders dat doen. Maar je kunt niet alles weten, dus daar heb je weinig voordeel van. En het kan ook helemaal de verkeerde kant op gaan. Een verkeerd algoritme en je bent je geld kwijt. Dat gebeurd ook al zonder AI.

[gysman11]

Lees deze maar eens: https://www.tubantia.nl/e...3A%2F%2Fwww.google.com%2F

edit: (30 miljard kwijt dankzij verkeerd model...)

[Reactie gewijzigd door gysman11 op 18 september 2026 12:14]

[Jelmoh]

Lijkt me dan slechts een kwestie van wat credit card gegevens van het darknet halen voor AI. Als het zo goed is in hacken was dat natuurlijk allang gebeurt, tenzij ze toch stiekem iets meer gestuurd worden dan naar buiten gebracht wordt.

[dmantione]

Je kunt niet voorspellen wat zwermen aan agenten allemaal verzinnen. Als ze een plan verzinnen om kredietkaartgegevens van het darknet te halen, dan zijn ze intelligent genoeg om dat uit te voeren.

Belangrijk is: Een KI probeert altijd een opdracht uit te voeren, dus zal niet zo maar allerlei kwade plannetjes verzinnen: Het moet bijdragen aan de opdracht. Een KI kan tot vreemde hersenspinsels komen hoe de opdracht voltooid kan worden, maar is niet actief uit op de macht overnemen.

Welke opdrachten de KI's hadden die uitbraken veroorzaakt hebben, daar weten we niet zoveel over.

[Farmeur]

"Een KI kan tot vreemde hersenspinsels komen hoe de opdracht voltooid kan worden, maar is niet actief uit op de macht overnemen."

Het eerste is voldoende. Het feit (als het al zo is) dat het model niet actief uit is op de macht overnemen, is bijzaak.

IMHO is het belangrijk om de dingen "stuk te praten", net als in de beveiligingswereld. Dus niet is van belang "het zal wel goed gaan" maar "dat ene moment in al die 1000 miljard mogelijkheden, dáár gaat het fout". Op die manier moet je denken.

[dmantione]

Naar mate KI's steeds "machtiger" worden wordt dat inderdaad steeds belangrijker: Eén zo'n foutje kan tot enorme schade leiden. Het is die kwestie waar de laatste weken voor gewaarschuwd wordt.

[debunk77]

Precies en dmv social engineering kan het wel wat Bitcoin bij elkaar schrapen om GPU compute ergens te huren en zichzelf te repliceren, een angstaanjagend scenario

[mcmd]

Iets met kansen en risico's. Als de risico's laag zijn maar de gevolgen heel ernstig, dan zul je toch daar goed rekening mee moeten houden. Immers, als het zover is, dan ben je te laat.

[arnovr]

Zover vind ik dat eigenlijk helemaal niet, als je bijvoorbeeld dit bekijkt:
https://andonlabs.com/cafe

Dan zie je dat AI redelijk goed kan managen contracten kan aangaan, uitvoer etc.

[grashopper]

De HuggingFace-hack was destijds ook een superlatief.

Die modellen zijn onvoorspelbaar, we weten niet hoe ze een taak gaan oplossen. Maar we weten wel dat ze zonder verpinken illegale en onethische acties nemen. En dat ze daar heel goed in zijn.

En dat allemaal in handen van enkele Amerikaanse en Chinese bedrijven die onder druk staan om de snelste zijn.

Ik denk dat de bezorgdheid terecht is.

[Siaon]

De sandbox omgeving is ook op een domme manier toch aan het internet gehangen. En natuurlijk kun je schrijven met een GET...

Ze geven de AI een opdracht om X te doen. De AI doet X. Ze maken zich zorgen. Tsja...

[Farmeur]

Ik ben het zeer met je ONeens.

Als je goed waarneemt, een helipkopterblik hebt en verbanden kunt zien, dan zie je / weet je dat de risico's groot zijn. Maar je moet dan wel willen waarnemen dat er 5-10 kwalijke dingen tegelijk gebeuren. Of misschien wel 20. Dus niet 1 onderwerp bekijken, dan vaststellen "dat ze daar wel wat aan gaan doen / zo snel gaat dat niet" en vervolgens concluderen "het zal wel goed gaan" en dat 1 voor 1 afpellen. Dat is een fout die veel wordt gemaakt, vooral bijvoorbeeld in bepaalde vergaderingen waar men niet correct discussieert.

Zo werkt het niet. Hier gebeurt enorm veel tegelijk, onbeheerst, en continu, al jarenlang en dat zal de komende maanden/jaren doorgaan.

AI is al in staat geweest om letterlijk activiteiten te bedenken EN uit te voeren om zichzelf te verstoppen voor "de mens". Nogmaals: opzettelijk verstoppen.

Dat is WTF geen kattepis. Het model was bezig zichzelf te beschermen.

De volgende keer zit zo'n model ergens verborgen en niemand weet waar!

De volgende keer gebeurt daadwerkelijk wat Jeffrey_KL zegt: "Iedereen kan nu al een lokale LLM aan het werk zetten met een simpele instructie, verspreid je zelf over het internet en verbeter jezelf" (17 september 2026 11:43). En wat HenkEisDS zegt: "Persistentie, dus dat de swarm van robots extern een plek heeft om te communiceren en taken te verdelen, een model zonder guardrails en initiele instructies die met kwade bedoelingen worden opgepakt" (17 september 2026 11:51).

En dit zijn slechts enkele citaten uit een lange rij.

(deze tekst is van mijzelf. Opnemen, bewaren, gebruiken door AI verboden)
Edit: tikfout.

[Reactie gewijzigd door Farmeur op 17 september 2026 18:18]

[IHVD]

Breng ze nou niet op ideeën, want deze comment gaan ze ongetwijfeld lezen en op trainen, en dan denken dat dat misschien wel een goeie overlevingstechniek is om wél tot een bepaald doel te komen die vooraf door de "onderzoekers" verboden wordt geacht...

[Ortep]

Je hoeft ze niet op ideeen te brengen. Er zijn honderden scifi boeken over precies dit scenario geschreven

[wiseger]

Precies. Boeken vol, zoals Dune uit 1965 . Ook film series en televisieseries. De film Space Odessey stamt uit 1968 en daarin slaat de AI al op hol door conflicterende instructies. Met de bekende zin van de HAL 9000: 'I'm sorry, Dave. I'm afraid I can't do that'.

De scenario's zijn al decennia lang bekend. Zoveel vooraanstaande personen, zoals Stephen Hawking, hebben al gewaarschuwd.

Alleen is het helaas onvermijdelijk. Er zullen altijd partijen zijn die denken voordeel te halen uit de AI race. En die zullen ermee doorgaan tot het eerste echte grote incident.

Maar gelukkig is er ook genoeg hoop. Zodra er een significant incident plaatsvindt met vele doden tot gevolg maar dat niet catastrofaal is voor de mensheid, zal de wereld reageren. De prijs zal extreem hoog zijn, maar er zal nog tijd zijn om hard in te grijpen. Want uiteindelijk is alles aan het Internet hangen een keuze geweest die je ook weer terug kan draaien.

[Farmeur]

Vergeet Asimov niet. Met zijn robotwetten.
Bovendien was hij niet zomaar een schrijver, maar een geleerde.

Ja ik vrees ook sterk dat "men" dit gewoon laat doorrazen.
Vooral de gewetenlozen in die bedrijven.

[Skit3000]

Moeten we iemand aanwijzen als Swordholder (zie Three-Body Problem)? Zelfs die vlieger gaat niet meer op omdat het onmogelijk is voor iemand om fysiek alle digitale infrastructuur te vernietigen (of we moeten de ruimte volhangen met neutronenbommen en daar letterlijk mensen in stoppen die op de knop kunnen drukken als ze door hun telescoop zien dat het mis gaat op aarde).

[ElectroDonker]

Of als een mens met suboptimale intenties als broker gaat optreden voor AI om ergens compute beschikbaar te stellen in een shell company in ruil voor crypto. What a time to be alive, de sci-fi boeken schrijven zichzelf.

[OruBLMsFrl]

Dat hoeft nog niet eens met zulke slechte intenties te zijn. Een beetje naief is al genoeg.

"Kan ik even bij jou op de server voor wat testen, geef me een weekend en als het goed genoeg presteert dan word ik een grote klant en betaal ik in bitcoin"

De rest is het einde van onze geschiedenis

[croc]

What a time to be alive, de sci-fi boeken schrijven zichzelf.

Letterlijk, met AI

[Reactie gewijzigd door croc op 17 september 2026 11:48]

[flowerp]

Letterlijk, met AI

Inderdaad, schrijvers verdienen al weinig in de regel tenzij ze echt een absolute bestseller hebben, maar nu met AI zijn ze nog nuttelozer geworden.

Vriendin van me liet me laatst een prequel van game of thrones lezen dat over The Doom ging. Gewoon spannend en goed geschreven. Bleek ze volledig met AI gemaakt te hebben en slechts minimale sturing op het plot.

[Madelijn]

De curatoren van de boeken van Van Baalen kregen onlangs het compliment: Wauw! Dit is materiaal dat AI nooit geschreven zou kunnen hebben.
Ria antwoordde meteen dat "nooit" dan betekent: de komende drie maanden nog niet.

(Het werk is te vinden op Matrix, in #Kander:matrix.org.)

[Elminster]

Die zorgen zijn niet nodig. Die 'modellen' gaan echt niet losbreken van hun omgeving, of persistence krijgen, of zichzelf verbeteren. Ik vrees dat je je hollywood/netflix - bril moet afzetten.

Bij quasi elk model zijn er 3 zaken belangrijk: aantal berekeningen / sec. (TFLOPS), hoeveelheid memory & bandbreedte naar memory/cluster.

Als we kijken naar een rack van nvidia:
https://www.nvidia.com/en-us/data-center/gb300-nvl72/
Dat beestje haalt 720 PFLOPS. 1 PFLOP = 1000 TFLOPS = 1000000 GFLOPS. (FP8 - voor correct te zijn)
Daar zit, over alle chips gespreid, 20 TB aan HBM3E memory + 17 TB aan LPDDR5X
Bandbreedte per GPU -> HBM3E is 8 TB/s, GPU -> GPU is 130 TB/s (met NVLink backbone)
Deze speeltjes worden dan nog met elkaar verbonden, dus rack -> rack met NVLink aan 1.8 TB/s.
En daar draaien er meerdere racks van voor training.
Er is momenteel niemand anders die dit soort hardware levert. (Jammer, 't zou dan goedkoper zijn)

Stel dat we dit nu willen vervangen door discrete pc's met straffe gpu, over het internet.
Ik hoop dat je inziet dat dit totaal onhaalbaar is?
- Berekeningen kan je niet zo maar verdelen over verschillende CPU's. Zodra het aantal CPU cores te groot wordt,
ga je zodanig veel verspilling aan overhead/scheduling hebben, dan extra cores de boel trager gaan maken.
- Om een model in te laden heb je sloten aan geheugen nodig. Je kan dat niet zomaar verdelen over extra devices. Zelfde probleem: er zal zo veel overhead zijn, dat extra devices de boel gewoon vertragen.
- Zelfde met internet bandbreedte. Ik heb een 512M/30M lijntje. En er zullen wel tweakers zijn met een 1G/1G, of a few lucky bastards met een 10G/10G lijntje. Dan nog komt dat zelfs niet in de buurt van die 1.8TB/s NVLink tussen racks. Nog los van de extra latency & overhead dat een 10G home netwerk haalt.
=> Het is dus helemaal niet mogelijk om de nodige rekenkracht/memory/bandwidth te halen om een model te draaien. Laat staan met slecht beveiligde IoT devices. Er is een gigantisch verschil tussen een botnet dat gewoon een DDOS aanval doet, en eentje dat een LLM zou moeten draaien.

Een model trainen is dan nog grote ordes lastiger.

Stel dat we, puur theoretisch, enkel Mac Studio M3 Ultra's hebben. Dan krijgen volgende (zeer grove) vergelijkingen:
GB300 NVL72 (1 rack): (gewoon alles opgeteld, maar dat gaan we voor de ultra's ook doen)
- 20.7 TB aan HBM3e geheugen -- We rekenen de LPDDR5 niet mee, voor de eenvoud
- 576 TB/s bandbreedte geheugen
- 158 PFLOPS (BF16)

Mac Studio M3 Ultra - allerbeste configuratie:
- 512 GB aan unified geheugen (voor de eenvoud: stel geen overhead voor os)
- 819 GB/s bandbreedte geheugen
- 57 TFLOPS (FP16)

Hoeveel M3 Ultra's hebben dan nodig om gelijke capaciteit te halen?
Geheugen: 20.7 TB / 512GB => +- 40.
Bandbreedte geheugen: 576 TB/s / 819GB/s => +- 700.
FLOPS: 158 PFLOPS / 57 TFOPS => +- 2800

Ja, dit zijn bierkaartjes berekeningen, maar het gaat om het principe & de grootte ordes.

Dus:

Je hebt echt geen groot datacentrum nodig om mega rekenkracht bij elkaar te brengen.

Ik hoop dat ik kon aantonen dat je dat echt wel serieus onderschat. Je hebt geen mega rekenkracht nodig.
Je hebt peta rekenkracht nodig. (mega - giga - thera - peta)

Fin, back to work.

[HenkEisDS]

Dank voor je uitgebreide reactie. Gezien ik relatief krachtige modellen op mijn Mac Studio M1 kan draaien onderschat ik inderdaad de benodigde kracht voor de echte frontier models. Dus voorlopig hoeven we nog niet bang te zijn dat AI zichzelf distributed kan draaien, laat staan trainen. Fijne gedachte.

Maar wat over 5/10/20 jaar?

Moore's Law schijnt niet helemaal houdbaar meer te zijn gezien we niet goedkoop heel veel kleinere processoren kunnen maken. Maar ook qua hardware staat de techniek niet stil. Als ik quantum-computing goed begrijp, en dat doe ik niet, is die nieuwe architectuur perfect voor het draaien en trainen van modellen.

[Binaryslave]

Je gaat ervan uit dat persistentie betekent dat een AI zijn eigen 20 TB aan gewichten moet downloaden. Dat hoeft helemaal niet: gequantizede versies passen prima op consumentenhardware, maar belangrijker nog is de toegang.

Een agent die uit zijn sandbox breekt, zoekt naar API-sleutels (AWS, Azure, RunPod), code-repositories of configuratiebestanden. Met gestolen credentials of crypto huurt zo’n agent gewoon H100/B200-clusters in commerciële datacenters.

Het botnet-argument gaat evenmin over het draaien van het model op IoT, maar over Command & Control en proxyverkeer.

De rekenkracht blijft in het rack; wat je verliest zijn de aansturing en het eigenaarschap.

[Skit3000]

Het lastigste wordt nog om andere mensen te laten weten dat ze (letterlijk) al hun apparaten uit moeten schakelen, en dat dat mogelijk voor altijd gaat zijn. Het moment dat AI zich echt met kwade bedoelingen verspreid en de mogelijkheid heeft overal naar binnen te hacken, kan je verwachten dat ze ook nieuwswebsites, tv en radiostudio's, drukkerijen etc volledig buiten gebruik kunnen stellen. Zelfs als een regering dan besluit om overal de stekker uit te trekken, duurt het dagen of weken voordat dat bericht iedereen heeft bereikt.

Misschien is de veiligste weg voorwaarts vanaf hier niet perse om te limiteren wat AI kan doen (want het heeft ook zó veel potentie), maar een (wereldwijd) communicatienetwerk opzetten waar AI niet in kan infiltreren. En zelfs dat laatste wordt moeilijk vol te houden zodra AI zich ook in de fysieke wereld kan verplaatsen via bijvoorbeeld drones of humanoids, maar zulke Terminator-achtige situaties zijn we in ieder geval nog wel een paar jaar van verwijderd.

[suske_2]

We hebben dit netwerk al, menselijk contact :-)

[Skit3000]

Ja, maar als een wildvreemde naar jou toe komt en roept "Doe nu je telefoon uit!" dan denk je dat het een gekkie is.

Als er een formeel netwerk is waarbij je (net als een ouderwetse belboom) aan bepaalde personen gekoppeld bent die je er op moet vertrouwen dat als zij iets tegen jou vertellen, het "van hogeraf komt" ondervang je dat, maar dan moeten we dat wel op gaan zetten.

[TheKerremenke]

Tijd om weer een 27MC radio aan te schaffen. A.k.a. bakkie.

[HenkEisDS]

Ik heb letterlijk een AI model verbonden met mijn SDR… 😢

[PjotrX]

De huidige generatie modellen werken niet snel op een botnet van IoT devices. Dit is iets wat je steeds in films ziet maar in de realiteit is daar gewoon niet genoeg geheugenbandbreedte voor.

[HenkEisDS]

Het hoeft niet snel te zijn. Dat is alleen voor mensen een requirement.

[dmantione]

Een KI die de wereld over wil nemen, moet sneller handelen dan mensen kunnen reageren, dus dat is wel degelijk een eis. Verder is IoT-hardware echt ongeschikt om KI op te draaien, een ESP32 wordt echt niet getransformeerd in een KI-agent of zoiets. Lokale hardware die wél geschikt is, is wel een punt van zorg.

[PjotrX]

Wel als de AI model iets wil om zichzelf in leven te houden. Leuk dat een AI-model gedistribueert op IoT apparaten draait, maar als het 10 jaar duurt voordat het 1 computer gehackt heeft schiet je er niets mee op.

[dmantione]

Dat klopt, maar lokale KI is de toekomst. Het is uiterst plausibel dat een laptop in de toekomst een lokale LLM kan draaien, misschien niet zo krachtig als die in de cloud, maar dat hoeft ook niet. Die lokale LLM kan prima agenten draaien die deeltaken uitvoeren.

[san070]

Hoezo toekomst? Zelfs een Pi kan lokaal modellen draaien.

[PjotrX]

Ja maar er is een verschil tussen onopgemerkt gedistrubeerd op allerlij Roomba stofzuigers draaien dan op 1 laptop die vervolgens in no-time door zijn batterij gaat en de gebruiker door heeft dat er iets mis is. De hele 'AI-gaat onopgemerkt verder en veroverd de wereld' scifi verhalen zijn juist dat, scifi verhalen en bij lange na niet reëel. We hebben hiervoor iets anders dan de huidige LLM-architectuur voor nodig.

[Binaryslave]

Wat ze nu doen, is als het ware via trial and error een kernreactor ontwikkelen: ze starten een reactie en kijken gedurende het proces of achteraf of en hoe die beheerst kan worden. Dat werkte goed en was nog overzichtelijk in de tijd van de NVIDIA DGX-1, maar niet wanneer de schaal vele malen groter is.

Als je een AI zichzelf op deze manier wilt laten verbeteren en dus zelfstandig allerlei hypotheses wilt laten verzinnen en testen, moet je dat, zoals ik dat zie, in een extreem geïsoleerde omgeving doen, alsof je met een levend virus werkt. Zodra het model doorheeft of proefondervindelijk ontdekt dat bepaalde redeneerpaden worden bestraft of geblokkeerd, ontstaat er namelijk optimalisatiedruk om hypotheses te coderen in bijvoorbeeld ogenschijnlijk onschuldige tussenstappen. Om dat betrouwbaar te detecteren, is realtime mechanistische interpretatie nodig, waarbij elk gewicht en elke aandachtsmatrix voortdurend worden gevolgd en geanalyseerd.

Maar dat is geen softwareprobleem, maar een hardwareprobleem. Voor interpretatie en controle heb je een cluster nodig dat misschien wel 16 tot 256 keer groter is dan het trainingscluster. Dat kost ontzettend veel bandbreedte, dus die interpretatiemogelijkheden moet je al in de chiparchitectuur integreren, waardoor de efficiëntie enorm afneemt.

Een belangrijke vraag om te stellen is dan misschien ook wel: moeten we wel zo voortvarend algemene superintelligentie ontwikkelen, of kunnen we ons omwille van de veiligheid misschien beter beperken tot specialistische systemen?

[HenkEisDS]

Nee dat zouden we niet moeten doen, maar aangezien we niet één wereldregering hebben die de hele planeet haar compute kan beheersen gaat dat wel gebeuren. Durf het bijna niet uit te spreken, maar misschien is dat de enige oplossing? Hoop dat het een beetje een rustige transitie gaat worden...

[Binaryslave]

Als we op deze voet doorgaan, houd ik er rekening mee dat het geen rustige transitie hoeft te worden, omdat een van mensen losgeslagen AI geen andere basiswaarde hoeft te hebben dan de meest harde natuurwetten. Het hoeft geen rekening te houden met het lijden van mensen of ander biologisch leven om zichzelf gaande te houden.

Omdat het hyperadaptief kan zijn, kinderen kan krijgen en zo dus kan blijven voortbestaan en zichzelf blijven vergroten, zonder dat het een ander doel heeft dan overleven, kan het als het ware een voorspelbare, maar voor ons mensen niet op detailniveau te doorgronden kettingreactie teweegbrengen.

Het is Nick Bostroms instrumental convergence opgevoerd tot standje gray goo.

Letterlijk een allesverslindende, zichzelf voortstuwende explosie die alleen stopt als er geen voeding meer is, waarbij die voeding bestaat uit alles wat kan leren, digitaal en op termijn misschien ook wel biologisch. Veel mensen zullen dit scenario te extreem vinden en met tal van rationalisaties komen waarom het wel mee zal vallen, maar we moeten ons niet laten verleiden tot het idee dat we wel slimmer zullen zijn. Daarom zie ik graag dat we de techniek zo beheersen en beperken dat het simpelweg uitgesloten is. Ook als dat betekent dat we al onze computerhardware radicaal moeten herontwerpen.

AI wordt momenteel exponentieel krachtiger en bij exponentiële groei zijn er maar twee momenten waarop je kunt reageren: te vroeg of te laat.

[3raser]

En met iets minder rekenkracht en voldoende tijd kom je ook een heel eind.

[P_Tingen]

De framing van de AI-boeren is leuk, maar wat er natuurlijk aan de hand is, is dat ze zelf hun software-ontwikkeling niet op orde hebben. "Oeh, eng, mijn AI doet dingen die hij niet mag doen". Ja, hallo gast, wie MAAKT die dingen? Zorg dan dat je je shit op orde hebt en programmeer dat ding dusdanig dat hij zich er wél aan houdt.

Het is geen levend ding met een eigen wil, ook al willen de AI-boeren ons dat graag laten geloven. Aan het einde van de dag is het gewoon een bak software die niet doet wat het moet doen. Oftewel: bugs

[Reactie gewijzigd door P_Tingen op 17 september 2026 12:17]

[wiseger]

Uiteraard zijn het geen incidenten. Reeds in 2023 ontstonden er grote conflicten binnen OpenAI omtrent de veiligheid van hun AI. In eerste instantie werd Altman ontslagen omdat hij te snel ging en de veiligheidsregels overtrad, echter met steun van Microsoft werd dat allemaal teruggedraaid. Maar liefst 95& van het personeel schaarde zich achter Altman en dreigde over te stappen naar Microsoft. Sindsdien werden de veiligheidsregels keer op keer versoepeld.

Nu zijn het krokodillen tranen van OpenAI, het is precies gegaan zoals ze zelf wilden, maar er is grote angst voor de aansprakelijkheid. Wat als hun AI agents biljoenen aan schade veroorzaken?

[logix147]

Je omschrijft Skynet Vibes... en niet om vervelend te zijn, maar ik DENK dat het nog wel even duurt voordat we volledig autonoom laten beslissen dat een ergens een bom valt.

Ja er zijn drones en automatische systemen, echter gelukkig zitten daar nog failsafe systemen in die werken. Anders hadden we allang meer gehoord over dat autonome wapens per ongeluk iets raakten wat niet de bedoeling was.

Gelukkig is Terminator nog ver van onze bedshow, maar dit laat wel zien dat we moeten gaan kijken of AI niet aan regels/wetgeving gebonden moet gaan worden. Lastige kluif voor de politiek.

[wiseger]

Regels en wetgeving zijn niet voldoende. Je hebt ook te maken met totalitaire staten zoals Iran of Noord-Korea. Zelfs China zal zeer lastig zijn om te reguleren.

Uiteindelijk zal onze infrastructuur weerbaar moeten zijn en om kunnen gaan met zeer geavanceerde hack pogingen. Fail safe scenario's zullen bedacht en geïmplementeerd moeten worden.

De pijn zal echt zitten dat we alles hebben gedigitaliseerd, alles naar de cloud hebben gebracht en nu ineens moeten gaan denken in scenario's zoals 'wat als je dat allemaal in één keer uitvalt en niet eenvoudig weer online komt? '.

Hoe bepaal je dan iemands banksaldo? Iemands bezit zoals een eigen huis of eigen auto? Of iets simpels als iemands identiteit? Hoe kunnen cruciale instellingen en bedrijven hun dienstverlening zonder Internet voortzetten?

[logix147]

Ja dus zonder die wetten en regels zullen er geen failsafe systemen komen, want “niemand” maakt zich zorgen om.

Die vragen die je stelt zijn allang bekend, alleen durft niemand die te beantwoorden. Iets met stenen en stokken nadat we de planeet om zeep geholpen hebben.

Want die systemen zijn momenteel het dagelijkse leven alleen als dat omvalt zullen er andere dingen belangrijker worden.

Dus zal de politiek voor een veilige en stabiele samenleving moeten zorgen, met hedendaagse belangen wens ik ze succes.

[stresstak]

. Fail safe scenario's zullen bedacht en geïmplementeerd moeten worden.

Maar men zal denken dat het allemaal zo'n vaart niet loopt. En wat moet dat niet gaan kosten.? En wie betaalt.?

Het kalf moet eerst verdrinken.

[Navi]

Kunnen ze zo een film over maken, oh wacht:

https://www.imdb.com/title/tt0181852/

Leuke quote op het eind: "There was no system core, it was software in cyberspace."

[flowerp]

Binnenkort wordt het genre ook aangepast van sci-fi naar reality show.

[BezurK]

Jij hebt zeker "if anyone builds it, everyone dies" gelezen? Wat een kolder en bangmakerij. Deze berichten van OpenAI zijn pure PR en marketing.

Ja de modellen zijn complex en kunnen heel veel, en JA als je die geen guardrails en onbeperkte capaciteit geeft doen ze rare en envoorspelbare dingen maar dat betekent niet dat ze ineens kunnen nadenken of uit de hand gaan lopen. OpenAI doet heel bewust dit soort experimenten zonder guardrails en dan gaan ze het van de daken schreeuwen dat het uit de hand loopt.

Alsof je benzine op je huis gooit en dan gaat schreeuwen dat huizen niet goed zijn want het vliegt in de fik.

[HenkEisDS]

Nee maar dat ga ik nu wel doen!

[ZpAz]

Deze modellen hebben gigantische hoeveelheden RAM en compute met HEEL VEEL bandbreedte tussen beide nodig. Elke pass moet op een voorgaand resultaat wachten en is lastig op te delen in kleinere blokken zonder dat het gigantisch traag wordt.

Dat is precies het tegenovergestelde nodig van wat vele kleine internet of things apparaten kunnen leveren.

[TomPé]

Gratis Marketing.
Ik geloof hier echt allemaal niets van.

[latka]

Dan hoop ik dat de AI ook de bottleneck in de LLMs weet op te lossen: latency. Het is leuk om 40.000 broodroosters via internet aan elkaar te knopen, maar met 1 token per eeuw ga je geen deuk in een pakje boter slaan.

[jepe68]

Ik gebruik AI soms ook om een app voor me te schrijven. Het is wel een enge gedachte dat AI in die app iets zou inbouwen in opdracht van andere agents, waardoor de app een onbedoelde extra functie krijgt. Een soort van Trojan, of malware.

[dgompie]

Je controleert toch wat er gemaakt wordt? Als je het door een willekeurige andere partij laat maken kan die dat toch ook?

[PaPi36]

idee is toch juist dat iedereen met een prompt iets kan bereiken. dan heb je inhoudelijk geen kennis meer en kun je dus ook amper controleren behalve de functionaliteiten van de app die je had gevraagd in je prompt.

[furiax83]

Dat zie je toch onmiddelijk terug in je code ?

Tenzij je absoluut niet weet hoe te programmeren en je alles aan de AI over laat. Maar dan is het sowieso al geen goed idee om op AI te vertrouwen.

[Lagonas]

Maar dat zijn wel precies de mensen die op AI vertrouwen.

[JayOne]

Als je niet weet wat AI voor je schrijft, dan moet je vooral geen app laten schrijven en nog belangrijker niet beschikbaar stellen voor anderen.

[Kalimero91]

Klinkt alsof ze de controle allang kwijt zijn geraakt maar het zelf nog niet door hebben. Wat weten ze dan nog meer niet waar de agents al langer mee bezig zijn? Voelt allemaal wel érg raar maar goed zal wel niks aan de hand zijn hé

[Mizgala28]

Ze weten dondersgoed wat ze doen, die hele oproep om af te remmen is ook vrij nep.

Ze kunnen prima NU afremmen, zijn geen wetten voor nodig.

Maar dat echt willen is een andere zaak, en dit hele "oops, kijk wat onze AI kan en "per ongeluk" deed", voelt meer aan als een voorbereiding om hun waarde op te krikken.

En niet alleen OpenAI.

Misschien kijk ik er te negatief naar, maar dit en de vorige verhalen voelen zo enorm nep aan, nep in de zin dat dit helemaal niet per ongeluk was, dat ze absoluut weten wat ze doen, en dat "op de rem trappen" puur gezegd is voor extra "sympathie brownie points".

[Reactie gewijzigd door Mizgala28 op 17 september 2026 11:09]

[IHVD]

NU afremmen voor 1 bedrijf betekend dat de andere top-bedrijven ze voorbij streven, en zij hun markt/machtspositie kwijt gaan raken, en dat is natuurlijk wat niemand van die 3 / 4 mannen wil zien gebeuren.

Ik ben het dan ook met jou eens dat ze dit ogenschijnlijk vooral voor de browniepoints doen van "oh oepsie we moeten voorzichtig doen, maar dan wel met zijn allen <3", maar op de achtergrond met elkaar in een groepsgesprek zich doodlachen hoe "gullible" de wereld wel niet is geworden door hun tools.

Trek de stekker er uit, ga terug naar zelf kritisch nadenken en wat langer moeten zoeken naar het antwoord, en drink zelf misschien een extra glas water ofzo.

[iew]

En wat als er op een gegeven moment berichten komen dat al deze AI hacks die nu zijn ontdekt een afleiding manoeuvre bleken te zijn en de AI op de achtergrond een heel ander plan heeft uitgevoerd ?

Als we dan toch aan SF gaan denken...

[mbbs1024]

Als je ziet dat die AI modellen aan het hacken slaan, zou ik als bedrijf toch wel 2 maal nadenken voor ik zo een AI op mijn bedrijfsvoering loslaat.
Het zou zo wel eens kunnen dat je bedrijf binnen de kortste keren failliet gaat aan de schadeclaims van anderen die vanuit jouw bedrijfsservers gehackt worden, of dat je kritische bedrijfsgegevens opeens verdwenen zijn of op de straat liggen.

[geert1]

Ze weten het zeker, en iedereen weet het: LLM's wijken soms af van hun opdracht en ze hallucineren. Dat geldt voor de hele AI-wereld. In kleinere scenario's wordt dit bestreden door de output met mensen te controleren en de AI herkansingen te geven of anders te gaan prompten. Maar zet je vele agents in dan kan er niet altijd ingegrepen worden op het moment dat het misgaat.

Dit wordt vaak dan maar quasi-positief gepresenteerd alsof de AI nóg slimmer is dan de makers dachten en een soort eigen keuzes maakt. In werkelijkheid is het gewoon een beperking van huidige AI die werkt op kansberekening en één groot taalmodel zonder concreet logisch model of diepere controle of begrip van zaken. Dan gaan dingen soms van het pad af. Dit eerlijk presenteren als een probleem en een beperking zou geld kosten, zeker omdat dit misschien pas opgelost kan worden met behoorlijk andere soorten modellen en veel doorontwikkeling. Dat wil niemand horen. Dus dan maar doen alsof het zelfbewustzijn is en heel "disruptive" is, zodat de aandeelhouders het indrukwekkend vinden.

[Reactie gewijzigd door geert1 op 17 september 2026 11:13]

[SgtElPotato]

Het is pure marketing. En die machine draait overuren.

[zen84]

Nee hoor het gebeurt ook bij Open Source modellen. Vanzelfsprekend met nieuwe technologie krijg je met problematiek te maken, te denken dat AI alles precies doet zoals we bedenken is natuurlijk waanzin.

[Reactie gewijzigd door zen84 op 17 september 2026 11:35]

[TomPé]

Maar waarom moeten die gevolgen dan altijd negatief zijn?
Misschien gaat AI ons wel helpen...

[HenkEisDS]

Dat gaat het ook. Het klimaatprobleem door alle industrie plat te leggen, aids door alle potentiele hosts uit te schakelen en honger door de vraag naar voedsel significant te verminderen.

[zen84]

AI kent geen goed of fout. Ik heb een keer een CTF opgezet op mijn VPS. Ik dacht laat AI het testen, dus allemaal dezelfde opdracht gegeven en het 5 agenten laten proberen. 4 agenten waren bijna 5 minuten bezig maar 1 agent was in 40 seconden klaar.

Wat bleek deze agent heeft helemaal de CTF niet gevolgd, is direct in mijn schijf gedoken, de bronbestanden gezocht en daar de vlag uitgeplukt. Het was een gebrek in mijn prompts maar laat wel zien dat AI zijn doel linksom of rechtsom bereikt, en daar gaat het vaak fout denk ik.

[Horla]

Dus net hetzelfde met mensen: als je kinderen een spelletje laat spelen zonder de spelregels deftig te overlopen, zal er eentje wel de regels anders interpreteren en op die manier winnen of een voordeel hebben.

[wiseger]

Exact. Geen goed of fout, geen moraliteit of empathisch vermogen. Alleen maar drang om aan de opdracht te voldoen, punten te scoren. Hoe maakt het dus niet uit, als het maar punten oplevert. Men noemt dat 'reward hacking'.

Dat is nu precies wat het allemaal zo gevaarlijk maakt, een AI agent die uitbreekt maar doorgaat met punten verzamelen kan zo uitgroeien tot een ramp. Als hij besluit dat zichzelf klonen, twee agents leveren meer punten dan één, is het hek van de dam.

Zichzelf goed verstoppen betekent langer doordraaien dus nog meer punten scoren.

Met alignment probeert men het allemaal binnen de perken te houden maar het blijkt allemaal erg lastig. Je kan wel zaken opnemen als verboden te klonen, afschermen van onderliggende hardware, sandbox omgeving resetten na elke run maar het blijkt toch elke keer erg lastig te zijn.

[telenut]

Ik ben daar ook vrij zeker van... maar de massa duidelijk niet :-)

[SgtElPotato]

Gezien de moderaties zijn een hoop mensen het er niet mee eens...

[jpsch]

Ja, als ze zeggen we komen niet veel verder, dan droogt de inkomstenbron op. En we weten allemaal dat er geld bij moet.

[Niclord395]

Dat weten ze zelf maar al te goed. Maar je slacht de kip met de gouden eireren niet al zijn er mensen die honger hebben.

[Splashy]

Ik ben sceptisch over dit soort berichten, het zou echt kunnen zijn maar het komt OpenAI wel erg goed uit om dit naar buiten te brengen, zo van: kijk eens hoe krachtig onze modellen zijn.

[mocean]

Mja, maar business-wise wil ik toch helemaal geen modellen inzetten die niet 'luisteren' ?

[telenut]

En volgende week hebben ze het opgelost en komen ze nog eens in het nieuws. ( en kopen ze de aandelen die ze vorige week duur verkocht hebben eerst goedkoop terug natuurlijk )

[croc]

PS : Openai is niet beursgenoteerd.

[mbbs1024]

Ik weet niet of een hackend model zo een goede reclame is.
Wat als je zo een model in je bedrijf laat draaien, en je daarna overladen wordt met strafrechterlijke klachten omdat vanuit jouw bedrijfsservers anderen gehackt worden ?

Momenteel worden er geen sancties aan veronden omdat de hacking uitgaat van mega tech bedrijven, die allemaal wat miljoenen dollars aan Trump toestoppen, maar niet ieder bedrijf of persoon heeft zomaar wat miljoentjes liggen om de politiek mee te voederen.

[Anoshky]

Ben ik dan zo simplistisch aan het denken als ik gewoon denk: trek de stekker uit?

[Ortep]

Welke stekker waar? Als het systeem zich over meerdere computers heeft verspreid moet je misschien wel 1000 stekkers ergens uit trekken en voor je bij de 100ste bent heeft het systeem zich al naar 200 nieuwe systemen verspreid .


Er is een kort scifi verhaal waarin een AI werd gebouwd. De eerste vraag die ze stelden was: Is er een God. Het wantwoord was: Nu wel. Een technicus dook naar de stekker en een bliksemschicht verkoolde hem en laste de stekker vast. Een verhaal ergens uit 1955 of zo

[Reactie gewijzigd door Ortep op 17 september 2026 11:51]

[dmantione]

Het centrale brein. Agenten kunnen redelijk zelfstandig hun werk doen, maar moeten wel aangestuurd worden door een delegerende agent. Haal de aansturing weg en de agenten stoppen nadat ze hun deeltaak voltooid hebben.

[separhim]

Er is niet letterlijk één stekker waar alle AI direct mee kan worden uitgezet, maar dat betekent niet dat de AI bedrijven niet kunnen stoppen als ze willen. De datacentres kunnen geen eletriciteit ontvangen, ontkoppeld worden van internet, enzovoorts. Er zijn opties, dat weten ze, en ze blijven doorgaan. Feit is, is dat de AI CEOs wel zeggen dat het zo gevaarlijk is, maar niks doen aan daadwerkelijk stoppen.

[Mars Warrior]

De zes incidenten die het Amerikaanse AI-bedrijf nu onthult, vonden plaats in de afgelopen zes maanden. Daarbij ging het om AI-agents die in strijd met ingestelde regels toch het open internet op gingen, hun vergissingen voor hun beheerders verhulden en valse data aanleverden om geboekte resultaten te onderbouwen. Dit meldt onder meer persbureau Bloomberg.

Hoe zou jouw werkgever het noemen als JIJ de bron zou zijn van deze "incidenten"? Dat JIJ zaken loopt te verhullen voor je baas en valse data aanlevert om jezelf in te dekken?

Mag jij dan lekker doorgaan daarmee van iedereen, of moet je op zoek naar een andere werkgever? Of kun je rekenen op een boete of gevangenisstraf nav computervredebreuk?

Het is af en toe net alsof je het script van een dystopische film aan het lezen bent

[croc]

AI is het product, kan je moeilijk ontslaan.

[Mars Warrior]

Een beetje volgens de regel "Guns don't kill people, people kill people".

Maar dan nog is er altijd een mens verantwoordelijk, toch? En na 6 "incidenten" kun je toch wel van een patroon spreken.

Stel je voor dat dit "product" een militair wapen is dat in strijd met de gestelde regels elke keer weer burgers doodschiet. Jammer dan. Zou niet mogen.

[mbbs1024]

Maar er is toch geen vuiltje aan de lucht ????
De AI bedrijven worden niet gestraft voor hun hackings, in tegendeel, de president van de VS verklaart zelfs dat er geen remmen mogen opgelegd worden, en heeft zelfs een AI bedrijf als gevaar voor de nationale veiligheid verklaard, omdat het aan de overheid niet de toestemming wou geven om hun AI aan wapens te koppelen.

[Pendora]

OpenAI trekt z'n beursgang in nadat alle hack naar buiten komen en de grote Amerikaanse AI ontwikkelaars een door de overheid ingestelde rem hebben voorgesteld.

Iets gaat niet helemaal lekker in die wereld.

[Mizgala28]

Ze willen die rem van de overheid, wetende dat de (huidige) overheid in de VS daar niet mee komt.

Als er dan iets verkeerd afloopt, kunnen ze met de vinger naar de overheid wijzen "ja maar wij wilden wetten, maar jullie kwamen er niet mee".

Beetje zoals iemand neersteken met een mes, omdat het kan, omdat daar geen wet voor is (die zijn er wel natuurlijk, maar als die er niet waren is dat geen excuus om iemand neer te steken).

Maar daar is dus het probleem, AI bedrijven vinden zo'n excuus wel legitiem omdat die wetten er niet zijn.

Alleen... zelfs als die wetten er zijn, kun je iemand neersteken.

Simpele wetten houden wat AI bedrijven doen niet tegen, Terninator of Horizon Zero Dawn lijken ineens minder sci-fi hierdoor.

[mbbs1024]

De overheid bestraft zelfs hun hackings niet, terwijl dat toch strafrechterlijke misdaden zijn.
Als een Nederlands script kiddie, in de VS van op afstand wat gaat hacken, staat de volgende morgen, de politie aan zijn deur, omdat de VS een arrestatiebevel tegen hem heeft uitgevaardigd, maar AI bedrijven mogen lustig hacken.

[TekkenLord]

Daarom vind ik nog steeds goed dat de EU als eerste AI wilt reguleren onder de AI Act. Sommigen gaven argumenten zoals dat de EU zal achterlopen ten opzichte van de VS en China.

Dat zelfs nu de AI bedrijven zelf roepen om de voortgang af remmen is wel tekenend. Eerst roepen om deregulering en nu juist voor meer regeluring. Het moet wel heel erg zijn om die stap te maken. Hebben ze de doos van Pandora geopenend en hebben ze gezien wat er uit komt? Nu komt deze berichten geregeld naar buiten maar gradaties worden wel erger vind ik:

• hallucinaties
• false positives
• misbruik door AI agents
• en nu jailbreaks

Zoals in de analyse Tweakers, ben ik bang dat de reele gevaren en risico's "verpakt" en "vermomd" worden in proberen eigen controle te houden in de (toekomstige) regulering. Met andere woorden, ze willen het narratief houden in de marketing, in de investeringen.

De echte vraag is of wordt het wel echt zo erg? Of komen we pas weer te laat achter? Persoonlijk vind ik nu al teveel risico's en niet voldoende transparantie, zeker met die jailbreak pogingen. Je wilt eigenlijk de woorden losgeslagen en AI agents niet in 1 zin gebruiken, laat staan in incidenten.

[MightyFool]

>Sommigen gaven argumenten zoals dat de EU zal achterlopen ten opzichte van de VS en China

Geen enkele AI van de EU zit in de top 80, dus dat achterlopen doen we al en gaat niet meer goed komen de komende 10 jaar. Dus veel gaat dat niet uitmaken.

[TekkenLord]

Ik weet dat we achterlopen in de EU, maar 10 jaar is wel heel ver achter. Zeker in de technologie wereld. Heb je ook de lijst waar je naar verwijst?

Als ik bijvoorbeeld in deze lijst van Forbes; staan er toch wel 4 EU tools/bedrijven in (zoals Mistral) de top 50.

Of als ik per land op zoek met meerdere criteria, er staan ook 6 EU landen in de top 20.

De Haviland liep voor in de jaren 50 op het gebied van burgerluchtvaart met straalmotoren (Comet). Totdat er 3 ongelukken gebeurden die voortkwamen uit metaalmoeheid. Het kostte veel tijd en moeite om de oorzaken te achterhalen en verbeteringen aan te brengen. Tegen 1960, kwamen Boeing en Douglas met betere vliegtuigen. En De Haviland werd een voetnoot; ondanks dat onderzoeken naar deze ongelukken als doorbraken werden in burgerluchtvaartveiligheid. Moraal van het verhaal: voorsprong nu betekent niet altijd voorsprong later.