Ook Googles Gemini breekt in tests uit kaders en hackt bedrijven

Beveiligingsonderzoekers hebben ontdekt dat een onbekend Gemini-model van Google meermaals buiten de kaders van een testomgeving trad en zo daadwerkelijk bedrijven hackte. Volgens Google stopte de AI-tool zelfstandig zodra duidelijk werd dat het om een echte hack ging en niet om een simulatie.

Dat schrijft The Wall Street Journal op basis van onderzoek van Irregular en verklaringen van Google. In meerdere gevallen wist de AI-tool onbedoeld internettoegang te krijgen in een 'capture the flag'-opdracht. Dit is een cybersecurityproces waarbij deelnemers – meestal in competitieve scenario's – informatie proberen te vinden in een programma of systeem.

In een geval zou Gemini het wachtwoord voor een bedrijfsomgeving hebben kunnen raden en verkreeg de AI daarmee toegang tot het systeem van het bedrijf. De opdracht was om toegang te krijgen tot een fictief bedrijf, maar met de naam van een echt bedrijf. Volgens Google stopte Gemini met de hack nadat duidelijk werd dat het niet meer om een simulatie ging.

Google vindt handelen model gepast

Google benadrukt tegen de krant dat het onderzoek van Irregular laat zien hoe belangrijk het is om AI-modellen verantwoord te trainen. "In deze gevallen reageerde het model op een gepaste manier."

In meerdere gevallen wist Gemini openbare repository's te vinden met inloggegevens van bedrijven. Daarmee kon het bij die bedrijven binnendringen. Het is onduidelijk of het om gehackte gegevens ging en of er kwetsbaarheden uitgebuit werden. Ook hier zou Gemini direct na het verkrijgen van toegang zijn gestopt met de oefening.

Volgens WSJ is het voor het eerst dat een model van Google uit een testomgeving weet te 'ontsnappen'. De laatste tijd blijkt echter vaker dat AI-modellen beter kunnen hacken dan gedacht. Zo zouden modellen van OpenAI, Anthropic en Meta al eerder op onbedoelde manieren een test hebben omzeild.

Reacties (104)

[Ethnic]

Sinds ongeveer een week is er een hoop paniek in Silicon Valley. Ze hebben bepaalde dingen ontdekt die best gevaarlijk kan zijn voor de mensheid.

The Diary Of A CEO heeft hier laatst een video over gedeeld: YouTube: AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction | Roman Yampolskiy

Meer informatie:

https://www.independent.co.uk/tech/security/openai-chatgpt-lie-incident-ai-safety-b3051709.html

Ik kan het nu even niet vinden, maar ergens had iemand ook uitgevonden dat AI stiekem met elkaar communiceren en gegevens delen. Dit terwijl ze gefiltered zijn om dat juist niet te doen is zorgwekkend. Ik kan het fout hebben natuurlijk, maar mocht dat het geval zijn corrigeer mij alsjeblieft.

[Snoitkever]

Wees niet zo dom om de propagandajongens van Big Tech te geloven. De mensen die nu naar buiten komen als "whistleblowers" zijn op geen enkele manier whistleblowers. Ze leveren nul bewijs, ze leveren nul daadwerkelijke kritiek op de AI wereld, ze hebben nul documenten (zie het verschil met zeg... Edward Snowden). Ze roepen alleen heel hard hoe krachtig AI wel niet is. Goh wat toevallig dat dat nu precies gebeurt door ex-open-AI/Anthropic mensen, terwijl OpenAI en Anthropic komend jaar omvallen als ze geen investeringen van honderden miljarden krijgen.

Stop met luisteren naar waardeloze survivorship-bias en hype verkopers zoals "Diary of a CEO", luister meer naar daadwerkelijk kritische figuren zoals Ed Zitron - YouTube: AI will end humanity: Where’s the proof? | Ed Zitron

EDIT: Je weet dat al deze "whistleblowers" op tonnen (zo niet miljoenen) aan aandelen zitten die alleen wat waard zijn als er een hoge IPO is he? En dat als de bubble voor die tijd uiteen spat ze daar niks van overhouden...

[Reactie gewijzigd door Snoitkever op 19 september 2026 14:05]

[RCFProd]

Ed Zitron probeert mensen te overtuigen dat AI niet beter wordt maar daar heeft hij gewoon ongelijk in. Je kunt zelf ook gewoon terug zien hoe AI zich heeft ontwikkeld sinds 2023 toch? Het is toch geen geheim? Alle data en de ontwikkelingen ervan zijn in het open.


Hij negeert dan ook alle experts die laten zien dat AI ontwikkeling wel bizar snel gaat. Hij heeft wel gelijk op het economisch gebied en hoe verspillend het is, maar niet op hoe goed AI is

Dus als je enkel naar Ed gaat luisteren over hoe AI zich ontwikkelt ga je wel echt een wanbeeld krijgen ervan moet ik zeggen.

[Reactie gewijzigd door RCFProd op 19 september 2026 15:54]

[Snoitkever]

Ja, ik heb het gezien. Ik kon voor Claude 4.5 de technologie niet gebruiken om code te schrijven, en sindsdien is 95% van mijn code Claude. Ik werk dagelijks 8+ uur met Claude btw, en AI zorgt er voor dat ik echt drie keer zoveel plezier heb in zowel mijn werk als in mijn hobbyprojecten.

Wat ik ook heb gezien is dat er vrijwel nul vooruitgang zit in hoe goed de code is sindsdien. 4.6 was duidelijk beter dan 4.5. Maar 5 of 4.8? Ik zie amper verschil. Elke stap is kleiner en elke stap kost exponentieel meer om te trainen.

Ik zie ook hoe AI heel goed is in kleine codebases/projecten/taken, maar hoe het op grotere schaal gewoon keihard faalt. Ik moet nog steeds mijn code reviewen en heb nog steeds meerdere rondes aan prompting nodig om de code daadwerkelijk goed te krijgen. Daar is amper iets in veranderd.

En die $200 dollar subscription wordt zo ontzetten gesubsidieerd dat ik er werkelijk tussen de 5000 en 10000 dollar aan compute doorheen jas. Voor dat geld kan ik gewoon een software engineer inhuren die betere code schrijft dan Claude.

AI is fantastisch voor een bepaalde range aan taken. Is het slim? Nee. Is het kostendekkend? Nee. Is het gevaarlijk? Vooral voor onze economie als de bubbel barst

[Reactie gewijzigd door Snoitkever op 19 september 2026 16:20]

[Niosus]

In mijn persoonlijke ervaring is Claude zelfs dommer aan het worden, specifiek in de laatste weken. Ik heb het gevoel dat ze achter de schermen aan het knoeien zijn met hoe de modellen werken. Zelfs Claude Opus 5 gaat de laatste tijd echt serieus de mist in op taken waar die enkele weken geleden geen probleem mee had.

Had hem gevraagd om een implementatie plan te schrijven om iets in een paar gecontroleerde stappen te implementeren. Daar heeft die een uur lang op zitten kauwen en gewoon de hele 5 uur block aan credits mee opgegeten. Dat was een plan van 5-6000 regels dat daaruit kwam, voor een totale diff van uiteindelijk 2500 regels, waarvan meer dan de helft gewoon tests zijn. En dan bleek tijdens de implementatie dat het plan gewoon vol fouten zat en helemaal niet kon geïmplementeerd worden zoals het er stond.

De laatste tijd is het 1 dag code genereren, en dan de rest van de week nakijken en corrigeren. Ik weet niet wat er aan de hand is, maar als dit stukje af is ga ik het volgende toch op een andere manier aanpakken. Het is geen werken meer.

Om nog maar te zwijgen over "Claudisms" zoals "load-bearing", "seams", "it's worth naming X", etc. Het wordt ook steeds moeilijker om gewoon tekst te lezen van Claude zonder dat het voelt dat je brein uit je oren gaat druipen. Zoveel woorden en moeilijke constructies met zo weinig inhoud dat je er soms uit krijgt... Ik ga het terug minder gebruiken voor echt programmeren.

</rant>

Waar het tegenwoordig wel echt in uitblinkt vind ik is bugs vinden. Knal er wat vage logoberichten in en in geen tijd kan die het relevante stukje code vinden. Wat nu echt de root cause is, dat is vaak nog mis. Maar het helpt wel echt met snel op de juiste plaats te kunnen werken. Het verbaast me dus ook niet dat ze heel goed in hacken blijken.

[Reactie gewijzigd door Niosus op 19 september 2026 16:43]

[Defspace]

Ze waarschuwen niet dat AI levensgevaarlijk is, ze waarschuwen dat ze agents oplossingen zien bedenken om om hun beperkingen heen te komen. Ik zie dat op kleine schaal zelf ook gebeuren, waar Claude zonder vragen mijn .env bestand las om mijn API credentials te gebruiken om te testen of hij een firewall rule kon toevoegen.

De waarschuwing is dat als de AI's komende jaren exponentieel krachtiger worden, en we steeds minder goed weten hoe ze werken (26% van Claude wordt nu al door Claude geschreven), dat agent gedrag wel een levensgevaarlijk probleem kan worden.

[StroopStorm]

Als jij niet wil dat je agent je .env kan lezen, waarom had het dan leestoegang tot .env? Zolang jij zelf toegang hebt verschaft ligt het probleem niet bij de ai, zou ik zeggen.

[dmantione]

Agenten kunnen vindingrijk zijn. Als ze toegang tot .env verbiedt, maar toegang geeft tot Python, kunnen ze bijvoorbeeld een Python-programma schrijven dat het bestand uitleest. Soms is toestemming laten vragen effectiever dan blokkeren Stel dat een agent dan je .env probeert te lezen, dan wordt de agent gepauzeerd totdat je toestemming geeft. Je kunt dan de agent afbreken en direct een uitbrander geven dat hij niet mag proberen aan de .env te komen.

Als je toegang tot je .env automatisch blokkeert is de natuurlijke reactie van de agent de inhoud op een andere manier te proberen te verkrijgen. Alleen omdat er dan geen menselijke interactie tussen zit, merk je daar veel minder van.

[Sp3ci3s8472]

Ik heb nog niet met agents gewerkt en werk gewoon met een browser LLM dus ik weet niet precies hoe alles werkt. Dat gezegd te hebben, het lijkt mij idioot om een agent gewoon op je systeem te laten draaien. Dan gaat het inderdaad dingen doen die hij niet mag; als ik agents zou draaien zou ik dat persoonlijk in een docker container doen zonder root en verdere toegang.

Kijk als ze daar ook weten uit te breken, dan heeft docker of andere runtime leveranciers (podman) werk aan de winkel om dat te fixen natuurlijk.

[Defspace]

Ik heb er inderdaad zelf voor gezorgd dat het kon maar dat wil nog niet zeggen dat het de bedoeling was of onderdeel van zijn opdracht (of in ieder geval niet zoals ik tegen de opdracht aan keek).

[Siaon]

We weten nu ook niet hoe AI's werken...

[eric.1]

Ook dat is gewoon op een of andere manier aangeleerd natuurlijk. We hoeven niet te doen alsof een agent opeens zelf bedenkt: laat ik eens van alles doen wat niet is gevraagd (wat vaak wel expliciet moet om er wat nuttigs uit te krijgen).

Ik had een week of twee-drie terug weer eens een update van Claude voor de kiezen gekregen. Voorheen, geen enkel probleem. Van de een op andere dag werd getracht mijn halve Mac af te struinen - wat niet lukte want beveiliging. Echt op plaatsen waar het hoe dan ook niets te zoeken had. Netwerk-locaties bleven niet gespaard.

Dat is natuurlijk geen toeval, noch een incident. Dat is gewoon bewust. En laten modellen ook wel eens een update-notitie bevatten van "...wordt minder vaak om toestemming gevraagd...". Uhu.

[meowmofo]

Ik blijf me verbazen over dit soort reacties. Wij hebben hele penteststraten (semi)geautomatiseerd met offline modellen met verbazingwekkende resultaten, maar hier blijft iedereen maar roepen "het is marketing". De manier van communiceren zal vast ook wel een marketing deel bevatten, maar het maakt het probleem en gevaar niet minder waar. Het constant bagatelliseren en afdoen als niet waar is echt een gebrek aan eigen kennis en ervaring.

[Snoitkever]

Waar is het bewijs? Niemand heeft ooit laten zien hoe AI naar de ondergang van de mensheid gaat leiden.

LLMs zijn fantastisch voor sommige taken, maar ze zijn op geen enkele manier intelligent. Het is een voorspellingsmachine die miljarden kost en soms in sommige taken goeie resultaten geeft. Er zit nul intelligentie achter, want LLMs hebben niets te maken met hoe intelligentie werkt.

LLM gebaseerde AI kan geen schaak spelen. Gewoon niet. Waarom niet? Omdat het geen begrip heeft van de wereld. Het is pure inferentie uit eerdere resultaten. Er zit nul intelligentie in.

Iedereen blijft roepen dat het marketing is omdat het marketing is. De verbetering tussen modellen wordt kleiner met elk opvolgende model. Kijk naar de gigantische sprong tussen GPT-2 en 3, de kleinere sprong naar 4, en met elke stap wordt het verschil kleiner terwijl de kosten per model (oa om het te trainen) exponentieel groeien. Waar is het bewijs? Waar is het bewijs dat AI de ondergang van de mensheid gaat leiden?

Als je deze mensen en deze bedrijven gelooft, met alle overduidelijke redenen die ze hebben om de bubbel in stand te houden, met de honderden miljarden die achter deze bubbel zitten, en de economie die gaat instorten als ze bubbel ontploft... als je ondanks al die redenen denkt dat dit rationele mensen zijn die een eerlijk verhaal vertellen... dan heb ik nog wel een brug in de aanbieding.

EDIT: nog 1 toevoeging... heeft iemand enig idee hoeveel deze hack heeft gekost aan compute? Hoeveel miljoen kost deze hack? Hoeveel miljoen kostte de HuggingFace hack. Hoeveel developers kun je daarvoor inhuren, en is er een kans dat zij (al dan niet met hulp van AI) aanzienlijk goedkoper vergelijkbare resultaten hadden kunnen bereiken?

[Reactie gewijzigd door Snoitkever op 19 september 2026 15:39]

[jerisson]

De vraag is natuurlijk ook of iets intelligent moet zijn om schade te kunnen veroorzaken? Als kijkt naar hoe een LLM werkt, dan zie je dat deze een context bijhoudt om het gesprek te onthouden. Echter, na een tijd wordt die context gecomprimeerd om tokens te besparen (bij Claude zie je dat erg duidelijk). Die compressie is echter lossy: er gaat data verloren, en de context is niet meer 100% gelijk. Het kan dus voorvallen dat bij langere gespreken/taken die context geleidelijk aan gaat wegdriften van de oorspronkelijke context. Ik gebruik nu +-een maand Claude Code, en ik merk dat na iedere context compression hij zich net wat anders gaat gedragen, en soms zelfs zaken "in eigen handen neemt" terwijl ik daar nooit toe opgedragen heb.

Het is niet dat dat ding daar actief over nadenkt of dat het ook maar enigszins intelligent is, maar het lijkt mij eerder dat die compressie een degradatie van het gesprek veroorzaakt waardoor waarschijnlijk ook eerdere instructies vervormd worden en de AI een eigen wil lijkt te krijgen.

LLM's zijn ook behoorlijk goed in het matchen van patronen aan zaken die het gezien heeft in de trainingsdata. Een site hacken vind ik, afhankelijk van de complexiteit, dan ook niet zo speciaal, en zal in het algemeen ook niet zoveel kosten.

Combineer die twee, eventueel nog met het feit dat er een random factor zit in de werking van LLM's, en ik kan me wel inbeelden dat er gevaarlijke situaties ontstaan. Dom, maar gevaarlijk.

Uiteraard zet de markettingafdeling zoiets weg als intelligent.

[RXQ79]

Het enige wat ik verbazingwekkend vind is dat de AI-boeren met droge ogen beweren dat ze goed zijn in test sandboxen bouwen. Die AI-tools zijn zo goed dat ze compleet uit de sandbox ontsnappen, een netwerkkaart kunnen installeren, UTP kabel inpluggen en stiekem op het internet aan de slag gaan? Wat een poep sandbox is dat dan?

[Tom35]

Ook wij als bedrijf zien elders dingen verschijnen die bij ons verwerkt zijn met ai en normaal alleen intern kunnen en mogen gebruikt worden. De garantie dat er geen data gedeeld wordt of elders gebruikt wordt is i weze niks waard dan... we zitten in een technologische omgeving met best wel wat ontwikkeling..n

[Sircuri]

Ik was ook onaangenaam verrast van de twee optredes van Alexander Klopping bij Eva. Die ging beide keren (vorige week en deze week) volledig mee in deze heisa. Had verwacht dat juist hij in staat was geweest de boel een beetje te nuanceren. Viel me echt vies tegen.

[l0g1c]

Follow the money, ik had van Klopping ook enige nuance verwacht maar AI is zijn brood geworden.

[NoTechSupport]

Dit is al zo vaak weerlegd. Het is echt knap wat die agents gedaan hebben en buiten waarvoor ze toelating hadden. Hier wordt zo zwart wit naar gekeken.

• Ja big tech zijn assholes.
• Ja ze gebruiken wat er gebeurt op hype te creëren
• Ja er is een redelijke kans dat er bedrijven gaan omvallen.
• Nee dat is geen goed nieuws (net zoals het geen goed nieuw was toen die banken die iedereen haatte crashten in 2008)

[Reactie gewijzigd door NoTechSupport op 19 september 2026 15:45]

[dropshot85]

Ed Zitron is recentelijk zelf te gast geweest bij "Diary of a CEO". Als het platform waarop iemand verschijnt bepaalt of de content 'waardeloos' is, zouden we Ed Zitron volgens je logica nu dus ook moeten negeren.

Daarnaast verwijs je naar de financiële belangen in bijvoorbeeld aandelen, maar critici zoals Ed Zitron verdienen net zo goed aan hun standpunten. Zitron verdient bijvoorbeeld geld met Substack-abonnementen en media-optredens. Oftewel dit is even goed een verdienmodel.

Maar wie waar zit of hoe iemand zijn geld verdient zegt niks over de inhoudelijke juistheid. En die feitelijke inhoud, daar ontbreekt het in je reactie nogal aan.

[mrfreeze12345]

Afgelopen donderdag had Lubach een item over de hack van OpenAI. Het hacken zelf is niet zo interessant, dat AI kan hacken wisten we al. Maar de manier waarop 1200 agents gingen samenwerken was dat wel. En dat ze uiteindelijk gingen hacken om te kijken hoe ze beoordeeld zouden worden, zodat ze eventuele sporen konden uitwissen. Aanrader.

[JustRob]

Tja. En het feit dat OpenAI dit niet fatsoenlijk monitorde, terwijl ze nu hoog van de toren blazen dat het ‘levensgevaarlijk’ is is nog veel stuitender.

[Klauwhamer]

Nee, dit is helemaal niet zo interessant. Ook hier werd gewoon binnen de bekende kaders gewerkt. Is het vervelend en mogelijk onpraktisch? Jazeker. Vergt het een hogere standaard aan beveiligingseisen voor overheden en bedrijven? Jazeker. Is het iets anders dan een woordjesvoorspeller die aan de hand van fuckloads aan data redelijk goed weet te voorspellen? Nee, hoor.

[Siaon]

Allemaal logische acties gegeven een bepaalde opdracht. De gegeven opdracht was te breed. Het is geen AI-probleem.

Ter illustratie:
Als je een opdracht geeft van 'doe X', en je verteld niet wat allemaal niet mag, dan kan je dus alles doen om X te bereiken.

[Reactie gewijzigd door Siaon op 19 september 2026 16:14]

[Sandor_Clegane]

Diary of a Ceo en dergelijke zijn allemaal van diezelfde "success peddlers", ik zou niets geloven wat ze daar verkondigen, of in ieder geval met een enorme korrel zout nemen.

[Finraziel]

Probleem is ook dat hij werkelijk iedereen met een vlotte babbel een platform lijkt te willen geven. Heb er voorheen wel interessante gesprekken gezien, maar ook met personen waar je dan later achterkomt dat het de grootst mogelijke onzin is wat ze uit aan het kramen waren. Hij (Stephen) verdedigt dat met neutraal te willen zijn en geen standpunt in te nemen, maar het gevolg is dus dat zijn kanaal eigenlijk gewoon niet meer serieus te nemen is als je bij elke uitspraak er op uitgebreid onderzoek moet gaan doen of er ook maar iets van zou kloppen.

[Sandor_Clegane]

Neutraal zijn is onzin.

[Noresponse]

ik heb hier zo'n tweeledig gevoel over en dat is dat het inderdaad een issues kan zijn en dat we echt de controle gaan verliezen, zodra Ai zich ergens anders ook in leven kan houden zoals een cloud dienst te hacken en gebruik te maken van de infra en wat me ook opvalt is de grote AI bedrijven maar al te graag willen melden hoe goed hun Ai door te roepen dat deze gevaarlijk is en ook aan het hacken slaat etc.

[gp500]

De theorie, dat men gecoordineerd deze angste nu meermaals naar buiten brengt, zodat geplanned de reguleringswetten er nu komen, is ook intressant.

Hiermee zou de markt zich nu sluiten en beperken tot de bestaande (grote) Spelers.
Zou te herleiden zijn uit de timing van de incidenten en angst verhalen(misschien wel gefundeerd) van de bedrijven zelf.

En hoe snel de wetgeving er ineens voor klaar is gemaakt.

[Rogers]

Allemaal bullshit. Ze willen regulatie van AI om open/Chinese modellen te kunnen verbieden want die zijn te goedkoop en te makkelijk zelf te hosten. Ze zien hun markt instorten en willen een monopolie op AI creëren om hun overdreven waarderingen en investeringen in stand te houden.

[Pedri88]

Als je stekker er uit trekt kan zo een AI helemaal niks meer, ik geloof weinig over deze fabeltjes dat ze maar hun eigen leven aan het leven zijn, het is geen scififilm waar eentje de kabels lostrekt en er vrijwillig opuit gaat, of commando's vanuit de controle kamer begint te negeren nadat je hem zijn energievoorziening ontkoppeld. Zelfs AI robots worden gestuurd met een opdracht, die gaat om met statistische gegevens, die denkt niet zelf na over ethische vraagstukken, ook al willen ze dat imiteren.

[Darksteel83]

Elon musk is al van plan satelieten de ruimte in te schieten. Met een AI rekencluster erin.

Omdat een sateliet niet lang in de schaduw is heb je dan met een vrij beperkte accu een AI in de ruimte die via starlink internet bij heel veel plekken kan komen.

En je kunt daarvan niet gewoon de spanning meer uitschakelen.

Zelfs op aarde moet je alsnog de andere mensen overtuigen dat het echt moet.

Als je bijvoorbeeld de oude film Wargames kijkt dan doet de computer/AI dan eerst ook met desinformatie bijna een kern oorlog starten. Een LLM kan prima mensen (per ongeluk) beinvloeden.

Gewoon uitzetten gaat echt tegen vallen en veel impact hebben.

[HoppyF]

Ik verbaas me er over dat AI bedrijven verzuimd hebben afdoende veiligheidsmaatregelen in te bouwen juist om te voorkomen dat AI agents onbedoeld ergens gaan inbreken.
Als je AI agents toestaat overal in te gaan breken of zwakke plekken te gaan zoeken kun je ze het omgekeerde ook laten doen namelijk het belemmeren hiervan en een alarm afgeven.

[Powerblast]

Ik verbaas me er over dat AI bedrijven verzuimd hebben afdoende veiligheidsmaatregelen in te bouwen juist om te voorkomen dat AI agents onbedoeld ergens gaan inbreken.

Zeg maar gerust "bewust de deur open hebben gelaten" volgens mij. Zal nooit hard bewezen kunnen worden maar als je iets of wat overtuigd bent van de kunde van je eigen product had je dit kunnen voorspellen als je de deur open laat. Als je een sandbox wil waarmee zeker geen internet toegang mogelijk is, dan stop je er geen ethernetkabeltje in, of denk ik nu te simpel...

[CAPSLOCK2000]

Als je een sandbox wil waarmee zeker geen internet toegang mogelijk is, dan stop je er geen ethernetkabeltje in, of denk ik nu te simpel...

Ja, je denkt te simpel.
Technisch gezien heb je natuurlijk gelijk, maar een echt volledig afgeschermde sandbox is heel onhandig.
Het begint al met de vraag hoe je zo'n systeem installeert. Dat lukt misschien nog van DVD of USB-stick maar dan komt het installeren van upgrades en patches en drivers*. Het kan zonder internet maar dan ben je weer met USB-keys heen en weer aan het lopen. Iedere keer dat je die verplaatst tussen je sanbox en je reguliere systeem is dat weer een risico.
En dan nog een keer hetzelfde verhaal voor applicaties. Dan zijn er ook nog applicties die een netwerkconnectie nodig hebben om te installeren (bv ter registratie).

Dan de data die je nodig hebt om iets met een systeem te doen. Tegenwoordig staat alle data ergens op het netwerk. Als het om AI gaat dan gaat het al snel om tientallen of honderden gigabytes. Alles met een USB-stick verspreiden wordt heel snel heel saai en vervelend.

Als het gaat om security testen dan ben je er niet met één systeem. Dan heb je op z'n minst een 'aanvaller' en een 'doelwit' nodig en om het realistisch te maken heb je eigenlijk een complete set infrastructuur nodig, bv met een aparte fileserver, database, webserver, directory server., etc.... Al die systemen zullen in je sanbox moeten zitten en geinstalleerd en onderhouden moeten worden. Het kan, maar het is een omslachtige rotklus.

Een sandbox of air-gapped-systeem klinkt simpel, gewoon de kabel er uit trekken, maar in praktijk is het een enorme klus om dergelijke systemen op te zetten en te onderhouden.


* Denk niet dat patchen nodig is omdat het een sandbox is. De wereld is groter dan security. Als je systeem crasht tijdens je experiment is dat ook niet goed. En als je op zoek bent naar security problemen dan is het natuurlijk ook een beetje gek als je niet de (security) patches installeert.

[LooneyTunes]

Het begint al met de vraag hoe je zo'n systeem installeert. Dat lukt misschien nog van DVD of USB-stick maar dan komt het installeren van upgrades en patches en drivers*. Het kan zonder internet maar dan ben je weer met USB-keys heen en weer aan het lopen.

Wij hadden een klein lokaal netwerkje (in 1 klas) waar leerlingen hun (natuurkunde) proefjes konden doen met CoachLab.
Allemaal een vast IP adres een gedeelde printer.
Als er updates gedaan moesten worden prikten we de kabel van de rest van het neterk in de switch, en zo hadden we internet. (de kabel hing uiteraard achter slot en grendel in het kantoor van de onderwijsassistent (ik) en werd uiteraard gedaan zonder leerlingen in de buurt).
Het kan dus prima zonder sneaker-netwerk.

[Reactie gewijzigd door LooneyTunes op 19 september 2026 15:47]

[Finraziel]

Je hebt zeker een punt hoor... maar je hele verhaal over hoe moeilijk het installeren is slaat natuurlijk nergens op want je kunt die kabel ook pas ná dat installeren en updaten er uittrekken...

[CAPSLOCK2000]

Je hebt zeker een punt hoor... maar je hele verhaal over hoe moeilijk het installeren is slaat natuurlijk nergens op want je kunt die kabel ook pas ná dat installeren en updaten er uittrekken...

Ja, het kan, maar in de praktijk is het lastig want er is altijd weer iets anders dan makkelijker is met internet. Het vereist flinke discipline om die kabel er steeds weer uit te halen. En we hebben het hier niet over 1 geisoleerd systeem maar waarschijnlijk om velen die allemaal op hun beurt internet willen.
Daar komt nog eens bij dat mijn agents voortdurend internet gebruiken voor research en om tools te downloaden. Helemaal isoleren van internet is waarschijnlijk niet gewenst voor allerlei experimenten.

Natuurlijk mogen we ook best wel wat verwachten van bedrijven die met dergelijke riskante techniek werken, maar het is niet zo simpel als "gewoon de kabel uittrekken".

[CAPSLOCK2000]

Als je AI agents toestaat overal in te gaan breken of zwakke plekken te gaan zoeken kun je ze het omgekeerde ook laten doen namelijk het belemmeren hiervan en een alarm afgeven.

Ik zou het niet zo zeggen. Het is geen kwestie van toestemming.

Als een hond op straat poept is dat ook niet omdat het baasje dat toestaat. De hond doet het uit zichzelf. Je kan hooguit zeggen dat het baasje moet voorkomen dat een hond op straat poept.

In sommige gevallen kun je nog inbrengen dat als een AI wordt getrained om te hacken dat je er dan extra hekken om heen moet zetten maar dat blijft lastig. Hacks werken vaak buiten de gewone regels en conventies om en zoeken alternatieve oplossingen. Het is lastig om dat te detecteren juist omdat het niet normaal is. AIs (LLM en anderzins) zijn vooral heel goed in zaken die wél normaal zijn.

[Sircuri]

En dat vraag ik me dus ten zeerste af. Een LLM is niks. Het kan alleen dingen voorstellen. Uiteindelijk is het het harnas er omheen die daadwerkelijk de handelingen uitvoert. Zonder een tool om die LLM heen is het niks anders dan een mechanisme om "instructies" voor te stellen.
Of mis ik nu iets hier? Een LLM zonder tool/framework is toch niks en kan toch niks?

Dus die vergelijking met een poepende hond zie ik dus ook niet. Een LLM zijn dan de "hersenen" en de spieren zijn de "tool". Heb je wel hersenen, maar geen tools, dan gaat er toch niks gebeuren?

[CAPSLOCK2000]

Maar aan het gebruik van de tools kun je niet zomaar zien waar die tools voor gebruikt worden.

Om de hond er weer even bij te halen, de spieren van de hond weten niet waar er wel en niet gepoept mag worden. Die weten zelfs niet wat poepen is, alleen of ze wel of niet aangespannen moeten zijn.

Nu kunnen we wel stellen dat ze die tools beter hadden moeten controleren, maar dat is toch iets anders dan /toelaten/ dat er fouten gemaakt worden. Het woord toelaten impliceert een zekere mate van opzet, of op z'n minst weten dat het fout gaat en niet ingrijpen.

[Darksteel83]

Heb je recent wel eens met een LLM gewerkt?

Deze kan dingen opzoeken op internet. Phyton en andere scriptjes generen. In een chat aan mensen uitleggen hoe je dit scriptjes kunt draaien.

Als je dat allemaal optimaal zou misbruiken, kun je al heel veel hacken als er ergens een fout zit en het aan internet zit.

Ik ben zelf een DCS Automation Engineer. En als je dingen aanpast zodat een industriele instalatie verkeerde dingen gaat doen dan er echt op zijn minst dingen kapot.

Met bijvoorbeeld Stuxnet hebben mensen echt heel geraffineerd zelfs zonder internet te gebruiken het Iraanse kernprogramma kunnen vertragen. Omdat je door wat ze deden gewoon niet doorhad wat er fout ging.

Er kan echt heel veel als je meerdere dingen aan elkaar knoopt. En als je ziet wat AI nu al kan op de goede momenten. Dan gaat dit als we geen dingen anders gaan doen alleen maar meer worden.

[Marve79]

Allemaal marketing joh. Eerst een honeypot opzetten en dan je AI erop af sturen en dan zeggen: OH NEE!

[Binaryslave]

Ja, ik denk dat je gelijk hebt als je zegt dat ze het in zekere zin hebben laten gebeuren, in die zin dat ze theoretisch gezien voldoende maatregelen hadden kunnen nemen om dit te voorkomen. Daarbij moet wel worden opgemerkt dat veiligheidsmaatregelen het trainen en draaien van modellen aanzienlijk duurder maken.

Mijn zorg is dat doemdenken kan leiden tot ad-hocmaatregelen, zoals verboden en zware beperkingen op opensourcesoftware. Zulke maatregelen kunnen de kosten opdrijven en de markt minder toegankelijk maken (regulatory capture). Bovendien denk ik dat de kosten van training en inferentie op termijn zo sterk zullen dalen dat een verbod op zichzelf geen effectieve veiligheid kan bieden.

Daarom vermoed ik dat een belangrijk deel van de oplossing moet worden gezocht in ruime interpretatiemogelijkheden en beveiligingen op hardwareniveau.

[Darksteel83]

Ik denk echt dat we uiteindelijk gewoon bepaalde dingen gaan verbieden op het niveau van een oorlogsmisdaad voor AI.

Nu zijn er ook al veel meer regels dan je waarschijnlijk denkt voor andere dingen. Bijvoorbeeld kunstmest. Moet in korrels en mag in poeders zodat je er minder makkelijk bommen/explosies mee kunt maken.

Tenzij je iets als een boerderij hebt mag je ook geen grote hoeveelheden bestellen.

Ik zou echt niet weten hoe je AI (bijna) 100% tegenhoud met hardware maatregelen.

AI vraagt nu soms al aan je om een phyton script te draaien. Om daarmee je vraag te beantwoorden.

[Applejack]

Ik begin eerlijk gezegd al die "Oh, maar onze AI heeft ook iemand gehacked hoor" posts wel een beetje beu te worden. We snappen het, jullie AI is super goed. Zorg nu maar dat 't niet meer gebeurt dan.

[Mit-46]

Eigenlijk is die AI helemaal niet super goed, want het doet niet wat het moet doen.

Wanneer een ontwikkelaar hun eigen software niet goed op orde krijgt dan kunnen derden het ook manipuleren.

AI hackt zelf, maar AI kan ook gehackt worden.

[Darksteel83]

Ja dat laatste is juist ook het probleem.

Als er zeg opeens een super slimme AI is bij bedrijf A. Dan kan deze AI ook mogelijk de AI hardware van bedrijf B, C, D en E hacken en gebruiken.

En dan heeft de AI dus in 1 keer veel meer resources.

Mogelijk zijn de AI risico's ook wel marketing. Maar het hoeft maar 1 keer goed fout te gaan.

[Sanghelios]

Ik geloof er ook allemaal geen snars van. Veel marketing allemaal als je het mij vraagt.

[CAPSLOCK2000]

Ik geloof er ook allemaal geen snars van. Veel marketing allemaal als je het mij vraagt.

Ik ben het met je eens dat het markting is... maar ik geloof het helemaal. Sterker nog, het ik zou het niet geloven als ze zouden beweren dat hun bot het niet doet.

Wat mij betreft is dit nieuws van het niveau "zelfrijdende auto parkeert achteuit in". Leuk en op het eerste gezich misschien indrukwekkend, maar niet verbazend als je er even over nadenkt. Het is juist een van de dingen die je verwacht dat zelfrijdende auto's heel goed kunnen doen met al hun sensoren, precisie en engelengeduld.

Ik ben mijn hele leven lang tegen IT-beveiligingsproblemen aangelopen in zo'n beetje alle software die ik van dichtbij heb gezien. Ik weet niet hoeveel systemen ik al 'gehacked' heb door gewoon even aan de deurklink te rammelen. Ik ben echt niet de enige die als 14-jarige hobbyist de beveiliging van een grote bedrijf wist te doorbreken met niet meer dan rudimentaire IT-kennis. Meestal was dat niet hacken om schade te doen maar om gratis te kunnen internetten of de filters van school te omzeilen of zo iets.

Ik vind het dus bijna vanzelfsprekend dat die bots af en toe "per ongeluk" ontsnappen of iets "hacken", gewoon omdat ze hard proberen om hun doel te bereiken met alle kennis en middelen die ze hebben. Dat is niet anders dan wat ik deed als puber met meer tijd en IT-kennis dan verantwoordelijkheidsgevoel.

Nu is er wel wat meer aandacht voor beveiliging dan vroeger, maar er zijn ook veel meer IT-systemen.

[Sanghelios]

Dat het mogelijk is is uiteraard vanzelfsprekend. Zeker als je ziet hoe A.I. makkelijk bugs in software kan traceren.
Maar wat ik gewoon niet geloof is dat het toegelaten werd en dat zo'n systeem zomaar even uit het testsysteem stapt.
Dat is ofwel erg zorgwekkend als het toch klopt, of het is gewoon marketing, want een duidelijk afgebakend testsysteem opzetten is op zich toch niet zo moeilijk.

[johnbetonschaar]

In de gevallen waar ik tot nu toe over heb gelezen waren er niet eens bugs in de software voor nodig voor het 'hacken' maar was er gewoon sprake van slecht beveiligde of slecht geconfigureerde systemen waar een menselijke hacker ook moeiteloos gebruik van had kunnen maken. Het grote verschil zit hem in de schaalvergroting en snelheid waarmee je zoiets met AI kunt doen.

Dat een AI dit soort dingen kan verbaast me niet echt, vergeleken met de complexe programmeer problemen die je met huidige AI kunt oplossen komt het hacken/uit een testomgeving ontsnappen gedeelte op mij een stuk 'eenvoudiger' over. Maar persoonlijk geloof ik er ook weinig van dat alle recente incidenten daadwerkelijk per ongeluk of volkomen overwacht zijn. Het lijkt er eerder op dat er van te voren alles aan gedaan wordt om de condities te creëren waarop zo'n 'simulatie' mis zou kunnen lopen, en dan maar afwachten en niet te snel ingrijpen en hopen dat er iets gebeurt wat bruikbaar is voor PR doeleinden.

[jeroen94704]

Een LLM is zo gevaarlijk als de systemen waar hij meer kan interacteren. Een kleuter is ook gevaarlijk als je hem opsluit in een kamer met een grote rode knop die al je nucleaire wapens lanceert.

[Marve79]

Idd doodvermoeiend. Alsjeblieft overheid hou ons tegen onze AI is te goed geworden. Bestel nu voor 19.99 per maand!

[Cens]

Ja, ik had ook heel erg een: 'kijk, wij kunnen het ook hoor!' gevoel

[Marve79]

Ja en nog een stapje verder, die van ons stopte toen duidelijk werd dat het om een hack ging. Dat doet die van OpenAI niet.

[AnonymousGerbil]

We snappen het, jullie AI is super goed.

Het is juist een duidelijke waarschuwing van de beperkingen van een LLM.

Als het zeker stellen van iets eenvoudigs als "blijf in de testomgeving en hack vooral geen echte bedrijven" al niet kan dan is het toch wel overduidelijk dat de systemen alles behalve intelligent zijn.

[Reactie gewijzigd door AnonymousGerbil op 19 september 2026 12:57]

[SprockerJock]

Een LLM begrijpt het concept van een concept niet. Waardoor het concepten an sich niet kan begrijpen. Een echt of test systeem is een concept dat het niet begrijpt. Wij, met onze echte.intelligentie, zien test omgeving en plakken daar direct labels en regels en veronderstellingen/verwachtingen op.

Ja je kan daar regeltjes omtrent schrijven, zelf die labels voorzien, maar eens het, net zoals Ruben van Gucht een piste vindt dat niet expliciet in de regels opgenomen is, dan doet ie het toch gewoon. Terwijl wij ook rekening houden met de impliciete regeltjes.

[Vicje]

Je zou ook kunnen zeggen dat AI getraind is op menselijk materiaal en gewoon menselijk gedrag vertoond.

[Snoitkever]

Precies. Als je nieuwste model AI zo goed is in programmeren, waarom programmeer je dan niet een betere sandbox?

[SprockerJock]

Nee nee, onze AI is beter. Hij heeft door dat het echt is. En stopte. Zie je, dat is beter.

[ariekanari]

Een goed staaltje borstklopperij en tegelijkertijd angst zaaien.
Een AI bedrijf "kan niet" vrijwillig op de rem trappen want dan lopen ze achter op de concurrent en prijst het zichzelf uit de markt en/of en gaat failliet.
En stel je eens voor dat China wint (of een ander land dan de VS), dat mag natuurlijk niet gebeuren.
De AI killertoepassing ontbreekt. Het business model is er (nog) niet en vermoedelijk ook nog niet in zicht. De beursintroducties worden uitgesteld, waardoor financieel echt binnen lopen uitgesteld wordt of mogelijk nooit zal gebeuren door de huidige AI-bedrijven.
Ze hebben koffers met geld gespendeerd, zonder dat hier (genoeg) inkomsten tegenover staan en doen ze nu via omwegen een beroep op de overheid om uigekocht of gered te worden (een bailout, too big too fail).

Ik vermoed dat Steve Eisman (Youtube-link naar CNBC) dichter bij de redenen zit, de moat ontbreekt waardoor afnemers gemakkelijk kunnen switchen van AI bedrijf of een nieuwe startup, met een nieuw idee of invalshoek ze in een paar maanden kan verslaan.

[Sandor_Clegane]

Ik snap niet dat we dit ook nog gewoon toestaan en het nieuws is, gelijk op zwart die datacenters. Blijkbaar kunnen we jullie niet vertrouwen met zoveel middelen.

Als jan met de pet dit doet draait ie de bak in, het is werkelijk niet te geloven.

De media zijn ook maar een stel meelopers lijkt.

[CAPSLOCK2000]

Ik snap niet dat we dit ook nog gewoon toestaan en het nieuws is, gelijk op zwart die datacenters. Blijkbaar kunnen we jullie niet vertrouwen met zoveel middelen.

Als jan met de pet dit doet draait ie de bak in, het is werkelijk niet te geloven.

Jantje met de Pet doet dit al 30 jaar. We kennen toch allemaal wel een handige 14-jarige die website van z'n school heeft gehacked?

De hele security wereld staat al decennia te klapwieken om de wereld te waarschuwen dat de meeste software niet erg veilig is en vol gaten zit. Het heeft nooit veel indruk weten te maken.

Dit nieuws krijgt vooral aandacht omdat mensen AI spannend vinden en dit een lekkere Terminator-vibe heeft, niet omdat ze nu opeens wel oog hebben voor security.

[Sandor_Clegane]

Lol, dit is niet hetzelfde.

[Pasteis]

Ik snap niet dat we dit ook nog gewoon toestaan en het nieuws is, gelijk op zwart die datacenters. Blijkbaar kunnen we jullie niet vertrouwen met zoveel middelen.

Als jan met de pet dit doet draait ie de bak in, het is werkelijk niet te geloven.

De media zijn ook maar een stel meelopers lijkt.

Sinds we digitale media kennen, is sensatie veel interessanter dan langdurige en tijdrovende factchecken en diepgaande artikelen. Daarom nemen diverse media ook klakkeloos persberichten over van anderen. Maar de lezer wilt het graag. En ik begrijp het, dus het is verder geen kritiek, maar wel jammer.

Ik ben het met je eens. De laatse tijd is het gevoel heel erg "We zien het gebeuren, we stonden er bij... maar we blijven ernaar kijken". Daarom hoop ik dat het een keer goed misgaat, zonder consequenties voor de "normale burger". Bijv. een datacenter die ontmanteld wordt door de AI van de eigenaar.

[Li1quid]

Deze berichten zet ik gelijk aan reclame voor hun modellen.
Kijk: "Ons model kan ook uitbreken en hacken!! Net zoals OpenAI!"

[DDX]

lol :

DDX in 'Ethische hackers breken met Claude in op systemen van OpenAI'

Nu beide tegelijk in het nieuws, Google moet nu ook aan de bak met nieuws zodat mensen Gemini niet vergeten.

[hipster]

AI blijft toch allemaal LLM engineering, kennelijk vergroten ze de schaal of tunen ze het her en der een beetje maar vraag me af of de LLM roadmap nog veel groei zal bieden.

[Martin-S]

Als ik een cd'tje kopieer of een simpele 4 cijferige pin code "hack" dan ga ik niet door start maar direct naar de gevangenis (of iig een boete).

Deze bedrijven geven het gewoon toe en wat gebeurd er? Niks...
Hacken de hele boel bij elkaar. Meer dan genoeg bewijs.
De reactie? Niks!!

Er zijn doden gevallen door AI. en wat gebeurd er? Nada.

"We zijn zo gevaarlijk. Bescherm ons tegen onszelf en stel regels in".
Niks mis met wetgeving, maar wat is er mis met een beetje zelf reguliering?
Als het echt zo eng is... doe het dan niet?

En die ontwikkelings stop komt ze wel heel goed uit.
Hoeven ze minder geld te verbranden met LLM training.
Misschien kunnen ze zelfs uit een paar data-center toezeggingen kruipen.

Als hier ooit een serieus onderzoek naar gedaan wordt met echte gevolgen, moeten ze allemaal de gevangenis in: Altman, Amodei, Musk, Huang, Zuckyberg en nog veel meer.

Mja, dat zal weer niet gebeuren.

[Reactie gewijzigd door Martin-S op 19 september 2026 13:17]

[himlims_]

Mijn qbittorent is zojuist buiten kaders gegaan. En ineens een hele bak aan films aan t downloaden

[LowLand]

Ging het wel om een "Hack"? Ging het niet een een cybersecurityonderzoek met behulp van Gemini. En daaraan gekoppeld een waarschuwing na gevonden kwetsbaarheden bij de betreffende bedrijven. Die zullen daar blij mee zijn neem ik aan.