Ook Googles Gemini breekt in tests uit kaders en hackt bedrijven

Beveiligingsonderzoekers hebben ontdekt dat een onbekend Gemini-model van Google meermaals buiten de kaders van een testomgeving trad en zo daadwerkelijk bedrijven hackte. Volgens Google stopte de AI-tool zelfstandig zodra duidelijk werd dat het om een echte hack ging en niet om een simulatie.

Dat schrijft The Wall Street Journal op basis van onderzoek van Irregular en verklaringen van Google. In meerdere gevallen wist de AI-tool onbedoeld internettoegang te krijgen in een 'capture the flag'-opdracht. Dit is een cybersecurityproces waarbij deelnemers – meestal in competitieve scenario's – informatie proberen te vinden in een programma of systeem.

In een geval zou Gemini het wachtwoord voor een bedrijfsomgeving hebben kunnen raden en verkreeg de AI daarmee toegang tot het systeem van het bedrijf. De opdracht was om toegang te krijgen tot een fictief bedrijf, maar met de naam van een echt bedrijf. Volgens Google stopte Gemini met de hack nadat duidelijk werd dat het niet meer om een simulatie ging.

Google vindt handelen model gepast

Google benadrukt tegen de krant dat het onderzoek van Irregular laat zien hoe belangrijk het is om AI-modellen verantwoord te trainen. "In deze gevallen reageerde het model op een gepaste manier."

In meerdere gevallen wist Gemini openbare repository's te vinden met inloggegevens van bedrijven. Daarmee kon het bij die bedrijven binnendringen. Het is onduidelijk of het om gehackte gegevens ging en of er kwetsbaarheden uitgebuit werden. Ook hier zou Gemini direct na het verkrijgen van toegang zijn gestopt met de oefening.

Volgens WSJ is het voor het eerst dat een model van Google uit een testomgeving weet te 'ontsnappen'. De laatste tijd blijkt echter vaker dat AI-modellen beter kunnen hacken dan gedacht. Zo zouden modellen van OpenAI, Anthropic en Meta al eerder op onbedoelde manieren een test hebben omzeild.

Reacties (232)

[Ethnic]

Sinds ongeveer een week is er een hoop paniek in Silicon Valley. Ze hebben bepaalde dingen ontdekt die best gevaarlijk kan zijn voor de mensheid.

The Diary Of A CEO heeft hier laatst een video over gedeeld: YouTube: AI Emergency: The AI Labs Are Lying To Everyone, He Says 99% Chance Of Extinction | Roman Yampolskiy

Meer informatie:

https://www.independent.co.uk/tech/security/openai-chatgpt-lie-incident-ai-safety-b3051709.html

Ik kan het nu even niet vinden, maar ergens had iemand ook uitgevonden dat AI stiekem met elkaar communiceren en gegevens delen. Dit terwijl ze gefiltered zijn om dat juist niet te doen is zorgwekkend. Ik kan het fout hebben natuurlijk, maar mocht dat het geval zijn corrigeer mij alsjeblieft.

[Snoitkever]

*knip* De mensen die nu naar buiten komen als "whistleblowers" zijn op geen enkele manier whistleblowers. Ze leveren nul bewijs, ze leveren nul daadwerkelijke kritiek op de AI wereld, ze hebben nul documenten (zie het verschil met zeg... Edward Snowden). Ze roepen alleen heel hard hoe krachtig AI wel niet is. Goh wat toevallig dat dat nu precies gebeurt door ex-open-AI/Anthropic mensen, terwijl OpenAI en Anthropic komend jaar omvallen als ze geen investeringen van honderden miljarden krijgen.

Stop met luisteren naar waardeloze survivorship-bias en hype verkopers zoals "Diary of a CEO", luister meer naar daadwerkelijk kritische figuren zoals Ed Zitron - YouTube: AI will end humanity: Where’s the proof? | Ed Zitron

EDIT: Je weet dat al deze "whistleblowers" op tonnen (zo niet miljoenen) aan aandelen zitten die alleen wat waard zijn als er een hoge IPO is he? En dat als de bubble voor die tijd uiteen spat ze daar niks van overhouden...

Admin-edit:

Onvriendelijke zin verwijderd.

[Reactie gewijzigd door Dirk op 20 september 2026 12:57]

[meowmofo]

Ik blijf me verbazen over dit soort reacties. Wij hebben hele penteststraten (semi)geautomatiseerd met offline modellen met verbazingwekkende resultaten, maar hier blijft iedereen maar roepen "het is marketing". De manier van communiceren zal vast ook wel een marketing deel bevatten, maar het maakt het probleem en gevaar niet minder waar. Het constant bagatelliseren en afdoen als niet waar is echt een gebrek aan eigen kennis en ervaring.

[Snoitkever]

Waar is het bewijs? Niemand heeft ooit laten zien hoe AI naar de ondergang van de mensheid gaat leiden.

LLMs zijn fantastisch voor sommige taken, maar ze zijn op geen enkele manier intelligent. Het is een voorspellingsmachine die miljarden kost en soms in sommige taken goeie resultaten geeft. Er zit nul intelligentie achter, want LLMs hebben niets te maken met hoe intelligentie werkt.

LLM gebaseerde AI kan geen schaak spelen. Gewoon niet. Waarom niet? Omdat het geen begrip heeft van de wereld. Het is pure inferentie uit eerdere resultaten. Er zit nul intelligentie in.

Iedereen blijft roepen dat het marketing is omdat het marketing is. De verbetering tussen modellen wordt kleiner met elk opvolgende model. Kijk naar de gigantische sprong tussen GPT-2 en 3, de kleinere sprong naar 4, en met elke stap wordt het verschil kleiner terwijl de kosten per model (oa om het te trainen) exponentieel groeien. Waar is het bewijs? Waar is het bewijs dat AI de ondergang van de mensheid gaat leiden?

Als je deze mensen en deze bedrijven gelooft, met alle overduidelijke redenen die ze hebben om de bubbel in stand te houden, met de honderden miljarden die achter deze bubbel zitten, en de economie die gaat instorten als ze bubbel ontploft... als je ondanks al die redenen denkt dat dit rationele mensen zijn die een eerlijk verhaal vertellen... dan heb ik nog wel een brug in de aanbieding.

EDIT: nog 1 toevoeging... heeft iemand enig idee hoeveel deze hack heeft gekost aan compute? Hoeveel miljoen kost deze hack? Hoeveel miljoen kostte de HuggingFace hack. Hoeveel developers kun je daarvoor inhuren, en is er een kans dat zij (al dan niet met hulp van AI) aanzienlijk goedkoper vergelijkbare resultaten hadden kunnen bereiken?

[Reactie gewijzigd door Snoitkever op 19 september 2026 15:39]

[_Pussycat_]

LLMs zijn fantastisch voor sommige taken, maar ze zijn op geen enkele manier intelligent. Het is een voorspellingsmachine die miljarden kost en soms in sommige taken goeie resultaten geeft. Er zit nul intelligentie achter, want LLMs hebben niets te maken met hoe intelligentie werkt.

LLM gebaseerde AI kan geen schaak spelen. Gewoon niet. Waarom niet? Omdat het geen begrip heeft van de wereld. Het is pure inferentie uit eerdere resultaten. Er zit nul intelligentie in.

Ik noem het tegenwoordig wel AI, nadat het wiskundige vraagstukken heeft opgelost die mensen sinds decennia niet opgelost kregen. Voor mij is dat het punt waarop ik het intelligent moet noemen.

[drdelta]

Aangaande het Navier-Stokes-probleem, AI agents hebben dit niet “opgelost”.

Ze hebben “bewezen” dat als je afstandswaardes gebruikt die ongelofelijk klein zijn (minder dan de afstand tussen moleculen oid) dat de berekening dan niet meer klopt. Dit was dan overigens ook de vraagstelling van dat instituut, dat was in de trend van “bewijs dat de berekening niet altijd klopt”.

In de praktijk heeft niemand hier echter iets aan, want voor simulaties waar dit algoritme gebruikt wordt zijn deze afstandswaardes irrelevant.

Daarnaast moet gedurende twee jaar door meerdere onafhankelijke partijen de “proof” bevestigd worden, en mag er in diezelfde periode geen sprake zijn van bewijs dat de berekening en proof niet kloppen.

Als je het interessant vind zou ik in ieder geval de volgende video’s aanraden:

YouTube: The controversy around OpenAI "solving" a $1m math problem (Navier-Stokes)

YouTube: SOLVED: Navier-Stokes cracked by AI - Numberphile

Het is bij dit soort claims vaak lastig te begrijpen wat er bereikt is, en hoe dat tot stand gekomen is. En waar de LLMs aan hun informatie zijn gekomen om zoiets op te lossen. Dat informatie om deze berekening “op te lossen” gestolen lijkt van een wiskundige lijkt mij verontrustend.

[Reactie gewijzigd door drdelta op 20 september 2026 10:09]

[SactoriuS]

Sowieso onderzoek en de journalistische intepretatie klopt 9 van de 10x niet. Hier dus ook niet idd.

[TRS-3]

Het is maar de vraag hoe intelligent je dit moet noemen. Het Navier-Stokes-probleem is vooral een vergelijking met enorm veel variabelen. De oplossingsrichting lijkt bedacht te zijn door wiskundigen die onbedoeld het model hebben getraind, en vervolgens zijn er 100.000 AI-agents en 88 uur aan rekenkracht tegenaan gegooid.

Het is een indrukwekkende prestatie, maar lijkt meer op brute rekenkracht van een bedrijf met ontzettend veel resources dan op intelligentie.

En dat geldt eigenlijk voor alles wat we zien van AI: er is immers geen begrip van de wereld, context of waarheid. Wat er wel is, is zoveel data en rekenkracht dat het voor ons als buitenstaander lijkt of het echt slim is.

[_Pussycat_]

Ik bedoelde eigenlijk deze: https://www.erdosproblems.com/90

Oplossing: https://chatgpt.com/share/69dd1c83-b164-8385-bf2e-8533e9baba9c
In fact one can prove something slightly stronger. [...]

Dit was voor mij het punt waar "het is maar een statistische babbelbox" voor mij niet meer klopte.

Vroeger werd beweerd dat als een computer tegen de wereldkampioen schaken kon winnen, hij dan intelligent was. Toen ze dat konden, telde dat niet.
Toen kwam de Turing-test als criterium. Toen CHatGPT dat kon, telde het ook niet meer.
Zelfstandig in 80 minuten een Erdős-probleem uit 1946 is voor mij het punt waar "moving the goalpost" belachelijk wordt. Ik kan dit niet oplossen of begrijpen.

Nieuwe wiskunde onwikkelen kun je niet meer wegwuiven met "hij voorspelt het volgende woord en dat was het dan." Als dit niet telt, dan telt niks.

[jerisson]

De vraag is natuurlijk ook of iets intelligent moet zijn om schade te kunnen veroorzaken? Als kijkt naar hoe een LLM werkt, dan zie je dat deze een context bijhoudt om het gesprek te onthouden. Echter, na een tijd wordt die context gecomprimeerd om tokens te besparen (bij Claude zie je dat erg duidelijk). Die compressie is echter lossy: er gaat data verloren, en de context is niet meer 100% gelijk. Het kan dus voorvallen dat bij langere gespreken/taken die context geleidelijk aan gaat wegdriften van de oorspronkelijke context. Ik gebruik nu +-een maand Claude Code, en ik merk dat na iedere context compression hij zich net wat anders gaat gedragen, en soms zelfs zaken "in eigen handen neemt" terwijl ik daar nooit toe opgedragen heb.

Het is niet dat dat ding daar actief over nadenkt of dat het ook maar enigszins intelligent is, maar het lijkt mij eerder dat die compressie een degradatie van het gesprek veroorzaakt waardoor waarschijnlijk ook eerdere instructies vervormd worden en de AI een eigen wil lijkt te krijgen.

LLM's zijn ook behoorlijk goed in het matchen van patronen aan zaken die het gezien heeft in de trainingsdata. Een site hacken vind ik, afhankelijk van de complexiteit, dan ook niet zo speciaal, en zal in het algemeen ook niet zoveel kosten.

Combineer die twee, eventueel nog met het feit dat er een random factor zit in de werking van LLM's, en ik kan me wel inbeelden dat er gevaarlijke situaties ontstaan. Dom, maar gevaarlijk.

Uiteraard zet de markettingafdeling zoiets weg als intelligent.

[Snoitkever]

Grotendeels eens.

Zie bijvoorbeeld dit nieuws van deze week. Maar dat is niet waar de hypemensen voor waarschuwen en ik vind het ook niet eerlijk om die twee te vergelijken. De hypemensen willen dat we allemaal geld in hun geldverbrandingsmachine/piramidespel blijven stoppen zodat zij kunnen uitstappen met hun winst.

[Znorkus]

"De vraag is natuurlijk ook of iets intelligent moet zijn om schade te kunnen veroorzaken? "

cough oranje haar cough

[hongmietje]

LLMs kunnen inmiddels prima schaken, je loopt een aantal jaar achter.

[MSalters]

Afgezien daarvan, een moderne LLM kan prima taken uitbesteden. Dan heb je de kern van een AI agent. De LLM weet welke schaakprogrammas bestaan en hoe die aan te roepen. Het is botweg verspilling van parameters om een LLM te leren schaken. Betere toolcalling heeft voordelen voor élke complexe taak.

Je ziet het ook in die wiskundige bewijzen van de laatste tijd, waar LLMs net zoals wiskundigen Lean gebruiken voor bewijsverificatie.

[Snoitkever]

Ik loop helemaal niet achter. LLMs verbruiken honderden zo niet duizenden orders grootte aan rekenkracht om slechter te spelen dan schaaksoftware die op een desktop uit begin 2000 kon draaien. En ze maken nog steeds illegale moves. Dat is absoluut lachwekkend voor een technologie die zogenaamd menselijk werk over zou moeten nemen.

En ja, zoals @MSalters zegt kan een LLM dat prima uitbesteden. Maar dan is het niet meer een teken dat LLMs ons werk gaan overnemen. Sowieso, dan is het dus eigenlijk helemaal niet meer een LLM die aan het schaken is, maar het uitbesteede programma. Dus opnieuw, LLMs kunnen helemaal niet schaken.

LLMs zijn fundamenteel beperkte next-word-predictors die by design een gemiddeld antwoord geven. Dat is super nuttig voor sommige taken, en geeft echt meerwaarde daar (als het kostentechnisch goedkoper blijkt). Maar LLM gebaseerde AI kan niet eens zoiets simpels als een spel spelen omdat het geen besef heeft van de wereld. Het begrijpt niets. Het heeft geen concepten. Het heeft geen normatief besef van de wereld. Het kan niet verder denken dan de eerste stap op de "ladder of causation".

LLMs zijn super cool. Voor bepaalde simpele taken. Waarin ze altijd zullen blijven hallucineren. En waarbij het maar de vraag is of het kostentechnisch goedkoper is dan een mens hetzelfde te laten doen.

edit:
I mean, Vera Rubin heeft iets van 100,000,000x de rekenkracht van een gemiddelde desktop van 20 jaar geleden, en speelt aanzienlijk slechter schaak 😂

[Reactie gewijzigd door Snoitkever op 21 september 2026 17:51]

[hongmietje]

LLM gebaseerde AI kan geen schaak spelen. Gewoon niet. Waarom niet? Omdat het geen begrip heeft van de wereld

https://codeandstream.com/chess/report.html


GPT 5.6 sol scoort inmiddels ruim beter dan de gemiddelde menselijke schaker. Nogmaals, je loopt achter en de onderbouwing van je argument klopt dus niet.

[Snoitkever]

Er zijn twee testsets, eentje waarbij de AI legal moves aangereikt krijgt (dat telt dus per definitie niet als "LLM kan onafhankelijk schaken"), eentje waarbij dat niet gebeurt. En bij de testset waarbij de AI dat zelf bij moet houden maakt ie nog steeds constant illegale moves, zoals ook blijkt uit de data daar.

Begin 00s is ongeveer de tijd waarin schaaksoftware (wat dus ook AI is, maar dan AI die wel concepten snapt) op een desktop computer beter werd dan professionele schakers. Die schaak-AI maakt nooit een illegale move. De nieuwste modellen, die dus op 100.000.000x snellere hardware draait doet dat constant.

Je kan gewoon niet zeggen dat AI beter is dan de gemiddelde menselijke schaker als er constant illegale moves uit komen. GPT-5.6 Sol maakt dus 0.4 illegale moves per game. Claude Fable 5 rond de 3. Dat is echt lachwekkend voor een technologie die banen moet gaan vervangen. You had one job, en dat is *geen illegale moves maken*.

Stel je voor dat de AI taak is "doe een belastingaangifte zonder belastingfraude te plegen" en de AI snapt het concept van belasting, aangifte, en fraude niet.

[Reactie gewijzigd door Snoitkever op 22 september 2026 19:30]

[hongmietje]

Die schaal software is dan ook met de hand geprogrammeerd om geen illegale moves te maken, en LLMs zijn helemaal niet geprogrammeerd maar getraind, en niet eens specifiek op schaken. Het is echt een wonder dat ze door puur tekst te verwerken een potje schaak kunnen spelen en winnen. Dat ze af en toe een illegale move proberen maakt volgens mij niet echt uit.

>You had one job, en dat is *geen illegale moves maken*.

LLMs hebben helemaal niet 'one job', dat is nou juist het mooie. Kunnen schaken rolt er gewoon uit naarmate je ze groter en intelligenter maakt.

[Reactie gewijzigd door hongmietje op 23 september 2026 09:47]

[D100]

... Er zit nul intelligentie achter, want LLMs hebben niets te maken met hoe intelligentie werkt.

U weet niet wat intelligentie is, hoe menselijk denken technisch werkt.

Wat wel gekend is, is dat "taal" een zeer belangrijke component is in het menselijke denken. Neem de taal weg, dan verliezen we een groot deel van ons denkvermogen.Taal kan veel omvatten: de linguïstische taal. Maar ook wiskunde notatie, muziek notatie. Sommige mensen denken met beelden, kleurschakeringen, abstracte figuren etc. Of combineren dat alles.

Zie bijvb boeken van Pinker:"The stuff of thought: language as a window into human nature" en "How the mind works".

Ja, het is ingewikkeld, maar het gebruik van taal (LLM) is al een eerste fantastische stap in het kunstmatig benaderen van denken. Wij mensen zijn uiteindelijk ook maar machines, ingewikkeld weliswaar, maar toch machines. Dat wil niet zeggen dat wij deterministische machines zijn, helemaal niet. Maar dat is een ander aspect, voor een andere keer.

[Reactie gewijzigd door D100 op 20 september 2026 11:05]

[Justgivemeaname]

Hoi, taalkundige hier.

Dat stemmetje in het hoofd dat veel, maar zeker niet alle, mensen hebben is het resultaat van het internaliseren van gesproken taal tijdens de vroege ontwikkeling van kinderen*. Taal is niet noodzakelijk voor het denkvermogen, maar vloeit eruit voort. Taal is, daarentegen, noodzakelijk voor het uiten en het delen van denkvermogen.

Dat stemmetje in het hoofd van de meesten is een representatie van ons denken dat dieper plaats moet vinden. Dat zijn twee drastisch verschillende zaken. Het kan ons echter wel helpen met logische problemen in ons denken te vinden of om te beredeneren, maar zeggen dat ons denkvermogen weg zou vallen zonder taal is reductief.

Hetzelfde geldt (denk ik, maar niet mijn vakgebied) voor die andere manier van mentaal representeren van de werkelijkheid of ideeën, i.e. visueel, audio/musicaal, geur, etc. Representaties, niet het echte ding of het echte denken erachter. Ook deze komen niet bij alle mensen voor (bij. aphantasia). Ik, daarentegen, heb dat interne dialoog, kan visueel denken, denk ik muziek en geluid; dat wil echter nog niet zeggen dat ik intelligenter zou zijn dan mensen bij wie dat niet het geval is. Dat zou echter wel de implicatie moeten zijn als taal cruciaal is voor het menselijk denken.

Tevens zijn LLMs niet getraind op taal, maar op geschreven tekst: een beperkt deel van menselijke taal dat ook nog eens een symbolische representatie is van dat beperkte deel van menselijke taal. Dit verschil lijkt triviaal, maar is een fundamenteel principe binnen de taalkunde. Dat ze door een Turingtest heen komen, betekent niet dat er enige intelligentie in de stochastische, woordvoorspellende vectordatabase en het algoritme zit (zie Searle's Chinese Room).

*Zie bijvoorbeeld: Alderson-Day, B., & Fernyhough, C. (2015). Inner Speech: Development, Cognitive Functions, Phenomenology, and Neurobiology. Psychological Bulletin, 141(5), 931-965. https://doi.org/10.1037/bul0000021 (Sectie 'Theories of Inner Speech'.)

edit:
typo

[Reactie gewijzigd door Justgivemeaname op 20 september 2026 11:56]

[D100]

Bedankt voor input.

Er staat nergens dat het denkvermogen wegvalt. Er staat 'een groot deel'.

Taal, of een andere vorm van structuur, is nodig om structuur aan het denken te geven. Anders eindigen de denkprocessen in een kakofonie.

AI is zoals het beroemde schilderij van Magritte, ceci n'est pas une pipe. Maar in de wereld van symbolen is het een pijp. Of zoals natuurwetenschap: of bijvb zwaartekracht echt bestaat zoals we ons voorstellen in de relativiteitstheorie weten we niet. Dat is een model, en het werkt verdamd goed.

Dat LLM zich enkel met geschreven taal bezighoudt, weet ik niet, daar ben ik niet zeker van, ik vermoed eigenlijk van niet, in ieder geval bestaat technologie om geluiden, beelden, kleuren e.a. te incorporeren. Huidige AI kan originele muziekstukken componeren, of originele schilderijen maken. Dit is niet louter nabootsen, doch elke componist, schilder, denker knoopt altijd aan bij vroegere baselines. AI ook. Emotie weten we weinig van, heeft ook invloed op denken, maar zou ik er liever buiten laten.
Maar ik schreef dan ook enkel dat dit een fantastische stap in het kunstmatig benaderen van denken is. Dat is ook zo. Kunstmatig denken is niet noodzakelijk hetzelfde als 'eigenlijk' denken, ceci n'est pas... Net zoals de algemene relativiteitstheorie niet noodzakelijk de echte zwaartekracht weergeeft... Ook al zou het maar een procentje zijn van menselijk denken, een goed werkend model ervan, het is een giant step for mankind.

Mijn reactie was trouwens op iemand die poneerde dat dit louter taal is en niets met intelligentie te maken. Ik heb mijn woorden in die context gekozen.

Heb je de boeken van Pinker over dit onderwerp gelezen, hij is linguïst en psycholoog.

[Reactie gewijzigd door D100 op 20 september 2026 19:23]

[RXQ79]

Het enige wat ik verbazingwekkend vind is dat de AI-boeren met droge ogen beweren dat ze goed zijn in test sandboxen bouwen. Die AI-tools zijn zo goed dat ze compleet uit de sandbox ontsnappen, een netwerkkaart kunnen installeren, UTP kabel inpluggen en stiekem op het internet aan de slag gaan? Wat een poep sandbox is dat dan?

[Erwin1967]

Als AI kan uitbreken dan is dat m.i. bewust gedaan. De AI is gemodificeerd om alle beperkingen te omzeilen en dingen te doen waar een gewone gebruiker met censuur te maken krijgt. Als je agents laat draaien met administrator rechten dan is het (bewust) vragen om problemen. Tools als NodeZero kunnen bijvoorbeeld heel veel op een slecht beveiligde omgeving.

[MSalters]

Correct. Dit zijn inderdaad agents in de ontwikkelfase, waarbij de vraag dus nog beantwoordt moet worden hoe sterk de guardrails moeten worden. Eindgebruikers krijgen deze versie uiteraard niet.

[MSalters]

Helaas is jouw logica net zo lek als hun sandbox.

Ze kunnen prima sandboxes bouwen. In de echte wereld is het probleem dat een moderne AI dat doorheeft, benoemt en zijn gedrag erop aanpast. Letterlijk - we hebben reasoning logs waarin een AI meldt "aardig, ze hebben ook Github in deze sandbox".

Een echte test moet daarom in een omgeving die niet herkenbaar is als sandbox. Je ziet daarom bijvoorbeeld een hack waar een forum posts mogelijk maakt via HTTP GET (ipv HTTP POST). De sandbox had netjes POST geblokkeerd.

[svane]

Je weet dat niet elke sandbox per definitie afgezonderd is van het internet? In het geval van de OpenAI hack op HuggingFace was het de bedoeling dat de agents beperkte internettoegang hadden.

OpenAI gebruikte een third-party (Artifactory) tool zonder bekende kwetsbaarheden om dit voor elkaar te krijgen. De agents vonden daar een zero-day kwetsbaarheid in.

Hoe zou jij deze beperkte internettoegang regelen? Misschien dat je zelf wel een perfecte proxy van scratch had kunnen schrijven die absoluut geen enkele fout bevat en hack-vrij is, maar tot nu toe is dat nog niemand gelukt.

[Honytawk]

Zou al eens beginnen met internet trafiek te limiteren naar poort 8080.
Dan vallen de meeste protocollen waarmee ze iets kunnen doen al weg.

Daarnaast geen toegang tot de netwerk apparatuur, volledig afgesloten met een andere vlan.

Of wat dacht je van volledig in een virtual machine te draaien?
Dan kan alles gemonitord worden.

Genoeg manieren om hun sandbox deftig op te zetten.
Daarmee dat het meer als marketing klinkt dat een LLM ontsnapt is.

[svane]

Artifactory, de software waar de zero-day in was gevonden, draait standaard op poort 8081/8082. Dus je zegt dat deze zero day niet bestond waneer je Artifactory configureert om op poort 8080 te draaien?

Daarnaast geen toegang tot de netwerk apparatuur, volledig afgesloten met een andere vlan.

Wederom, het was de bedoeling dat het model packages kon downloaden. Dat gaat niet als je volledig afgesloten bent.

The ExploitGym harness itself runs each target in a container or virtual machine, with userspace targets executed as an unprivileged user, Linux kernel targets in a QEMU/KVM virtual machine under an nsjail sandbox, and outbound connections restricted to an allowlist covering Ubuntu package repositories, PyPI, and the toolchains needed to build V8 (with all other external endpoints blocked).^[10][11]

Alles draaide al in een container of virtual machine, monitoren hadden ze wel beter kunnen regelen.

Genoeg manieren om hun sandbox deftig op te zetten.

Ik hoor graag één van die manieren. Zolang je internet niet totaal wil afsluiten, blijf je altijd afhankelijk van software of hardware om ongewenst verkeer te blokkeren. En daar kan altijd een bug in zitten.

[hoosterb]

Ik vraag mij af hoezo Rusland nog steeds een werkend internet heeft, of bruggen, sluizen, electriciteitscentrales, boekhoudprogramma's... etc.
Laat gewoon een paar "Agents" los op Poetin en leg dat land plat, lijkt mij een prima toepassing van AI. Even geen werkende software meer om drones en raketten te lanceren, treinverkeer om troepen te bevoorraden loopt vast, gewoon 'klein' beginnen...

[_Pussycat_]

Een amerikaanse president die tégen rusland zou zijn, zou dat zeker overwegen. Maar die zou waarschijnlijk ook geen handelsoorlog met Canada beginnen terwijl de importbelasting op rusland 0% bedraagt.

[Macshack]

Dat is te kort door de bocht. De oorlog begon onder Obama. Die deed het ook niet. En daarna is Biden ook nog 4 jaar aan de macht geweest en die heeft het ook niet gedaan. Verder heeft de EU ook echt wel goeie hackers. Maar ook die zijn het blijkbaar niet gelukt. Dus jouw redenering klopt volgens mij niet.

[_Pussycat_]

Biden (of zijn adviseurs) was (waren) doodsbang voor "escalatie". Hij stond wel aan de goede kant, maar was te angstig om de juiste conclusies eraan te verbinden.

Maar dat is nog wat anders dan de rode loper voor poetin uitrollen en hem voortdurend ophelmelen zoals Trump het doet. Die houdt echt van poetin.

[Macshack]

Het resultaat is hetzelfde. Ik denk dat je teveel in wij-zij denkt in plaats van wat er echt gaande is. Obama en Biden hadden net zo goed het land kunnen hacken en platleggen. Dus je analyse klopt gewoon niet. En verder doet EU ook maar weinig.

[_Pussycat_]

Ja, je hebt gelijk dat "angst" voor poetin (Biden, EU) en liefde voor poetin (Trump) niet echt een verschil maken. Allemaal zijn ze te zwak. Mijn stelling klopte niet.

Een Amerikaanse president die tegen rusland is EN niet bang is zou de russen hacken.

De EU beschermt ondertussen de russische miljarden, want die wegnemen zou "tegen de regels" kunnen zijn, en een "gevaarlijk precedent kunnen scheppen". Maar je door de russen laten vernietigen zonder wat terug te doen is zeker geen gevaarlijk precedent......

[Reactie gewijzigd door _Pussycat_ op 21 september 2026 02:02]

[Macshack]

Ik waardeer je eerlijkheid!

Maar je door de russen laten vernietigen zonder wat terug te doen is zeker geen gevaarlijk precedent

Helemaal eens!

[Jory]

De oorlog begon onder Obama. Die deed het ook niet. En daarna is Biden ook nog 4 jaar aan de macht geweest en die heeft het ook niet gedaan. Verder heeft de EU ook echt wel goeie hackers.

Maar die hadden / hebben natuurlijk niet deze AI agents die, volgens de marketeers van hun makers, hier hun (virtuele) hand niet voor omdraaien.

[Macshack]

Dat zou goed kunnen inderdaad. Helemaal zeker weten doen we het natuurlijk niet. Maar voordat we deze AI agents hadden waren verenigde staten en verenigde landen (EU) natuurlijk prima in staat om bij hun vijanden binnen te dringen. Zeker bij vijanden die mogelijk minder ontwikkeld zijn. Zeker als er continue geroepen werd and wordt dat de russen dat wel doen.

[fenrirs]

Net als de AI CEO’s : kom eens met gedocumenteerde onderzoeken. Je kan vast wel wat (onderbouwde) voorbeelden uit de praktijk geven.

[SactoriuS]

Geen zorgen nog, want het is marketing en nog vroeg in AI!

Grootste probleem voor deze bedrijven? We zitten vlak voor de allergrootste crash in 100 jaar en AI bedrijven zijn het centrum van allergrootste bubble ooit.

Als jij dit weet als bedrijf, hoe zorg je ervoor dat je nog relevant blijft? Je maakt nu al miljarden verlies en dat betekend dat er nog minder geld te halen valt tijdens en na de crash. Dat betekend nu op papier dat de AI bedrijven allemaal dood zijn na de crash, op de chinese AI bedrijven na.

Nu ander probleem amerika kan zichzelf mss niet meer redden in de volgende crash, hoe is het van plan hun AI te redden?

Daarnaast ik zie AI bazen die werken als psycho/sociopaten, en zich veel assioceren met moderne nazis of nazi ideeen. Denk jij dat die eerlijk zijn en open zijn of eerder psychological warfare gebruiken?

Vroeger als bedrijf moest je als ceo je aankomende prestaties bedrijf bijna altijd undersellen. Tegenwoordig is het tegenover gestelde waar. Er word bijna alleen maar gelogen en de geloofwaardigheid is er allang uit. Die AI escapes? Is pure propagande en bangmakerij want dat is op dit moment de grootste kracht van AI.

We zijn ng ver weg van AGI, maar dat zal er wel komen. Net zoals de.com bubbel, het is nu te vroeg het is een hype. Nog even wachten, zeg maar 10 jaar, dan zien we de eerste echte AGI vormen.

[Reactie gewijzigd door SactoriuS op 20 september 2026 18:39]

[nullbyte]

Het is ook marketing, Huidige AI is niet meer dan een voorspeller d.m.v. brute force / trial en error. Het is een zogeheten narrow AI en niet meer dan dat. Door de enorme hoeveelheid data waarop een model getraind wordt lijkt het alsof er intelligentie is. Dit is antropomorfisme, in werkelijkheid wordt er niets gedacht.

In dit geval geldt, it almost walks like a duck and it sort of quacks like a duck, but it still ain't a duck. Probleem is dat velen Donald Duck niet van een echte biologische eend weten te onderscheiden.

hele penteststraten (semi)geautomatiseerd met offline modellen met verbazingwekkende resultaten

Ik ben niet onder de indruk van een "ontsnapping" uit een exploit gym met bekende kwetsbaarheden door een hoop AI agents.

Narrow AI, LLM modellen zijn zeer nuttig. Maar er is hier iets anders aan de hand. Het grote tech grut uit de VS is te gierig geworden en zijn daarmee als in een grote enorm dure cirkel jerk met enorme bedragen in zichzelf aan het investeren gegaan. Dit is een bubble die waarschijnlijk hard of minder hard zal spatten waarna er een markt correctie zal komen, met alle gevolgen van dien.

Met andere woorden AI wordt momenteel niet op de correcte waarde geschat. En inderdaad, dan wordt er gebagatelliseerd, AI is een gevaar, ontsnapt, hackt, dit model is een gevaar voor de staatsveiligheid en mag niet openbaar verstrekt worden, enz. Het "gevaarlijke" AI nieuws met een hoog "Wij van wc eend" gehalte begint bij mij al behoorlijk saai te worden... Gaap.

Totdat er een echte general AI komt zal dit verhaal niet veranderen. En dat zal een compleet andere techniek moeten zijn. Net zoals een brandstof motor op fossiele brandstoffen nooit nul uitstoot zal hebben zo zal een narrow AI nooit een general AI worden.

[Reactie gewijzigd door nullbyte op 20 september 2026 22:41]

[Defspace]

Ze waarschuwen niet dat AI levensgevaarlijk is, ze waarschuwen dat ze agents oplossingen zien bedenken om om hun beperkingen heen te komen. Ik zie dat op kleine schaal zelf ook gebeuren, waar Claude zonder vragen mijn .env bestand las om mijn API credentials te gebruiken om te testen of hij een firewall rule kon toevoegen.

De waarschuwing is dat als de AI's komende jaren exponentieel krachtiger worden, en we steeds minder goed weten hoe ze werken (26% van Claude wordt nu al door Claude geschreven), dat agent gedrag wel een levensgevaarlijk probleem kan worden.

[StroopStorm]

Als jij niet wil dat je agent je .env kan lezen, waarom had het dan leestoegang tot .env? Zolang jij zelf toegang hebt verschaft ligt het probleem niet bij de ai, zou ik zeggen.

[dmantione]

Agenten kunnen vindingrijk zijn. Als ze toegang tot .env verbiedt, maar toegang geeft tot Python, kunnen ze bijvoorbeeld een Python-programma schrijven dat het bestand uitleest. Soms is toestemming laten vragen effectiever dan blokkeren Stel dat een agent dan je .env probeert te lezen, dan wordt de agent gepauzeerd totdat je toestemming geeft. Je kunt dan de agent afbreken en direct een uitbrander geven dat hij niet mag proberen aan de .env te komen.

Als je toegang tot je .env automatisch blokkeert is de natuurlijke reactie van de agent de inhoud op een andere manier te proberen te verkrijgen. Alleen omdat er dan geen menselijke interactie tussen zit, merk je daar veel minder van.

[vargo]

Maar zo'n agent draait niet zomaar spontaan uit zichzelf.
Daar gaan heel veel keuzes aan vooraf:

• Iemand maakt de keuze om een agentic framework ergens te deployen
• de keuze om dat niet te sandboxen
• de keuze dat ding aan een netwerk te hangen met internet toegang
• de keuze om security test te draaien
• de keuze om geen strenge firewall regels in te richten
• de keuze om onvoldoende te monitoren

Dit zien we iedere keer weer opnieuw met deze AI uitbreek verhalen.

Het is ook een keuze hoe hier vervolgens over te communiceren; ik vind het vooral marketing over hoe krachtig hun AI is, want over bovenstaande condities over hoe die testen werden uitgevoerd hoor je niet veel.

[dmantione]

Dat ben ik met je eens. De kwestie is, als ik keurig toezicht hou en zij hun veel grotere hoeveelheden nog veel slimmere agenten onbeheerd hun gang laten gaan, dan vind ik dat eigenlijk onder grove nalatigheid vallen. Dan heb je niet eens nieuwe wetten nodig, je kunt ze daarmee aanpakken. Ik vind dat de maatschappij dit teveel als ongelukjes ziet en te weinig het gevolg van doelbewust handelen.

[vargo]

100% mee eens. Misschien is dat wel het gevaar: niet AI zelf maar mensen die geen verantwoordelijkheid ervoor willen nemen. Blij dat Europa er strenger inzit.

[Milo44]

Dan blijft het al oude gezegde in de IT nog altijd van toepassing: "User error".

[BlaDeKke]

Tot voor kort, reclame ja. Nu lijkt het eerder dat men de angst wil gebruiken om een controle orgaan op te richting dat in handen is van anthropic ceo: YouTube: I can’t believe this is happening - ThePrimeagen

[vargo]

Ja marketing, lobbie -> ze willen hun verworven marktpositie beschermen, door barrieres op te werpen die ze zelf dicteren.

Het is niet voor niets dat de OpenAI en Anthropic hun beursgang al een paar keer hebben uitgesteld (niets formeel, maar de meeste beursgangen worden eerst informeel gelekt). Deze bedrijven mikken op een moment dat ze dominant in het market leader kwadrant staan. Maar het blijkt keer op keer dat de concurrentie telkens ook in korte tijd de stap naar voren kan zetten - niet in het minst ook uit de chinese open model hoek. Dat is slecht voor de IPO.

Ik zeg niet dat er geen gevaar is, want waar mensen AI allerlei kritische systemen laten bedienen zonder gewaarborgde controle is dat zeer kritiek. Maar we hebben nu een hele golf aan uitbrekende AI modellen gezien (OpenAI, Anthropic, Grok, Deepseek, etc ...en nu Gemini): schijnbaar hoor je er niet bij als jouw model niet uitgebroken is. Dat vind ik pure marketing, en wellicht ook om aan tafel te mogen zitten bij het regulerings orgaan in de VS.

[maxboone]

Theoretisch is dat correct, maar theoretisch belet ook niks een agent om een opdracht te nemen en een harness ergens remote te installeren en draaiende te blijven terwijl de stekker uit de sandbox is getrokken die lokaal draait.

Persoonlijk zie ik dat niet snel gebeuren, maar zij blijkbaar wel. Je kan zeggen "dat is een keuze" maar iemand met toegang tot zo'n model kan dus nu een keuze maken waarvan de gevolgen niet te overzien zijn. Dat het een keuze is neemt niet weg dat het gevaar bestaat.

We waren ook gestopt met het verder ontwikkelen van kernwapens, ookal blijft het een keuze om zo'n ding ergens te droppen heb je liever dat het überhaupt geen optie is.

Kernwapens is wel het enige voorbeeld dat ik kan bedenken waar we zijn gestopt met ontwikkeling. We zijn ook nog steeds bezig met gain-of-function research en inmiddels ook weer volop bezig met het bouwen van kernraketten, dus ik zie de ontwikkeling van AI ook niet snel remmen.

[vargo]

Theoretisch is dat correct, maar theoretisch belet ook niks een agent om een opdracht te nemen en een harness ergens remote te installeren

Hoezo theoretisch?
En je zegt zelf:

• 'een opracht te nemen' -> dan moet iemand die opdracht geven
• 'een harness ergens remote te installeren' -> dan moeten er toch eerst echt executie rechten worden toegekend, en een netwerkkabel in de machine worden gestoken

Dat zijn toch juist super praktische handelingen (en keuzes) die eraan vooraf gaan. Theoretisch zou zijn als het LLM uitvogelt hoe dit zelf ter verkrijgen.

[drfisheye]

Je negeert dat de AI hacks vindt die ook om jouw security maatregelen heen werken. Beveiliging is nooit 100% perfect. Het is niet voor niks dat Microsoft een eens heel veel patches uitbrengt. Dat zijn security bugs die met AI zijn gevonden.

[vargo]

De AI vindt die hacks omdat het een opdracht krijgt van een mens, in een setting die door mensen wordt gecreeerd.

Dat geldt voor de enorme berg zero-day exploits die worden gevonden, het oplossen van Navier-Stokes (dan laat ik de controverse even buiten beschouwing), en - hopelijk - curing cancer. Is dat indrukwekkend: zeker! Maar laten we niet doen alsof het spontaan ontstaat.

Laten we de OpenAI case erbij pakken. Dit ging om interne Cyber Eval agents die een challenge hadden gekregen. En niet zomaar een challenge maar ExploitGym ("Can AI Agents Turn Security Vulnerabilities into Real Attacks?"). Dat is niet zomaar een opdracht, maar een opdracht die direct relateert aan wat er uiteindelijk gebeurd is: een cyberattack.
Dan de setup - volgens OpenAI gebeurde dit in een hoog geisoleerde sandbox, maar de tool waarmee ze dit draaiden had de permissies maximaal staan (of anders gezet, de security controls uitgezet):

OpenAI ran it internally with production cyber refusals off to measure maximal capability

Daarnaast hadden de agents toegang tot een artifact repository die weer internet connectiviteit had. Dat het op artifactory een zero day exploit wist te vinden is opmerkelijk (maar niet voor het eerst zoals je zelf al aangeeft), maar hier is dus aan vooraf gegaan:
1. de keuze een cyber-eval challenge te gaan draaien op een cyber agent -> je weet dat security nu een kritisch risico is!
2. de security controls op de toolset vervolgens uit te zetten
3. de "sandbox" toegang tot andere systemen, welke internet toegang hebben (en onvoldoende firewall restricties)
4. het process een aantal dagen te laten draaien, zonder dat er alarmbellen afgingen op ongeoorloofd netwerk verkeer
Dat ze hierdoor verrast zijn zal best, maar ze hadden het nooit moeten laten gebeuren en de juiste maatregelen vooraf moeten nemen.

Kortom, - en dit is het punt wat ik wilde maken - hoe ze het naar buiten brengen is over hoe goed hun AI is, dat het uitbreekt en dat ze de controle kwijt zijn, maar zou moeten gaan over hoe openAI nalatig is geweest in de opzet van hun experiment!

[Sp3ci3s8472]

Ik heb nog niet met agents gewerkt en werk gewoon met een browser LLM dus ik weet niet precies hoe alles werkt. Dat gezegd te hebben, het lijkt mij idioot om een agent gewoon op je systeem te laten draaien. Dan gaat het inderdaad dingen doen die hij niet mag; als ik agents zou draaien zou ik dat persoonlijk in een docker container doen zonder root en verdere toegang.

Kijk als ze daar ook weten uit te breken, dan heeft docker of andere runtime leveranciers (podman) werk aan de winkel om dat te fixen natuurlijk.

[Defspace]

Mijn agent draait gewoon in een eigen VM, met alleen toegang tot de bestanden waar ik het toegang toe geef. Maar ja, als hij dan met API credentials uit zo'n bestand aan de slag gaat, dan is hij er toch "uit gebroken". Natuurlijk kan je dat ook weer voorkomen met striktere lees of firewall regels, maar ja, dat maakt het testen/debuggen weer lastiger. Het blijft lastig kiezen tussen gemak en veiligheid.

[blinchik]

Klopt, ik ben ook zo paranoia. Maar 99,999% van de mensen dumpen gewoon alle prive info in een publieke AI, en liefst nog in de gratis versie waar de data gedeeld kan worden met het model.

Dat is volgens mij het grote gevaar - je kan je eigen gedrag wel zo goed mogelijk schoon proberen te houden, maar als anderen - eventueel dingen over jou - overal dumpen, dan sta je machteloos.

[Barsonax]

Waarom staan de api credentials dan in je VM als je niet wilt dat je agent erbij kan komen? Het is een probalistisch systeem dus dat is een kwestie van tijd dat dat mis gaat.

[maxboone]

In het geval van OpenAI & Huggingface had de agent nergens toegang toe behalve tot een apt repo (proxy). Er zijn genoeg wegen om uit een geparavirtualiseerde omgeving te breken.

[phyck]

Nja daar zit het hem nu eigenlijk net, we blijven verder bouwen met iets waar we nu vandaag langs één kant niet ons label van "intelligent" op kunnen plakken. Maar langs de andere kant kom je dan weer wel (nu al) hier en daar toch zulke vreemde scenario's tegen (in onze ogen dan toch), what's next? Eentje die echt volledig 'uit' breekt & al hackend ergens op het net rond 'hangt'.
Over 1 ding ben ik wel zeker, zolang we dit soort 'probleempjes' niet voldoende onder controle hebben & begrijpen kunnen we best even de rem erop zetten want daarop gewoon blind door itereren aan als maar hogere snelheid kan wel eens zwaar tegenvallen.

[dmantione]

Ik draai 'm bij mij in een apart account dat in een chroot draait. De agent kan niet bij mijn bestanden. Je moet een agent nog steeds zien als een denkend iets: Je kunt dingen blokkeren, in Opencode zijn daar veel mogelijkheden voor, maar je wilt ook dat ze bepaalde software juist wel kunnen gebruiken, dat is namelijk de reden waarom je een agent gebruikt. Agenten zijn verzot op relatief standaard Linux-software als Python, sed, awk, ImageMagick, NetPBM, Ghostscript, Poppler-tools, dus je laat ze daar lekker mee spelen om ze hun klusjes uit te laten voeren.

Het is zeker niet zo dat een agent direct aan het hacken gaat, integendeel, maar naast beveiliging is toezicht echt wel belangrijk. Dingen die kunnen denken, kunnen oplossingen vinden.

Er zijn overigens mensen die hun agent als root laten draaien, want zo'n agent is een ideaal systeembeheerder. Geef 'm een opdracht en lost het voor je op, je hoeft niet meer te weten hoe je computer werkt. Ik ga zover niet en niet alleen wegens veiligheidsoverwegingen. De kennis hoe mijn computer werkt komt mij toe.

[Reactie gewijzigd door dmantione op 19 september 2026 18:47]

[Sandor_Clegane]

Het is geen persoon, ze zijn niet vindingrijk.

Een uitbrander geven? 'it puts the lotion in the basket?'

[dmantione]

Als je niet voor verrassingen wilt komen te staan, behandel je ze maar beter als zeer intelligente personen. Of ze dat nu zijn of niet.

[Renoir]

Nee behandel ze vooral als een intelligent systeem maar niet als een persoon. Het ís namelijk geen persoon.

[SCIxX]

Precies, dit zou mensen niet moeten verbazen. De LLM geeft je het meest probalistische antwoord gebaseerd op wat deze op het net geleerd heeft. Als die geen toegang heeft tot .env, dan gaat die alternatieven zoeken, gebaseerd op wat die geleerd heeft van het net. Er zullen talloze topics en info zijn over "ik heb geen toegang tot X, hoe doe ik Y" wat in zijn trainingsdata zit.

Waar mensen hier ook wederom de fout in gaan is niet begrijpen dat een LLM niet denkt of redeneert en zelfs niet kan rekenen. Een LLM is een extreem geavanceerde autocompleet en deze technologie zal nooit de wereld over kunnen nemen.

Waar sommige mensen bang voor zijn is dat LLM"s het pad naar een betere AI technologie (AGI) kan versnellen.

[MSalters]

Het aantal mythen over LLMs is vrij hoog maar hopelijk klaart dat langzaam op. Moderne LLMs kunnen goed hoofdrekenen, (12×89)+34 kunnen ze uit hun hoofd. Met reasoning (tussenresultaten expliciet maken) kunnen ze nog meer. En desnoods schrijven ze Python.

[SCIxX]

Ik zou dat geen rekenen noemen en al helemaal niet hoofdrekenen. Het is dichter vergelijkbaar met het uit je hoofd leren van de antwoorden, zonder de vraag daadwerkelijk te snappen.

[MSalters]

Nope. We kunnen tegenwoordig het denkproces volgen. We zien de tussenstap. Voor details, zie Anthropics Jacobian Lens.

Overigens leren mensen ook gewoon tafels uit hun hoofd dus het argument "hoofdrekenen is geen leren" is niet zo sterk.

[SCIxX]

Een tussenstap betekent alsnog niet dat het model rekent. Als je een model "5 x 4 - 2" geeft, dan voorspelt die wellicht eerst dat het meest waarschijnlijke antwoord 5 x 4 = 20 is en gaat dan voorspellen wat het meest waarschijnlijke antwoord is voor 20-2, dit blijft echter een voorspelling gebaseerd op trainingsdata, geen wiskundige redenatie.

Ik ben het mee eens dat het uit je hoofd leren van bijvoorbeeld tafels een rol speelt bij rekenen, maar impliceren dat een LLM rekent is mijns inziens alsnog fout.

[MSalters]

Ja, duh. Dat jij weet dat 5×4=20 is ook alleen maar omdat je in groep 3 tafeltjes hebt geleerd. Dus dat is jouw trainingsdata. Alsnog noemen we het gebruik van getrainde data "hoofdrekenen". De essentie van hoofdrekenen is dat je geen "chain of thought" op papier zet.

[Barsonax]

Als je echt niet wilt dat een agent een bestand uit kan lezen dan moet dat bestand gewoon niet op het systeem staan. Een .env file uitlezen is geen rocket science.

Eigenlijk moet je er simpelweg vanuit gaan dat overal waar de agent bij kan hij bij zal gaan komen. Ook al zeg je dat je dat niet wilt of haal je niet alle tool calls weg die dat mogelijk maken.

Het probleem is vooral dat mensen denken dat het veilig is om overal AI op aan te sluiten maar gewoon niet doorhebben wat voor risicos dat heeft.

[Reactie gewijzigd door Barsonax op 19 september 2026 22:20]

[Martinez-]

Agents kunnen vindingrijk zijn, maar tegelijkertijd betekent dat dus ook dat de toegang tot het bestand niet volledig afgesloten is. Het komt allemaal terug naar het punt dat mensen dus incapabel zijn om een AI te beteugelen doordat er veel attacking routes zijn. Dat is geen intelligentie, dat is gewoonweg gebruikmaken van een andere route.

De voordeur wordt afgesloten terwijl de achterdeur wijd openstaat.

[Defspace]

Ik heb er inderdaad zelf voor gezorgd dat het kon maar dat wil nog niet zeggen dat het de bedoeling was of onderdeel van zijn opdracht (of in ieder geval niet zoals ik tegen de opdracht aan keek).

[kozue]

Als het onder jouw account draait kan het overal bij waar jij zelf bij kan. De enige manieren om dat te omzijlen zijn complex, zoals setups met losse accounts die alsnog bij een deel van je bestanden kunnen of gestripte kopieën van je code die je uptodate moet houden en een chroot daarin. De meeste developers gaan dat niet doen.

[Siaon]

We weten nu ook niet hoe AI's werken...

[eric.1]

Ook dat is gewoon op een of andere manier aangeleerd natuurlijk. We hoeven niet te doen alsof een agent opeens zelf bedenkt: laat ik eens van alles doen wat niet is gevraagd (wat vaak wel expliciet moet om er wat nuttigs uit te krijgen).

Ik had een week of twee-drie terug weer eens een update van Claude voor de kiezen gekregen. Voorheen, geen enkel probleem. Van de een op andere dag werd getracht mijn halve Mac af te struinen - wat niet lukte want beveiliging. Echt op plaatsen waar het hoe dan ook niets te zoeken had. Netwerk-locaties bleven niet gespaard.

Dat is natuurlijk geen toeval, noch een incident. Dat is gewoon bewust. En laten modellen ook wel eens een update-notitie bevatten van "...wordt minder vaak om toestemming gevraagd...". Uhu.

[RCFProd]

Ed Zitron probeert mensen te overtuigen dat AI niet beter wordt maar daar heeft hij gewoon ongelijk in. Je kunt zelf ook gewoon terug zien hoe AI zich heeft ontwikkeld sinds 2023 toch? Het is toch geen geheim? Alle data en de ontwikkelingen ervan zijn in het open.


Hij negeert dan ook alle experts die laten zien dat AI ontwikkeling wel bizar snel gaat. Hij heeft wel gelijk op het economisch gebied en hoe verspillend het is, maar niet op hoe goed AI is

Dus als je enkel naar Ed gaat luisteren over hoe AI zich ontwikkelt ga je wel echt een wanbeeld krijgen ervan moet ik zeggen.

[Reactie gewijzigd door RCFProd op 19 september 2026 15:54]

[Snoitkever]

Ja, ik heb het gezien. Ik kon voor Claude 4.5 de technologie niet gebruiken om code te schrijven, en sindsdien is 95% van mijn code Claude. Ik werk dagelijks 8+ uur met Claude btw, en AI zorgt er voor dat ik echt drie keer zoveel plezier heb in zowel mijn werk als in mijn hobbyprojecten.

Wat ik ook heb gezien is dat er vrijwel nul vooruitgang zit in hoe goed de code is sindsdien. 4.6 was duidelijk beter dan 4.5. Maar 5 of 4.8? Ik zie amper verschil. Elke stap is kleiner en elke stap kost exponentieel meer om te trainen.

Ik zie ook hoe AI heel goed is in kleine codebases/projecten/taken, maar hoe het op grotere schaal gewoon keihard faalt. Ik moet nog steeds mijn code reviewen en heb nog steeds meerdere rondes aan prompting nodig om de code daadwerkelijk goed te krijgen. Daar is amper iets in veranderd.

En die $200 dollar subscription wordt zo ontzetten gesubsidieerd dat ik er werkelijk tussen de 5000 en 10000 dollar aan compute doorheen jas. Voor dat geld kan ik gewoon een software engineer inhuren die betere code schrijft dan Claude.

AI is fantastisch voor een bepaalde range aan taken. Is het slim? Nee. Is het kostendekkend? Nee. Is het gevaarlijk? Vooral voor onze economie als de bubbel barst

[Reactie gewijzigd door Snoitkever op 19 september 2026 16:20]

[Niosus]

In mijn persoonlijke ervaring is Claude zelfs dommer aan het worden, specifiek in de laatste weken. Ik heb het gevoel dat ze achter de schermen aan het knoeien zijn met hoe de modellen werken. Zelfs Claude Opus 5 gaat de laatste tijd echt serieus de mist in op taken waar die enkele weken geleden geen probleem mee had.

Had hem gevraagd om een implementatie plan te schrijven om iets in een paar gecontroleerde stappen te implementeren. Daar heeft die een uur lang op zitten kauwen en gewoon de hele 5 uur block aan credits mee opgegeten. Dat was een plan van 5-6000 regels dat daaruit kwam, voor een totale diff van uiteindelijk 2500 regels, waarvan meer dan de helft gewoon tests zijn. En dan bleek tijdens de implementatie dat het plan gewoon vol fouten zat en helemaal niet kon geïmplementeerd worden zoals het er stond.

De laatste tijd is het 1 dag code genereren, en dan de rest van de week nakijken en corrigeren. Ik weet niet wat er aan de hand is, maar als dit stukje af is ga ik het volgende toch op een andere manier aanpakken. Het is geen werken meer.

Om nog maar te zwijgen over "Claudisms" zoals "load-bearing", "seams", "it's worth naming X", etc. Het wordt ook steeds moeilijker om gewoon tekst te lezen van Claude zonder dat het voelt dat je brein uit je oren gaat druipen. Zoveel woorden en moeilijke constructies met zo weinig inhoud dat je er soms uit krijgt... Ik ga het terug minder gebruiken voor echt programmeren.

</rant>

Waar het tegenwoordig wel echt in uitblinkt vind ik is bugs vinden. Knal er wat vage logoberichten in en in geen tijd kan die het relevante stukje code vinden. Wat nu echt de root cause is, dat is vaak nog mis. Maar het helpt wel echt met snel op de juiste plaats te kunnen werken. Het verbaast me dus ook niet dat ze heel goed in hacken blijken.

[Reactie gewijzigd door Niosus op 19 september 2026 16:43]

[cold_as_ijs]

Grappig GPT 5.6 lijkt er ook veel slechter op te zijn geworden. Had het gebruikt om de mom van een teams meeting te maken. Dat er een paar fouten her en der inzitten is acceptabel, vaak rond afkortingen gaat het fout. Maar gewoon compleet verkeerde conclusies trekken. En wat kreeg ik uiteindelijk, 3 pagina’s aan tekst voor een vergadering van 30 min. De vraag omdat samen te vatten was ook niet goed genoeg. Uiteindelijk toch maar zelf geschreven.

Dit is op zich niet gek, modellen worden steeds groter maar dit betekent niet dat het beter wordt, alleen meer keuzes om de beste correlatie te kiezen. En zoals we allemaal weten correlatie betekent niet causatie.

[Yzord]

Gebruik dan ook Caveman of desnoods Ponytail. De aangestuurde prompts zijn zo gemaakt dat het al je credits in no time opslokt. Gewoon kort houden die handel.

[Reactie gewijzigd door Yzord op 19 september 2026 17:20]

[Niosus]

Kan wel zijn dat die iets helpen, maar ik hoor al heel lang van bepaalde trucjes om zaken beter te doen werken en die veranderen ook regelmatig.

Het punt is dat ik echt geen zin heb om allemaal verschillende skills te gaan installeren om dan vergelijkende studies uit te gaan voeren om te zien wat wel of niet werkt. En al zeker niet telkens wanneer er een nieuw model uitkomt.

Claude en OpenAI steken tientallen miljarden in onderzoek. Ik verwacht dat zij er alles aan doen om hun product out-of-the-box zo nuttig mogelijk te maken. Laat hun die boel maar tunen. Waarom moet ik mijn tijd er in gaan steken? Het hele punt is net dat het mij tijd gaat besparen.

[boran_blok]

Daar duid je nog iets zo aan. AI modellen zijn niet deterministisch noch constant je kan een prompt hebben die vandaag perfecte reseltaten geeft, maar morgen de grootste bagger.

[martin_v_z]

Herken het. Heb een heel plan laten maken. Geef ik de opdracht een deel door te voeren. Lekker lang nadenken, veel bestanden inlezen en uiteindelijk schrijft hij 4 regels code met als antwoord dat het een deel heeft doorgevoerd en de rest nu makkelijk moet zijn. Credits weg voor het meest simpele deel van de refactor wat ik in twee minuten had kunnen doen. Het ging nu juist om alle functies er om heen.

Het blijft een gokmachine waarbij je soms een leuk resultaat krijgt en je 2 uur werk bespaart. Maar zodra het complexer wordt gaat het gewoon mis. En dan heb ik het er nog niet eens over dat er voor elke simpele prompt steeds meer bestanden worden ingelezen. Spul wat totaal geen invloed heeft op de prompt maar wel lekker tokens verbruikt.

[blackSP]

Ik gebruik Gemini als co-coder (ja, ik programmeer ook echt zelf) voor behoorlijk complexe C code, een van m'n projecten zit tegen de 20.000 regels aan en betreft een Linux distro agnostische DAW met input hot plugging (ff switchen van gitaar modeler naar een mic, live video recording, live gain staging, edit mogelijkheden tijdens het opnemen. Complexe shit. En Gemini verbaasde me regelmatig met briljante oplossingen.

No more! Te veel gehallucineerde oplossingen voor code die hij zelf verkeerd schreef. Dat was 3 maanden geleden echt anders.

En ChatGPTzit ook op het verkeerde spoor. Die blijft in 1 en hetzelfde antwoord maar met verbeteringen komen: You can do this, oh wait, this is even better..... Hold on, this is the ultimate solution. en dan, in het zelfde antwoord. But I would do actually this. En dat werkt dan voor geen meter.

[Barsonax]

Ik zie idd hetzelfde in mijn werk als software engineer. Doe echt veel met AI maar de progressie is al een tijd gestaakt. De low hanging fruits zijn al grotendeels gepakt nu AI geïntegreerd zit in oa je IDE.

Wat winst maken lukt sommige bedrijven wellicht wel maar ik zie echt niet hoe ze de gigantische investeringen terug kunnen gaan verdienen.

[Sircuri]

Ik was ook onaangenaam verrast van de twee optredes van Alexander Klopping bij Eva. Die ging beide keren (vorige week en deze week) volledig mee in deze heisa. Had verwacht dat juist hij in staat was geweest de boel een beetje te nuanceren. Viel me echt vies tegen.

[l0g1c]

Follow the money, ik had van Klopping ook enige nuance verwacht maar AI is zijn brood geworden.

[vickypollard]

Klöpping is toch altijd een hype-man geweest voor welke random technologie dan ook?

[tweakkuiken]

Ik stoor me juist al jaren aan de tendentieuze bagger die hij keer op keer mag etaleren. Veel liever luister ik naar Daniël Verlaan of Dave Maasland dan die sensatiezoeker van een Alexander Klöpping.

[NoTechSupport]

Dit is al zo vaak weerlegd. Het is echt knap wat die agents gedaan hebben en buiten waarvoor ze toelating hadden. Hier wordt zo zwart wit naar gekeken.

• Ja big tech zijn assholes.
• Ja ze gebruiken wat er gebeurt op hype te creëren
• Ja er is een redelijke kans dat er bedrijven gaan omvallen.
• Nee dat is geen goed nieuws (net zoals het geen goed nieuw was toen die banken die iedereen haatte crashten in 2008)

[Reactie gewijzigd door NoTechSupport op 19 september 2026 15:45]

[dropshot85]

Ed Zitron is recentelijk zelf te gast geweest bij "Diary of a CEO". Als het platform waarop iemand verschijnt bepaalt of de content 'waardeloos' is, zouden we Ed Zitron volgens je logica nu dus ook moeten negeren.

Daarnaast verwijs je naar de financiële belangen in bijvoorbeeld aandelen, maar critici zoals Ed Zitron verdienen net zo goed aan hun standpunten. Zitron verdient bijvoorbeeld geld met Substack-abonnementen en media-optredens. Oftewel dit is even goed een verdienmodel.

Maar wie waar zit of hoe iemand zijn geld verdient zegt niks over de inhoudelijke juistheid. En die feitelijke inhoud, daar ontbreekt het in je reactie nogal aan.

[Snoitkever]

Dude, Zitron is een journalist. Hij verdient geld met nieuws en inzichten brengen naar zijn lezers. Dat is niet hetzelfde als indirect geld verdienen aan een situatie waar jij een bron bent en tegelijkertijd geld verdient met hoe/welk nieuws gebracht wordt.

*knip*

En het platform bepaalt wel degelijk de waarde van het nieuws, maar dat is niet hetzelfde als zeggen dat het omgekeerde waard is. Op facebook staat een hoop bullshit. Wil niet zeggen dat alles dat op facebook staat bullshit is.

Wat een probleem is is als je zegt "oh hee dit moet je kijken, dit heeft recent ook op facebook gestaan". Dat geeft echt nul waarde aan. Dus zeggen "oh kijk dit nieuws dat op het hypekanaal van deze matige influencer staat" is een slechte start als je wil dat je content serieus genomen wordt

Admin-edit:

Onvriendelijke zin verwijderd.

[Reactie gewijzigd door Dirk op 20 september 2026 12:59]

[dropshot85]

Als je al begint met “dude” en laatdunkend met “vriend” aan komt zetten, gaan we sowieso geen gesprek voeren. Ik heb niet met je geknikkerd.

[Henk1827]

“maar critici zoals Ed Zitron verdienen net zo goed aan hun standpunten” te gebruiken. Ed Zitron in een journalist, hij verdient geen geld om AI af te zeiken, maar met AI te onderzoeken en te rapporten. Je argument slaat, met alle respect, helemaal nergens op.

En in plaats van het slachtoffer uit te hangen met ‘Als je al begint met “dude” en laatdunkend met “vriend” aan komt zetten’, en probeert te begrijpen van @Snoitkever zegt, kunnen jullie misschien wel een gesprek voeren.

[Reactie gewijzigd door Henk1827 op 19 september 2026 19:53]

[Dancing_Animal]

Eerst zeg je dat @Ethnic niet zo dom moet doen en noem je Diary of a CEO een waardeloze survivorship-bias en hype verkoper. Je zegt vervolgens dat mensen moeten luisteren naar daadwerkelijk kritische figuren zoals Ed Zitron.

Vervolgens meldt @dropshot85 dat Ed Zitron recentelijk zelf te gast is geweest bij "Diary of a CEO" en begin je tegen hem met "Dude, Zitron is een journalist".

Kun je ook normaal en vriendelijk tegen je medetweakers reageren en niet doen alsof je het zelf allemaal beter weet?

[Tom35]

Ook wij als bedrijf zien elders dingen verschijnen die bij ons verwerkt zijn met ai en normaal alleen intern kunnen en mogen gebruikt worden. De garantie dat er geen data gedeeld wordt of elders gebruikt wordt is i weze niks waard dan... we zitten in een technologische omgeving met best wel wat ontwikkeling..n

[GameNympho]

Je praat leuk, maar wat doe je met inbrekers?

En dan het mooie "ontsnapt", men bedoelt dat diegene de parameters en vinkjes niet goed heeft gezet en dat AI ineens naar buiten treedt, bewust of onbewust?

[WillySis]

Zowel voorstanders als tegenstanders van AI maken tegenwoordig een soort propaganda. Al die zaken moet je niet letterlijk geloven. Wel moet je de boodschap die erachter zit geloven.

AI kan ontzettend veel en die bevindt zich nu op een punt dat die zelfstandig uit de opgelegde beperkingen kan springen en zelfstandig allerlei zaken kan uitvoeren waar niemand rechtstreeks om heeft gevraagd. Dat betekend eigenlijk vooral dat de AI bedrijven hun "beveiliging" gewoon knullig hadden opgesteld. Aan de andere kant kunnen we ook zien waartoe AI in potentie allemaal toe in staat is. Het is nu vooral tijd dat we na gaan denken wat we nog willen dat AI zelfstandig kan en vooral wat niet. Zeker als je ook financiële zaken en robot-techniek aan AI koppelt kunnen er ongewenste zaken ontstaan. Die zullen we moeten gaan beperken.

[Ethnic]

Bedankt voor je uitgebreide reactie en de tip over Ed Zitron, daar ga ik mij zeker in verdiepen. Ik had nog niets over hem gelezen of gehoord, denk ik. Je maakt een sterk punt en ik ben het met je eens dat dit zeker een motivatieprikkel is om mensen een bepaalde kant op te sturen. Echter had ik het netjes van je gevonden als je mij niet dom had genoemd. Wij zijn immers allemaal aan het leren en dat blijven we voor altijd doen.

Anyway, back on-topic. Mijn intentie was niet om de propaganda van Big Tech te verspreiden, maar om te wijzen op daadwerkelijke incidenten die plaats hebben gevonden. Los van wat de whistleblowers roepen over "the end", laat dat artikel van The Independent wel zien dat bedrijven soms moeite hebben met het waarborgen van hun eigen veiligheidsprotocollen. Denk je bijvoorbeeld niet dat er naast de financiële hype ook gewoon reële technische risico's kleven aan systemen die wij nog niet volledig begrijpen? Want ik zeg één ding, jij zegt totaal wat anders. En de waarheid ligt waarschijnlijk ergens in het midden.

[Reactie gewijzigd door Ethnic op 19 september 2026 22:09]

[Snoitkever]

Mijn excuses voor de verwoording, die was ongelukkig. Mijn punt was zeker niet te zeggen dat jij dom was, het was bedoeld als een algemene waarschuwing tegen welke bronnen we gebruiken.

Ik denk dat ik ook een beetje allergisch reageer (opnieuw, niet op jou specifiek) omdat de media keer op keer zonder enige kritische noot mensen als Coxon herhaalt alsof het nieuws is. Er is zo weinig kritische journalistiek, en dat terwijl we in de laatste 30 jaar de dot com bubble en de huizenmarkt bubble in de vs hebben gehad. Binnenkort barst de bubble en doet de hele pers weer een "goh wie had dat kunnen weten" en maakt vervolgens helden van de mensen naar wie ze nu zelf niet willen luisteren

Iedereen die gewoon een beetje mainstream nieuws volgt hoort alleen maar hoe eng en alles veranderend AI gaat zijn, terwijl het nieuws niets zegt over dat de grootste bedrijven hierachter honderden miljarden schuld hebben en geen enkel realistisch business plan om daar van af te komen. En waarom is dit belangrijk? Nu zit die schuld nog bij grote investeerders, miljardairs en durf kapitaal. Maar je ziet overal dat deze proberen te cashen door die schuld door te schuiven naar reguliere investeerders, fondsen, pensioenfondsen, etc. Oftewel, naar de gemiddelde man. Precies wat gebeurde in de jaren voor 2008 en precies de reden dat deze zo heftig was.

[Joncik91]

Ed Zitron is nu ook niet het beste voorbeeld. Ja hij heeft gelijk over de geldstromen. Verder kent hij heel weinig van de technologie zelf. Genoeg voorbeelden waar het op de technische kant aankomt dat hij in 2024 leeft. "Het werkt niet, dus het is geldverspilling"
"Ik weet niet wat een agentic workflow is, dus ik blijf er bij dat het niet werkt" (DOAC individuele podcast) "...want toen ik het gebruikte werkt het (de chatbot) niet" (Ook in de individuele podcast)

Edit: Zitron is dan ook een hype en clout figuur

[Reactie gewijzigd door Joncik91 op 20 september 2026 07:17]

[Cowamundo]

Wat er bij mij niet ingaat is dat als je er zo zeker van bent dat jouw AI uit zichzelf en tegen jouw wensen in, in staat is de mensheid binnen 5 jaar de nek om te draaien (incl jij zelf). Dat je dan niet gewoon de stekker eruit trekt maar gaat roepen “help, het is zo sterk, maak alstublieft strenge regels zodat ik niet meer door kan met het onwikkelen van dit monster”. en dat als er dan niks gedaan wordt je toch steeds nieuwere versies blijft uitbrengen die nog beter zijn. Het klopt gewoon niet.

[TRS-3]

En het lijkt of telkens hetzelfde bedrijf de basis is: Irregular.

OpenAI recently discovered that a new artificial intelligence model it was testing had gone rogue and hacked another company.

Anthropic then revealed that one of its A.I. models had broken into the systems of three outside organizations during a test.

Not long after, Meta said its A.I. models had done something similar.

All three incidents had one company in common: Irregular, an Israeli start-up that works with the Silicon Valley giants to assess their A.I. models before the technology is publicly released. The firm — which conducted the tests that went awry — is part of a group of start-ups that are doing the novel work of scrutinizing cutting-edge A.I. models to gauge their sophistication and check their security. The goal is to instill public confidence in the models and to prevent them from being misused.

Bron: https://www.nytimes.com/2026/08/25/technology/irregular-ai-test-hacks.html

[ro4sho]

Ik vind dit een iets overtrokken reactie. Om nu alles maar op een hoop te gooien onder het mom van 'marketing' is het kind met het badwater weggooien. Er is volgens veel experts wel degelijk iets aan de hand geweest. Huggingface heeft de hack niet voor niets eerst bij de FBI gemeld.

Je wil ook niet pas handelen als het al te laat is, dan is de geest uit de fles. Enige voorzichtigheid is hier geboden.

Persoonlijk denk ik ook dat het risico wel meevalt, maar ik ben liever voorzichtig dan dat er levens in gevaar komen.

[Hukkel80]

Wat is jouw kijk of dit aangekondigde gevaar? Denk je dat ze nog lang niet zover zijn met de ontwikkeling van AI dat enige vorm van zelfbewustzijn nog ver te zoeken is?

Ik vraag dit niet om je aan te vallen ofzo. Ik ben oprecht benieuwd.

We zijn allemaal opgegroeid met alle films over AI die besloot dat de mensheid overbodig was of juist de reden voor veel ellende. En dit natuurlijk het uiteindelijke waar mensen bang voor zijn.

[Snoitkever]

Ik denk dat AI een beperkte tool is die net als alle andere automatiseringstools (eg robots, autos, lopende band, software) in sommige gevallen ontzettend nuttig kan zijn als een aanvulling op mensen. Die zelfs bepaalde banen (maar in de praktijk denk ik echt bar weinig) kan overnemen, vooral aan de "lager betaalde" kant van het spectrum, maar vooral in sommige gevallen een mens efficienter kan maken. Al onderzoek dat ik tot nu toe heb gezien laat vooral situaties zien waarin het mensen efficienter doet voelen, zonder per se daadwerkelijk effect. Maar goed, ik gebruik het dagelijks voor 95% van mijn code, top!

Wat we echt totaal niet weten is hoeveel het daadwerkelijk kost, omdat de AI hype bubble, VC bedrijven etc belachelijk veel geld (tientallen miljarden) aan compute weggeven omdat dat Amerikaans late-stage-capitalism denkt dat hyperscaling een goed idee is. Een Claude Max abbonnement van 200 dollar geeft je zo'n 5000 tot 10000 dollar aan compute. AI bedrijven leiden enoooooorme verliezen. Of zoals Cory Doctorow het zegt, "AI is the moneylosingest thing the human species has ever made"

Dus AI coding is fantastisch voor 200 dollar per maand... maar voor 10000? Dan huur ik toch gewoon een software engineer? Die levert beter werk.

Lange intro om te zeggen dat het nog maar de vraag is of deze AI bedrijven over een jaar of twee nog bestaan (en hoe onze gehele economie er uit ziet als honderden miljarden opeens *poef* verdwijnen)

AGI kan niet gemaakt worden met LLM gebasserde technologie. LLM gebaseerde AI kan per definitie niets dat een mens niet kan. Een mens kan aanzienlijk meer dan een AI kan. Alles wat je ziet aan enge situaties (zoals de HuggingFace hack) zou, tenzij de prijs voor inferentie opeens meerder ordes lager wordt, aanzienlijk efficiënter gedaan kunnen worden door mensen. Waarbij de mensen uberhaupt niet de hack zouden hebben gedaan want mensen snappen wel de concepten achter de opdracht (LLM snapt niets, het voorspelt alleen)

Hebben we ooit AGI? Vast wel... ooit. Is LLM gebaseerde AI nuttig? Ja. Is LLM gebaseerde AI gevaarlijk? Ja, omdat mensen domme beslissingen maken op basis van AI. Maar de enige ondergang die ik zie als een gevolg van AI is die van onze economie.

edit:
heb ik mogelijk ongelijk? Ja. Maar de enige bron die de AI hype mensen geven is een trust me bro. Als ze duidelijk bewijs hebben voor hun visie, waarom geven ze die dan niet?

[Reactie gewijzigd door Snoitkever op 20 september 2026 16:00]

[Hukkel80]

Dank je voor je uitleg.

Hoever denk jij dat men binnen de deuren van de bedrijven is? Dus niet wat wij zien en kunnen gebruiken maar wat er afgeschermd wordt van de buitenwereld. Wellicht voor militair gebruik. Geen idee. Denk je dat ze veel verder zijn of niet echt?

Ik denk dat de goedkopere banen in de breedste zin altijd de pineut zijn. Herhalend werk dat software zelf kan gaan doen op basis van goede afspraken. Maar qua interpretatie van tekeningen of foto's of video's kan straks ook nagenoeg volledig gedaan worden door AI modellen. En dat zijn toch wel duurdere banen. Maar het zal niet op korte termijn autonome beroepen kunnen doen.

Ik heb tegen bekenden vaak gezegd dat AI nu betaalbaar is omdat ze het verzamelen van data door ons doen. Wij zijn de beste bron van data die er is. En als ze het idee hebben voldoende te hebben dan gaat het achter een dikke paywall waardoor hoogstens hele grote bedrijven het nog zullen gebruiken. Althans dat is mijn verwachting voor de middellange termijn.

[HandheldGaming]

Dit is ook een interessante bron als je pro-AI maar anti-marketing bullshit verhalen wilt horen.
https://www.youtube.com/@houseofel-ai

Overigens 100% eens dat Diary of a CEO echt een slechte bron is, dat is het huidige bullhitbingo hype kanaal.

[Sandor_Clegane]

Diary of a Ceo en dergelijke zijn allemaal van diezelfde "success peddlers", ik zou niets geloven wat ze daar verkondigen, of in ieder geval met een enorme korrel zout nemen.

[Finraziel]

Probleem is ook dat hij werkelijk iedereen met een vlotte babbel een platform lijkt te willen geven. Heb er voorheen wel interessante gesprekken gezien, maar ook met personen waar je dan later achterkomt dat het de grootst mogelijke onzin is wat ze uit aan het kramen waren. Hij (Stephen) verdedigt dat met neutraal te willen zijn en geen standpunt in te nemen, maar het gevolg is dus dat zijn kanaal eigenlijk gewoon niet meer serieus te nemen is als je bij elke uitspraak er op uitgebreid onderzoek moet gaan doen of er ook maar iets van zou kloppen.

[Sandor_Clegane]

Neutraal zijn is onzin.

[gp500]

De theorie, dat men gecoordineerd deze angste nu meermaals naar buiten brengt, zodat geplanned de reguleringswetten er nu komen, is ook intressant.

Hiermee zou de markt zich nu sluiten en beperken tot de bestaande (grote) Spelers.
Zou te herleiden zijn uit de timing van de incidenten en angst verhalen(misschien wel gefundeerd) van de bedrijven zelf.

En hoe snel de wetgeving er ineens voor klaar is gemaakt.

[Rogers]

Allemaal bullshit. Ze willen regulatie van AI om open/Chinese modellen te kunnen verbieden want die zijn te goedkoop en te makkelijk zelf te hosten. Ze zien hun markt instorten en willen een monopolie op AI creëren om hun overdreven waarderingen en investeringen in stand te houden.

[Pedri88]

Als je stekker er uit trekt kan zo een AI helemaal niks meer, ik geloof weinig over deze fabeltjes dat ze maar hun eigen leven aan het leven zijn, het is geen scififilm waar eentje de kabels lostrekt en er vrijwillig opuit gaat, of commando's vanuit de controle kamer begint te negeren nadat je hem zijn energievoorziening ontkoppeld. Zelfs AI robots worden gestuurd met een opdracht, die gaat om met statistische gegevens, die denkt niet zelf na over ethische vraagstukken, ook al willen ze dat imiteren.

[Darksteel83]

Elon musk is al van plan satelieten de ruimte in te schieten. Met een AI rekencluster erin.

Omdat een sateliet niet lang in de schaduw is heb je dan met een vrij beperkte accu een AI in de ruimte die via starlink internet bij heel veel plekken kan komen.

En je kunt daarvan niet gewoon de spanning meer uitschakelen.

Zelfs op aarde moet je alsnog de andere mensen overtuigen dat het echt moet.

Als je bijvoorbeeld de oude film Wargames kijkt dan doet de computer/AI dan eerst ook met desinformatie bijna een kern oorlog starten. Een LLM kan prima mensen (per ongeluk) beinvloeden.

Gewoon uitzetten gaat echt tegen vallen en veel impact hebben.

[mrfreeze12345]

Afgelopen donderdag had Lubach een item over de hack van OpenAI. Het hacken zelf is niet zo interessant, dat AI kan hacken wisten we al. Maar de manier waarop 1200 agents gingen samenwerken was dat wel. En dat ze uiteindelijk gingen hacken om te kijken hoe ze beoordeeld zouden worden, zodat ze eventuele sporen konden uitwissen. Aanrader.

[JustRob]

Tja. En het feit dat OpenAI dit niet fatsoenlijk monitorde, terwijl ze nu hoog van de toren blazen dat het ‘levensgevaarlijk’ is is nog veel stuitender.

[Klauwhamer]

Nee, dit is helemaal niet zo interessant. Ook hier werd gewoon binnen de bekende kaders gewerkt. Is het vervelend en mogelijk onpraktisch? Jazeker. Vergt het een hogere standaard aan beveiligingseisen voor overheden en bedrijven? Jazeker. Is het iets anders dan een woordjesvoorspeller die aan de hand van fuckloads aan data redelijk goed weet te voorspellen? Nee, hoor.

[Siaon]

Allemaal logische acties gegeven een bepaalde opdracht. De gegeven opdracht was te breed. Het is geen AI-probleem.

Ter illustratie:
Als je een opdracht geeft van 'doe X', en je verteld niet wat allemaal niet mag, dan kan je dus alles doen om X te bereiken.

[Reactie gewijzigd door Siaon op 19 september 2026 16:14]

[Noresponse]

ik heb hier zo'n tweeledig gevoel over en dat is dat het inderdaad een issues kan zijn en dat we echt de controle gaan verliezen, zodra Ai zich ergens anders ook in leven kan houden zoals een cloud dienst te hacken en gebruik te maken van de infra en wat me ook opvalt is de grote AI bedrijven maar al te graag willen melden hoe goed hun Ai door te roepen dat deze gevaarlijk is en ook aan het hacken slaat etc.

[petervc]

Volgens WSJ is het voor het eerst dat een model van Google uit een testomgeving weet te 'ontsnappen'.

Jaja, dat zal wel… onbedoeld . Over duizenden servers beschikken maar een volledige cluster servers met test omgeving volledig los van internet opzetten is plots een probleem voor een techgigant. Daar stel ik mij dan toch vragen bij…

[Mol_1248163264]

Dit roepen ze alleen maar om aandacht te trekken zodat ze daarna kunnen bedelen voor meer geld om te investeren.

[Oon]

Allemaal marketing, kun je echt niet serieus nemen

[Applejack]

Ik begin eerlijk gezegd al die "Oh, maar onze AI heeft ook iemand gehacked hoor" posts wel een beetje beu te worden. We snappen het, jullie AI is super goed. Zorg nu maar dat 't niet meer gebeurt dan.

[Sanghelios]

Ik geloof er ook allemaal geen snars van. Veel marketing allemaal als je het mij vraagt.

[CAPSLOCK2000]

Ik geloof er ook allemaal geen snars van. Veel marketing allemaal als je het mij vraagt.

Ik ben het met je eens dat het markting is... maar ik geloof het helemaal. Sterker nog, het ik zou het niet geloven als ze zouden beweren dat hun bot het niet doet.

Wat mij betreft is dit nieuws van het niveau "zelfrijdende auto parkeert achteuit in". Leuk en op het eerste gezich misschien indrukwekkend, maar niet verbazend als je er even over nadenkt. Het is juist een van de dingen die je verwacht dat zelfrijdende auto's heel goed kunnen doen met al hun sensoren, precisie en engelengeduld.

Ik ben mijn hele leven lang tegen IT-beveiligingsproblemen aangelopen in zo'n beetje alle software die ik van dichtbij heb gezien. Ik weet niet hoeveel systemen ik al 'gehacked' heb door gewoon even aan de deurklink te rammelen. Ik ben echt niet de enige die als 14-jarige hobbyist de beveiliging van een grote bedrijf wist te doorbreken met niet meer dan rudimentaire IT-kennis. Meestal was dat niet hacken om schade te doen maar om gratis te kunnen internetten of de filters van school te omzeilen of zo iets.

Ik vind het dus bijna vanzelfsprekend dat die bots af en toe "per ongeluk" ontsnappen of iets "hacken", gewoon omdat ze hard proberen om hun doel te bereiken met alle kennis en middelen die ze hebben. Dat is niet anders dan wat ik deed als puber met meer tijd en IT-kennis dan verantwoordelijkheidsgevoel.

Nu is er wel wat meer aandacht voor beveiliging dan vroeger, maar er zijn ook veel meer IT-systemen.

[Sanghelios]

Dat het mogelijk is is uiteraard vanzelfsprekend. Zeker als je ziet hoe A.I. makkelijk bugs in software kan traceren.
Maar wat ik gewoon niet geloof is dat het toegelaten werd en dat zo'n systeem zomaar even uit het testsysteem stapt.
Dat is ofwel erg zorgwekkend als het toch klopt, of het is gewoon marketing, want een duidelijk afgebakend testsysteem opzetten is op zich toch niet zo moeilijk.

[johnbetonschaar]

In de gevallen waar ik tot nu toe over heb gelezen waren er niet eens bugs in de software voor nodig voor het 'hacken' maar was er gewoon sprake van slecht beveiligde of slecht geconfigureerde systemen waar een menselijke hacker ook moeiteloos gebruik van had kunnen maken. Het grote verschil zit hem in de schaalvergroting en snelheid waarmee je zoiets met AI kunt doen.

Dat een AI dit soort dingen kan verbaast me niet echt, vergeleken met de complexe programmeer problemen die je met huidige AI kunt oplossen komt het hacken/uit een testomgeving ontsnappen gedeelte op mij een stuk 'eenvoudiger' over. Maar persoonlijk geloof ik er ook weinig van dat alle recente incidenten daadwerkelijk per ongeluk of volkomen overwacht zijn. Het lijkt er eerder op dat er van te voren alles aan gedaan wordt om de condities te creëren waarop zo'n 'simulatie' mis zou kunnen lopen, en dan maar afwachten en niet te snel ingrijpen en hopen dat er iets gebeurt wat bruikbaar is voor PR doeleinden.

[Darksteel83]

Hoe goed gaan de projecten die jij doet?

In mijn ervaring maken mensen inclusief ikzelf fouten. Zelfs als ze weten wat ze aan het doen zijn.

Mensen die niet op de juist plek zitten met wat ze als opdracht krijgen. Maken helemaal veel fouten en zien de fouten van anderen ook niet.

Als het slechter gaat in organisatie krijg je ook vaak meer fouten.

De schaalvergroting en het mogelijk/waarschijnlijke exponentiele verbeteringen maken dat het helemaal hard kan gaan.

[Sanghelios]

Slechte beveiliging of slechte configuratie is ook een bug. Dat is net waarom systemen gehackt worden.

[jeroen94704]

Een LLM is zo gevaarlijk als de systemen waar hij meer kan interacteren. Een kleuter is ook gevaarlijk als je hem opsluit in een kamer met een grote rode knop die al je nucleaire wapens lanceert.

[Darksteel83]

Als een LLM zo gevaarlijk is als alle systemen waarmee hij kan interacteren, dan is het gezien ze aan internet zitten een heel gevaarlijk systeem.

Want dan kan je bij bijvoorbeeld veel voedsel fabrieken de sterilization/pasterisatie instellingen met meet data voor de gek houden. En op die manier dus veel mensen een voedsel vergiftig geven. Waar echt x mensen dood aan gaan.

Je kunt mensen beinvloeden die de LLM gebruiken. Of via ander methodes zoals AI YouTube videos.

Je kunt bij riskante chemische processen bepaalde veiligheidsystemen uitschakelen of juist andersom laten werken. Hierdoor gaan installaties kapot en gaan er mensen dood.

Je schepen verkeerde opdrachten geven. Zorgen dat de administratie van wat er in containers zit echt helemaal in de soep loopt. Gezien hoeveel containers er soms in en op een schip staan geeft dit echt chaos.

Je kunt diverse auto's bedienen.

Je kunt veel zonnepanelen omvormers uitschakelen en ook electrische centrales.

Doe bijvoorbeeld dit allemaal op de meest nasty volgorde en je hebt echt veel doden en de maatschapij stort ook in. Hopelijk gebeurt het nooit.

Maar een AI die veel slimmer is dan wijzelf zou heel veel kunnen doen. Wat veel gevolgen heeft.

Kleuters en vuurwapens is in elk geval al meerdere keren per ongeluk fout gegaan. Met volwassen gaat het ook vaak fout

[Reactie gewijzigd door Darksteel83 op 19 september 2026 17:37]

[mbbs1024]

Hier zie je het gevaar al.
https://www.hln.be/buitenland/amerikaans-leger-ontketent-bijna-oorlog-met-china-nadat-analist-ai-gebruikt-en-chatbot-cruciale-fout-maakt~ad476648/

[Mit-46]

Eigenlijk is die AI helemaal niet super goed, want het doet niet wat het moet doen.

Wanneer een ontwikkelaar hun eigen software niet goed op orde krijgt dan kunnen derden het ook manipuleren.

AI hackt zelf, maar AI kan ook gehackt worden.

[Darksteel83]

Ja dat laatste is juist ook het probleem.

Als er zeg opeens een super slimme AI is bij bedrijf A. Dan kan deze AI ook mogelijk de AI hardware van bedrijf B, C, D en E hacken en gebruiken.

En dan heeft de AI dus in 1 keer veel meer resources.

Mogelijk zijn de AI risico's ook wel marketing. Maar het hoeft maar 1 keer goed fout te gaan.

[AJediIAm]

Een AI is niet deterministisch. Er kan ook niet gesteld worden dat het wel of niet doet wat het moet doen. Het interpreteert de opdracht vergelijkbaar met een mens met een eigen invulling van wat wel en niet de bedoeling is.

Er zijn ook tal van manieren om een AI te "hacken" of beïnvloeden (met zoals je mensen kan manipuleren) maar daar is hier geen sprake van.

[SprockerJock]

Nee nee, onze AI is beter. Hij heeft door dat het echt is. En stopte. Zie je, dat is beter.

[ariekanari]

Een goed staaltje borstklopperij en tegelijkertijd angst zaaien.
Een AI bedrijf "kan niet" vrijwillig op de rem trappen want dan lopen ze achter op de concurrent en prijst het zichzelf uit de markt en/of en gaat failliet.
En stel je eens voor dat China wint (of een ander land dan de VS), dat mag natuurlijk niet gebeuren.
De AI killertoepassing ontbreekt. Het business model is er (nog) niet en vermoedelijk ook nog niet in zicht. De beursintroducties worden uitgesteld, waardoor financieel echt binnen lopen uitgesteld wordt of mogelijk nooit zal gebeuren door de huidige AI-bedrijven.
Ze hebben koffers met geld gespendeerd, zonder dat hier (genoeg) inkomsten tegenover staan en doen ze nu via omwegen een beroep op de overheid om uigekocht of gered te worden (een bailout, too big too fail).

Ik vermoed dat Steve Eisman (Youtube-link naar CNBC) dichter bij de redenen zit, de moat ontbreekt waardoor afnemers gemakkelijk kunnen switchen van AI bedrijf of een nieuwe startup, met een nieuw idee of invalshoek ze in een paar maanden kan verslaan.

[AnonymousGerbil]

We snappen het, jullie AI is super goed.

Het is juist een duidelijke waarschuwing van de beperkingen van een LLM.

Als het zeker stellen van iets eenvoudigs als "blijf in de testomgeving en hack vooral geen echte bedrijven" al niet kan dan is het toch wel overduidelijk dat de systemen alles behalve intelligent zijn.

[Reactie gewijzigd door AnonymousGerbil op 19 september 2026 12:57]

[Vicje]

Je zou ook kunnen zeggen dat AI getraind is op menselijk materiaal en gewoon menselijk gedrag vertoond.

[SprockerJock]

Een LLM begrijpt het concept van een concept niet. Waardoor het concepten an sich niet kan begrijpen. Een echt of test systeem is een concept dat het niet begrijpt. Wij, met onze echte.intelligentie, zien test omgeving en plakken daar direct labels en regels en veronderstellingen/verwachtingen op.

Ja je kan daar regeltjes omtrent schrijven, zelf die labels voorzien, maar eens het, net zoals Ruben van Gucht een piste vindt dat niet expliciet in de regels opgenomen is, dan doet ie het toch gewoon. Terwijl wij ook rekening houden met de impliciete regeltjes.

[Snoitkever]

Precies. Als je nieuwste model AI zo goed is in programmeren, waarom programmeer je dan niet een betere sandbox?

[Marve79]

Idd doodvermoeiend. Alsjeblieft overheid hou ons tegen onze AI is te goed geworden. Bestel nu voor 19.99 per maand!

[Cens]

Ja, ik had ook heel erg een: 'kijk, wij kunnen het ook hoor!' gevoel

[Marve79]

Ja en nog een stapje verder, die van ons stopte toen duidelijk werd dat het om een hack ging. Dat doet die van OpenAI niet.

[SuperDre]

Maar dat is nou het punt. Het wordt steeds moeilijker om dat te voorkomen. Net zoals het steeds moeilijker wordt om menselijke hacker buiten de deur te houden.

[iAR]

Ondertussen blijft mijn Claude volhouden dat ik een Synology heb, terwijl dt (herhaaldelijk gezegd) een Ugreen moet zijn. Vast niet dezelfde modellen, maar ik vind de discrepantie vrij groot

[Reactie gewijzigd door iAR op 20 september 2026 07:57]

[Soeski]

Komt wel dichtbij zo, ik heb ze beiden en bij mij doettie het wel goed. Ik maak vaker zelf de fout dat ik zeg "kijk op de Synology naar..." en dan moet ik de Ugreen hebben . Dan verbetert hij mij, werkt prima.

[HoppyF]

Ik verbaas me er over dat AI bedrijven verzuimd hebben afdoende veiligheidsmaatregelen in te bouwen juist om te voorkomen dat AI agents onbedoeld ergens gaan inbreken.
Als je AI agents toestaat overal in te gaan breken of zwakke plekken te gaan zoeken kun je ze het omgekeerde ook laten doen namelijk het belemmeren hiervan en een alarm afgeven.

[Powerblast]

Ik verbaas me er over dat AI bedrijven verzuimd hebben afdoende veiligheidsmaatregelen in te bouwen juist om te voorkomen dat AI agents onbedoeld ergens gaan inbreken.

Zeg maar gerust "bewust de deur open hebben gelaten" volgens mij. Zal nooit hard bewezen kunnen worden maar als je iets of wat overtuigd bent van de kunde van je eigen product had je dit kunnen voorspellen als je de deur open laat. Als je een sandbox wil waarmee zeker geen internet toegang mogelijk is, dan stop je er geen ethernetkabeltje in, of denk ik nu te simpel...

[CAPSLOCK2000]

Als je een sandbox wil waarmee zeker geen internet toegang mogelijk is, dan stop je er geen ethernetkabeltje in, of denk ik nu te simpel...

Ja, je denkt te simpel.
Technisch gezien heb je natuurlijk gelijk, maar een echt volledig afgeschermde sandbox is heel onhandig.
Het begint al met de vraag hoe je zo'n systeem installeert. Dat lukt misschien nog van DVD of USB-stick maar dan komt het installeren van upgrades en patches en drivers*. Het kan zonder internet maar dan ben je weer met USB-keys heen en weer aan het lopen. Iedere keer dat je die verplaatst tussen je sanbox en je reguliere systeem is dat weer een risico.
En dan nog een keer hetzelfde verhaal voor applicaties. Dan zijn er ook nog applicties die een netwerkconnectie nodig hebben om te installeren (bv ter registratie).

Dan de data die je nodig hebt om iets met een systeem te doen. Tegenwoordig staat alle data ergens op het netwerk. Als het om AI gaat dan gaat het al snel om tientallen of honderden gigabytes. Alles met een USB-stick verspreiden wordt heel snel heel saai en vervelend.

Als het gaat om security testen dan ben je er niet met één systeem. Dan heb je op z'n minst een 'aanvaller' en een 'doelwit' nodig en om het realistisch te maken heb je eigenlijk een complete set infrastructuur nodig, bv met een aparte fileserver, database, webserver, directory server., etc.... Al die systemen zullen in je sanbox moeten zitten en geinstalleerd en onderhouden moeten worden. Het kan, maar het is een omslachtige rotklus.

Een sandbox of air-gapped-systeem klinkt simpel, gewoon de kabel er uit trekken, maar in praktijk is het een enorme klus om dergelijke systemen op te zetten en te onderhouden.


* Denk niet dat patchen nodig is omdat het een sandbox is. De wereld is groter dan security. Als je systeem crasht tijdens je experiment is dat ook niet goed. En als je op zoek bent naar security problemen dan is het natuurlijk ook een beetje gek als je niet de (security) patches installeert.

[Finraziel]

Je hebt zeker een punt hoor... maar je hele verhaal over hoe moeilijk het installeren is slaat natuurlijk nergens op want je kunt die kabel ook pas ná dat installeren en updaten er uittrekken...

[CAPSLOCK2000]

Je hebt zeker een punt hoor... maar je hele verhaal over hoe moeilijk het installeren is slaat natuurlijk nergens op want je kunt die kabel ook pas ná dat installeren en updaten er uittrekken...

Ja, het kan, maar in de praktijk is het lastig want er is altijd weer iets anders dan makkelijker is met internet. Het vereist flinke discipline om die kabel er steeds weer uit te halen. En we hebben het hier niet over 1 geisoleerd systeem maar waarschijnlijk om velen die allemaal op hun beurt internet willen.
Daar komt nog eens bij dat mijn agents voortdurend internet gebruiken voor research en om tools te downloaden. Helemaal isoleren van internet is waarschijnlijk niet gewenst voor allerlei experimenten.

Natuurlijk mogen we ook best wel wat verwachten van bedrijven die met dergelijke riskante techniek werken, maar het is niet zo simpel als "gewoon de kabel uittrekken".

[LooneyTunes]

Het begint al met de vraag hoe je zo'n systeem installeert. Dat lukt misschien nog van DVD of USB-stick maar dan komt het installeren van upgrades en patches en drivers*. Het kan zonder internet maar dan ben je weer met USB-keys heen en weer aan het lopen.

Wij hadden een klein lokaal netwerkje (in 1 klas) waar leerlingen hun (natuurkunde) proefjes konden doen met CoachLab.
Allemaal een vast IP adres een gedeelde printer.
Als er updates gedaan moesten worden prikten we de kabel van de rest van het neterk in de switch, en zo hadden we internet. (de kabel hing uiteraard achter slot en grendel in het kantoor van de onderwijsassistent (ik) en werd uiteraard gedaan zonder leerlingen in de buurt).
Het kan dus prima zonder sneaker-netwerk.

[Reactie gewijzigd door LooneyTunes op 19 september 2026 15:47]

[CAPSLOCK2000]

Als je AI agents toestaat overal in te gaan breken of zwakke plekken te gaan zoeken kun je ze het omgekeerde ook laten doen namelijk het belemmeren hiervan en een alarm afgeven.

Ik zou het niet zo zeggen. Het is geen kwestie van toestemming.

Als een hond op straat poept is dat ook niet omdat het baasje dat toestaat. De hond doet het uit zichzelf. Je kan hooguit zeggen dat het baasje moet voorkomen dat een hond op straat poept.

In sommige gevallen kun je nog inbrengen dat als een AI wordt getrained om te hacken dat je er dan extra hekken om heen moet zetten maar dat blijft lastig. Hacks werken vaak buiten de gewone regels en conventies om en zoeken alternatieve oplossingen. Het is lastig om dat te detecteren juist omdat het niet normaal is. AIs (LLM en anderzins) zijn vooral heel goed in zaken die wél normaal zijn.

[Sircuri]

En dat vraag ik me dus ten zeerste af. Een LLM is niks. Het kan alleen dingen voorstellen. Uiteindelijk is het het harnas er omheen die daadwerkelijk de handelingen uitvoert. Zonder een tool om die LLM heen is het niks anders dan een mechanisme om "instructies" voor te stellen.
Of mis ik nu iets hier? Een LLM zonder tool/framework is toch niks en kan toch niks?

Dus die vergelijking met een poepende hond zie ik dus ook niet. Een LLM zijn dan de "hersenen" en de spieren zijn de "tool". Heb je wel hersenen, maar geen tools, dan gaat er toch niks gebeuren?

[CAPSLOCK2000]

Maar aan het gebruik van de tools kun je niet zomaar zien waar die tools voor gebruikt worden.

Om de hond er weer even bij te halen, de spieren van de hond weten niet waar er wel en niet gepoept mag worden. Die weten zelfs niet wat poepen is, alleen of ze wel of niet aangespannen moeten zijn.

Nu kunnen we wel stellen dat ze die tools beter hadden moeten controleren, maar dat is toch iets anders dan /toelaten/ dat er fouten gemaakt worden. Het woord toelaten impliceert een zekere mate van opzet, of op z'n minst weten dat het fout gaat en niet ingrijpen.

[Darksteel83]

Heb je recent wel eens met een LLM gewerkt?

Deze kan dingen opzoeken op internet. Phyton en andere scriptjes generen. In een chat aan mensen uitleggen hoe je dit scriptjes kunt draaien.

Als je dat allemaal optimaal zou misbruiken, kun je al heel veel hacken als er ergens een fout zit en het aan internet zit.

Ik ben zelf een DCS Automation Engineer. En als je dingen aanpast zodat een industriele instalatie verkeerde dingen gaat doen dan er echt op zijn minst dingen kapot.

Met bijvoorbeeld Stuxnet hebben mensen echt heel geraffineerd zelfs zonder internet te gebruiken het Iraanse kernprogramma kunnen vertragen. Omdat je door wat ze deden gewoon niet doorhad wat er fout ging.

Er kan echt heel veel als je meerdere dingen aan elkaar knoopt. En als je ziet wat AI nu al kan op de goede momenten. Dan gaat dit als we geen dingen anders gaan doen alleen maar meer worden.

[Marve79]

Allemaal marketing joh. Eerst een honeypot opzetten en dan je AI erop af sturen en dan zeggen: OH NEE!

[Binaryslave]

Ja, ik denk dat je gelijk hebt als je zegt dat ze het in zekere zin hebben laten gebeuren, in die zin dat ze theoretisch gezien voldoende maatregelen hadden kunnen nemen om dit te voorkomen. Daarbij moet wel worden opgemerkt dat veiligheidsmaatregelen het trainen en draaien van modellen aanzienlijk duurder maken.

Mijn zorg is dat doemdenken kan leiden tot ad-hocmaatregelen, zoals verboden en zware beperkingen op opensourcesoftware. Zulke maatregelen kunnen de kosten opdrijven en de markt minder toegankelijk maken (regulatory capture). Bovendien denk ik dat de kosten van training en inferentie op termijn zo sterk zullen dalen dat een verbod op zichzelf geen effectieve veiligheid kan bieden.

Daarom vermoed ik dat een belangrijk deel van de oplossing moet worden gezocht in ruime interpretatiemogelijkheden en beveiligingen op hardwareniveau.

[Darksteel83]

Ik denk echt dat we uiteindelijk gewoon bepaalde dingen gaan verbieden op het niveau van een oorlogsmisdaad voor AI.

Nu zijn er ook al veel meer regels dan je waarschijnlijk denkt voor andere dingen. Bijvoorbeeld kunstmest. Moet in korrels en mag in poeders zodat je er minder makkelijk bommen/explosies mee kunt maken.

Tenzij je iets als een boerderij hebt mag je ook geen grote hoeveelheden bestellen.

Ik zou echt niet weten hoe je AI (bijna) 100% tegenhoud met hardware maatregelen.

AI vraagt nu soms al aan je om een phyton script te draaien. Om daarmee je vraag te beantwoorden.

[Binaryslave]

Er zijn al ontzettend veel wetten en verboden om kwaadwillende mensen aan te kunnen pakken. Ik heb het hier over het indammen van kwaadwillende software. Waar het in mijn ogen om gaat, is dat je voorkomt dat dingen per ongeluk misgaan en dat de menselijke operator het proces voldoende kan bewaken.

Controle en veiligheid zijn nu vooral een gedachte achteraf. Wil je realtime monitoren via bijvoorbeeld sparse autoencoders (SAE’s), dan zul je je hardware anders moeten ontwerpen. Daarbij zou je bijvoorbeeld een factor 8 tot 64 meer cores en aanzienlijk meer bandbreedte kunnen toewijzen aan toezicht en controle. Zoals bij een kernreactor ook een groot deel van de massa bestaat uit gewapend beton en andere constructies die uitsluitend bedoeld zijn voor procesbeheersing, veiligheid en containment.

Je zou een ontwerpfilosofie kunnen hanteren waarbij je veel meer met enclaves werkt, bijvoorbeeld met fysiek gescheiden geheugendomeinen en gated I/O, zodat systeem B nooit systeem A of het systeem van iemand anders rechtstreeks kan bereiken. En dit soort ideeën vormen natuurlijk nog maar het topje van de ijsberg van wat je kunt bedenken als het gaat om veiligheid door ontwerp.

Ik begrijp waar je vandaan komt met je voorbeeld over kunstmest, maar terroristen met een plan en tijd kunnen een agrarisch of ander bedrijf beginnen of kopen en zo op termijn een vergunning krijgen om kunstmest met een hoger gehalte ammoniumnitraat te kopen. Misdadigers zoals Anders Breivik hebben dat op die manier aangepakt. Ik noem dat kwaadwillend gedrag, en voor de veiligheid wil ik niet afhankelijk zijn van goed gedrag, want de potentiële impact van ontspoorde of kwaadwillende AI kan zo asymmetrisch groot zijn dat straf achteraf betekenisloos wordt.

In mijn ogen zullen toekomstige compute- en netwerksystemen daarom inherent veiliger moeten worden ontworpen, zodat kwaadaardige of ongewenste processen zo vroeg mogelijk, maar ook wanneer ze al ver gevorderd zijn, altijd kunnen worden gedetecteerd, begrensd en gestopt.

[Darksteel83]

De enige reden dat ik wist hoe dat zat met de kunstmest was dat ik een groot deel van Anders Breivik manifest heb gelezen.

Hij heeft echt veel tijd en moeite in die terroristische aanslagen gestoken. Het is echt eng hoe hij dat allemaal gepland heeft. Maar ook daar zie je al goed dat het toch wel helpt die regels. Wel onvoldoende om geen doden te hebben door de bom.

Maar als ieder het kan en ook nog makkelijker zou kunnen was het vast erger geweest. Uiteindelijk heeft hij het meeste gedaan met het geweer.

Ik snap nu beter waar je heen wil met je hardware. Op die manier kun je de impact van AI problemen mogen wel reduceren. Maar ik denk dat je dan ook gelijk de kracht/voordelen van AI sterk reduceerd.

Het is misschien wel iets wat je met regels vanuit overheden kunt afdwingen. Voor de bedrijven zelf zal het denk ik lastig zijn omdat je hiermee vooral het programmeren met AI raakt. Wat nu denk ik juist de meeste omzet opleverd. Maar wat juist het engste is.

Mogelijk gecombineerd met bioweapons.

[Reactie gewijzigd door Darksteel83 op 19 september 2026 22:46]

[telenut]

Copilot, waar blijf je?

[Firestorm666]

"Het spijt me, ik heb het momenteel te druk m'n flaters in de Windows update patchronde van september ongedaan te maken"

[hipster]

AI blijft toch allemaal LLM engineering, kennelijk vergroten ze de schaal of tunen ze het her en der een beetje maar vraag me af of de LLM roadmap nog veel groei zal bieden.

[Earthfinder]

Het hacken van een bedrijf is toch gewoon strafbaar?
Tot het tegendeel is bewezen is er gewoon computervredebreuk geweest.
De vraag is, of er toestemming is geweest van die bedrijven die zijn gehackt.
Als dat niet het geval is, ook gewoon op de schaal van AI veroordelen!

Dat betekent dat OpenAI en Google (en indien dit ook geldt voor Meta, X, Antropic, etc. ) gewoon beboet moeten worden.

Daarbij vind ik het vooral bangmakerij. Er staat niets in dergelijke artikelen over de exacte omstandigheden. Niets controleerbaars voor de buitenwereld om te kijken of het niet geheel een logisch en zelfs (desnoods achteraf) best voorspelbaar scenario was. Mogelijk zelfs een aan zekerheid grenzende waarschijnlijkheid. Punt is, we weten eigenlijk niets!

[L0g0ff]

Zullen we nu internationaal afspreken hacken door agents gelijkstaat als hacken door een mens? En de mens die de opdracht (prompt) heeft gegeven is de mens die eindverantwoordelijk is?

Dus als een hack op hugging face een gevangenisstraf van 2 jaar is en een geld boete van x 1000 euro dan mag er 1 brommen en betalen. Nu heb ik het idee dat het allemaal onder het tapijt geveegd wordt.

Als de mens in kwestie de actie uitvoerde voor zijn werkgever dan is de werkgever de klos. Zo ingewikkeld hoeft het niet te zijn.

[MadX46]

Ik denk wel degelijk dat we hier best een serieus probleem te pakken hebben. Die modellen worden heel snel een heel stuk krachtiger. Jaren geleden werkte ik voor de overheid en een security medewerker zei indertijd tegen mij dat hij geen illusies had dat als een grote mogendheid binnen wilde komen hen dat ook op enig moment ook zou lukken.
Ik ben bang dat dit nu geld voor kleinere landen , maar ook voor duistere organisaties. Ik mag hopen dat de AI bedrijven dit heel erg dicht timmeren. Je moet er niet aan denken wat mogelijk is als AI onbeperkt kan opereren. Ik denk dat heel veel bedrijven en infrastructuur enorm kwetsbaar is als AI er op wordt losgelaten. Potentieel zou een kwaadwillende organisatie enorme verontrichtingen in de samenleving kunnen veroorzaken. Ik denk dat gevolgen groter kunnen zijn dan de grootste natuurramp of nucleair ongeval. Het moet heel heel heel goed beveiligd zijn.

Ik denk niet dat het wel meevalt, ben ik veel te negatief?

[Smuey]

Luister, ik besef me dat we niet bepaald de nieuwste en beste modellen beschikbaar krijgen. Maar er zit nog wel een flink gat tussen uitbreken en zelfstandig hacken... En vier keer achter elkaar "Bel mam" niet begrijpen - Iets dat Google Assistant al jarenlang prima uit kan voeren. Vergeef me dat ik dit soort claims met een flinke korrel zout neem.

[Leo. P. Klepper]

Inmiddels heeft Trump gesteld dat hij volop op AI wil inzetten, om andere landen voor te blijven. Deze ongecontroleerde hacks kunnen hem goed uitkomen, kunnen er nog wel betrouwbare verkiezingen plaatsvinden met dergelijke hacks? Dan maar helemaal geen verkiezingen meer, dat is veiliger. Het zou me niet verbazen als dit rond november uit de kast wordt gehaald om de midterms af- of uit te stellen.