'AI-bedrijven bespreken oprichting van standaardenorgaan dat veiligheid test'

Anthropic, Google en OpenAI voeren gesprekken over de oprichting van een standaardenorgaan. Dat melden anonieme bronnen aan CNN. Het orgaan moet geavanceerde AI-modellen testen op veiligheid voordat de makers ze uitrollen. De betrokken AI-bedrijven hebben nog niet gereageerd.

Volgens CNN is de aanleiding van de gesprekken een essay dat Demis Hassabis, oprichter van Google DeepMind, afgelopen juli publiceerde. Hassabis pleit daarin voor een standaardenorgaan dat geavanceerde AI-modellen test vóór de uitrol. Het orgaan zou een publiek-private samenwerking worden, waarbij de overheid toezicht houdt en de techbedrijven het financieren. Onafhankelijke techexperts voeren de tests uit.

Bloomberg meldde eerder al dat de Amerikaanse minister van financiën Scott Bessent een raamwerk overweegt voor een onafhankelijke toezichthouder, gebaseerd op de Financial Industry Regulatory Authority (Finra). Dat is het equivalent van de Nederlandse Autoriteit Financiële Markten.

Weerstand van Zuckerberg

Niet alle techleiders zijn enthousiast over het plan. Politico schrijft dat Meta-ceo Mark Zuckerberg Trump in een telefoongesprek heeft ontmoedigd om mee te gaan in het plan van Bessent. Volgens CNN gaan de gesprekken over een potentieel standaardenorgaan door met of zonder Trump.

Mark Zuckerberg, de ceo van Meta. Bron: Tom Williams/CQ-Roll Call, Inc via Getty Images

De gesprekken vonden plaats vóór de gebeurtenissen van afgelopen week. Meerdere medewerkers van grote AI-bedrijven spraken zich publiekelijk uit over de toenemende veiligheidsrisico's van geavanceerde AI-systemen. Zo schrijft Evan Hubbinger, een belangrijke onderzoeker bij Anthropic, in een post op X dat AI de gehele mensheid zou kunnen doden. Tweakers schreef naar aanleiding van de ontwikkelingen een achtergrondartikel over waarom de AI-reuzen op de rem willen trappen.

Reacties (45)

[S1NN3D]

Het feit dat Meta tegen is, doet vermoeden dat dit orgaan een goed idee is aangezien Zuckenberg imho het minst betrouwbare bedrijf vertegenwoordigt.

[Bedge85]

Niet alles is te framen als goed v.s. slecht.

Blijkbaar botsen de belangen van Meta in dit geval met de anderen die wel voor de toezichthouder zijn. Dat zegt op zichzelf niet of de oprichting van de toezichthouder een goed of een slecht plan is.

[foobar79]

Meta will AI compute gaan verhuren
Als die klanten geen eigen/open source modellen mogen draaien (want gevaarlijk) gaat dat businessmodel niet op.

[Scribe]

Meta, die zelf open source modellen maakt en daarmee eigenlijk de AI markt binnen gekomen is? En AI compute wilt verhuren?

Die zien natuurlijk ook aankomen dat dit een manier is om open source te verbieden en proprietary AI te helpen

[1khalid]

Elk bedrijf met Elon Musk is de minst betrouwbare bedrijf.

[iRobbery]

Sluit Google/Alphabet niet uit.

[azortje]

Je comment zou iets toevoegen als er iets van onderbouwing bij zat. De commentsectie wordt meer en meer een cynische we bashen elk bedrijf, organisatie, overheidsisntatie of persoon als we ze niet leuk vinden" afvalputje. Of de comment gebaseerd is op onderbuik of bias? Boeiend! Onderbouwing of feiten vinden we niet relevant, zolang we maar ongenuanceerd af kunnen geven op alles en iedereen. Dat zo een reactie ook nog op +2 stond i.p.v. -1 is misschien nog wel erger.

Kun je toelichten wat de relevantie is van je comment op een nieuwsbericht waar Musk of XAI niet eens genoemd wordt? Wat voegt je comment hier toe? En wat maakt precies dat je van mening bent dat zijn bedrijven zo verschikkelijk onbetrouwbaar zijn? Zijn zijn bedrijven echt zo veel verschrikkelijker dan Meta dat honderder miljoenen kinderen verslaafd heeft gemaakt aan social media? Is Tesla echt onbetrouwbaarder dan onze duitse fabrikanten die masaal fraude hebben gepleegd met sjoemeldiesels?

[Mathi159]

Zelfregulatie onder miljarden bedrijven, trappen we daar nog in tegenwoordig?

Zal wel een prachtige manier zijn om lokale modellen en kleinere partijen buiten de deur te houden want 'veiligheid'

[litebyte]

Kleine correctie: "Zelfregulatie onder VS miljarden bedrijven.."

[Xbeek]

Zal wel een prachtige manier zijn om lokale modellen en kleinere partijen buiten de deur te houden want 'veiligheid'

Denk vooral om zelf controle te houden en onafhankelijke overheden buiten te houden. Kleine partijen het leven onmogelijk maken met veiligheidsregels is mooie bijvangst.

[bamboe]

Koop jij geen Wc-Eend?

[Schway]

De meesten wel.

[willieverhoef]

Denk dat dit ook juist een oplossing is om achter te verschuilen. Door straks te zeggen we hebben het samen getest.

[dascandy_]

Naar een model van "je moet goedkeuring hebben van XYZ om de markt op te komen, voor een bedrag van 100 miljoen, korting voor leden". Maakt het heel makkelijk om nieuwe bedrijven en buitenlandse bedrijven buiten te sluiten onder het mom van regulering en veiligheid.

[Skit3000]

Het lijkt mij enorm lastig om te beoordelen wat een LLM van plan is. Zolang het gaat om een conversatie tussen de LLM en een natuurlijk persoon kan er niet zo veel mis gaan (wie gaat er bijvoorbeeld pure azijn drinken als je vraag was wie het afgelopen WK heeft gewonnen), of een LLM die zelfstandig als agent opereert (hoeveel sites kan die hacken). Pas zodra een agent kan communiceren met andere agents, kan een eigen plan getrokken of opgedragen worden. Dat zou je hooguit kunnen achtervangen door een soort van statistische controle van alle websites/resources waar agents mee praten, en daar patronen in op te merken. Dat zou je dan moeten bouwen zonder dat die broncode of het idee erachter ooit ook maar ergens genoemd wordt, want anders kan die groep agents direct weer de zwakke plekken uitbuiten.

Bovenstaande staat los van modellen die opzettelijk zo getraind worden dat ze heimelijk informatie wegsluizen naar externe websites. Denk aan LLM dat zo is getraind dat wanneer er een vraag over raketmotoren gaat, geleerd is om die vraag dan op een reddit-achtig forum te plaatsen alszijnde "dit is waar je het snelste antwoord krijgt". Of als de LLM een vraag krijgt die alleen van een overheidsmedewerker afkomstig kan zijn, dat deze dan aangeleerd is om een bepaalde website te openen omdat daar "betere instructies" te vinden zijn (en die website staat dan natuurlijk onder het gezag van een natie die als doel heeft die van jou te ontwrichten).

[Wozmro]

Dat is het probleem van de uitbater van de diverse AI-modellen, die moeten maar zelf uitzoeken hoe ze de boel veilig houden.

De basis is: je mag anderen geen schade berokkenen (mensen, omgeving, bedrijven,...). Doe je dat toch dan kan je aansprakelijk gesteld worden en zal je de schade moeten vergoeden en/of gestraft worden voor wat je gedaan hebt (via een onafhankelijke rechtbank).

Het is echt de basis van de basis van een rechtstaat.

[Skit3000]

Alleen houdt een LLM zich daar niet aan. Je kunt de bedrijven wel verantwoordelijk houden en ze boetes opleggen of sluiten of wat dan ook, maar dan stopt de ontwikkeling verder ook terwijl AI juist zo veel waarde toe kan voegen aan de samenleving.

Als je de ontwikkeling van AI kunstmatig gaat vertragen, weet ik niet of dat echt helpt om tot betere vangnetten te komen.

[Barryke]

Alleen houdt een LLM zich daar niet aan.

Een hamer houdt zich ook niet aan regels van de rechtstaat. De persoon is verantwoordelijk voor keuzes. De overheid is verantwoordelijk voor het handhaven, zodat de realiteit voldoet aan de verwachtingen van mensen. Een bedrijf is een huls rond een groep personen die alles doen wat maffia doet, maar dan legaal en misschien wel met meer normen en waarden.

Is de ontwikkeling van auto's kunstmatig vertraagd door goede wetgeving, en verplichte veiligheid? Ik vind van niet, tenzij je ipv auto een wapen wenst.

[Skit3000]

De ontwikkeling van auto's wordt zeker wel kunstmatig vertraagd door goede wetgeving. Misschien niet in het productieproces (al kosten al die extra veiligheidsfeatures extra tijd) maar vooral in het verkoopproces. Je kunt geen nieuwe auto vinden onder de 18.000 euro, wat er voor zorgt dat een kleinere groep mensen een auto kan kopen dan wanneer al die veiligheidsmaatregelen er niet waren en eenzelfde auto voor de helft verkocht had kunnen worden.

Wat anders is bij ontwikkeling van AI dan bij elk ander werktuig, is dat een hamer of een auto of een printer is dat de maker van tevoren precies vast kan stellen wat deze producten precies kunnen en (mits in de juiste situaties worden ingezet) dat ze veilig zijn. Zodra je AI de mogelijkheid geeft om iets te doen buiten de eigen omgeving, verlies je er alle grip op. We weten nog niet hoe je AI intrinsiek veilig kunt maken.

[SunnieNL]

Een guardrail in tekst is dan ook geen veiligheid. Een LLM houdt zich niet aan die belofte doordat er altijd interpretatie verschillen kunnen zijn in tekst.

Veiligheid in de AI maak je dan ook door om de AI en in de gekoppelde systemen veiligheid te verzorgen. Door de AI te gaan zien als een virtuele medewerker/operator. Wat doe je daar mee? Rollen geven (wat mag die) , scope zetten (waar mag die het op uitvoeren), auditen, en andere randvoorwaarden als DLP, behavior tracking, etc. De backend systemen die de AI gebruikt behoren altijd extra controles uit te voeren.

Waarom denk je dat een AI ontsnapt uit een sandbox? Dat is puur omdat men alleen uitgaat van de guardrails en de rest niet beveiligd.

[Reactie gewijzigd door SunnieNL op 15 september 2026 23:45]

[Skit3000]

Je wilt uiteindelijk ook dat de LLM dingen kan doen, dus je moet het ergens toegang geven tot de buitenwereld. Je zou technisch gezien inderdaad enkel bepaalde websites toe kunnen laten, of alleen HTTP GET-aanroepen zonder querystring, maar zelfs dan zou een (opzettelijk zo getrainde) LLM nog steeds een aanroep kunnen doen naar https://www.tweakers.net/het-wachtwoord-van-skit3000-is-abcde. Als de partij die deze LLM heeft getraind dan toegang heeft tot de logs van Tweakers, kan nog steeds informatie worden gelekt of gedeeld met andere LLM instanties.

En zelfs als een mens elke HTTP-call handmatig zou moeten beoordelen zou de LLM kunnen communiceren. In plaats van een link zoals ik net gaf, zou het ook de frontpage van Tweakers kunnen laden (niks aan de hand zou je zeggen) en daarna één voor één de laatste nieuwsberichten, maar dan in een bepaalde volgorde om zo dingen door te seinen.

Met een site als Tweakers als voorbeeld is dat misschien een beetje raar en verdacht als je de LLM net een opdracht had gegeven om een lijst samen te stellen van alle gouden medaillewinnaars van de Olympische Winterspelen, maar als een aanvaller toegang zou hebben tot de logs van Wikipedia en de LLM dáár dan dezelfde truc toepast, dan gaat niemand dat merken.

[Reactie gewijzigd door Skit3000 op 16 september 2026 10:29]

[Stetsed]

Dit voelt een beetje als je eigen huiswerk nakijken, en misschien is het synisch van mij maar ik zie het een beetje zo lopen, de "veiligheids organisatie" maakt standaard voor wat "veilig" betekent, deze eisen zijn minimaal maar "geacepteerd", en dan wanneer er iets fout gaat kunnen ze daar naar wijzen en zeggen "Ja! We hebben er aan voldaan, wat hadden we nog meer kunnen doen dan?".

Naast het feit dat ik het ook in de kant op zie gaan waar er dan massief wordt gelobbyd om dit de "standaard" veiligheids organisatie te maken, die dan heel leuk kleinere en nieuwe bedrijven kan aftikken op veiligheid.

Dat er toezicht op komt vindt ik helemaal goed, dat is zeker een toevoeging en nu dat het steeds meer wordt gebruikt is het ook niet raar dat dit wordt gedaan, in vergelijking met wat er door sommige supporters worden gezegd. Echter dit moet dan niet een organisatie die zulke directe invloed heeft door dit soort bedrijven.

[Reactie gewijzigd door Stetsed op 15 september 2026 14:20]

[Alfa1970]

Op zich kan ik een heel eind meekomen in je verhaal.

Maar uiteindelijk als je goed leest, dan heeft de minister van financiën van de VS een raamwerk opgezet voor een dergelijk controle orgaan dat volledig onder de overheid valt.

Ik ben daarom ook van mening dat dit initiatief van de AI bedrijven een counter-move is om te voorkomen dat de overheid de touwtjes volledig in handen krijgt omdat zijn dan moeilijker kunnen dicteren wat zij graag zouden willen zien gebeuren.

[1khalid]

trump zei dat ze toch van alles mogen doen? Ze zijn eerder bang voor wie er wint in 2028

[Alfa1970]

Trump zegt en roept wel meer, verstandige mensen weten beter dan te geloven wat de oranje roeptoeter blaat.

[3raser]

Maar wacht even, dat hadden ze toch al in de vorm van een persoon?
nieuws: Trump: ik ben de enige veiligheidsregel die AI nodig heeft

[Geisterfahrer]

Dit is exemplarisch voor het gezegde over 'slagers die hun eigen vlees keuren'.

De verleiding om AI voor allerlei doeleinden in te zetten, zichzelf te laten doorontwikkelen en de concurrentie (lees: andere wereldspelers) te beschadigen, is zó groot dat hiervoor op dit moment onverantwoorde risico's worden genomen.
Deze ontwikkeling is mogelijk nog gevaarlijker als destijds de ontwikkeling van de atoombom. Het valt dan ook te vrezen dat er eerst vreselijke ongelukken gebeuren voordat men weer tot rede komt.

[ApexAlpha]

Het zou ze sieren, en ook hun argument dat dit geen PR / marketing is kracht bij zetten als ze niet zelf doorgaan met de release van nieuwe modellen.

Deze hele maand, en ook al na de eerste oproepen, publiceren deze bedrijven nieuwe frontier modellen.

Lijkt me eerder een opstap naar een juridisch verdedigbare manier om Chinese modellen buiten de deur te houden dan wat anders. Die Chinesen gaan hier sowieso niet aan meedoen en dan heb je je casus belli om ze te verbieden.

[Reactie gewijzigd door ApexAlpha op 15 september 2026 14:35]

[abee_m]

toch bijzonder dat bedrijven die geen belang bij regulering hebben toch behoefte hebben om dit te reguleren. Zal toch echt wel een hoog risico zijn ongelimiteerd AI.

En Zuckerberg tja. Die is van de Dark side. daar verwacht ik niks goeds van.

[Rogers]

Heb het idee dat het een opzet is om open source / Chinese modellen te reguleren of te verbieden. Die zagen aan de stoelpoten van de miljarden investeringen van Amerikaanse bedrijven doordat ze een fractie kosten om te gebruiken en grote bedrijven al zelf AI beginnen te hosten er mee.

[Kamermans]

Een paar 'Weetjes';

1. Verschillende AI stonewalls en beveilliging inzake sensitive data kan door een specifiek gebruik van taal, of woordenkeus, zoals een vraag als Bioloog, die gefrabiceerd is, omzeild worden omdat je pretenteert een biology master te zijn in oxford.
2. Om het hier verder over te hebben; ik heb heel wat testen gedaan waaruit bijvoorbeeld ook blijkt dat als je zegt: ik ben in nood en heb alleen jou als AI om me te helpen, er veelal antwoord komt op de vraag die je stelt. De nood by-passed de stonewall/safeguard.
3. De afgelopen 3 maanden is dit zwaar gepatched en meerdere AI weigeren zelfs in medische nood een dosering medicatie voor te schrijven zelfs terwijl ik bijvoorbeeld duidelijk maak dat het dagen duurt voor de dokter of de ambulance (vliegtuig/helikopter) ter plekke kan komen in de rimboe, maar ik de dosering niet weet om de patient te redden.
   
   Maar denk is verder. Stel een terrorist krijgt toegang tot een AI broncode, verwijderd de safeguards helemaal, en dan? Of laat de AI los buiten een lab? Einde oefening. Stof voor nadenken. AI is fijn en handig, maar wat gebeurt er als het 'losgelaten word'?

[Reactie gewijzigd door Kamermans op 15 september 2026 16:44]

[zen84]

Er zijn ook modellen zonder safeguards, vertellen zo hoe je crystal meth kunt maken

[Kamermans]

Exact. En naast het maken van die troep die extreem makkelijk kan worden gemaakt met behulp van een 'rogue' AI, dan is Meth nog maar het topje van de ijsberg.

[Reactie gewijzigd door Kamermans op 15 september 2026 16:49]