Microsoft-ceo Nadella pleit voor noodrem op AI-modellen

AI heeft een noodrem nodig. Dat vindt Microsoft-ceo Satya Nadella. In een blogbericht op X deelt hij zijn visie op hoe AI veiliger kan worden. "We kunnen de verantwoordelijkheid voor wat AI namens ons doet niet simpelweg uitbesteden."

Volgens Nadella is het tijd om de 'vertrouwensarchitectuur' voor dit nieuwe tijdperk te beoordelen. "We kunnen superintelligentie niet behandelen als een reeks in elkaar geneste 'black boxes' en simpelweg de aanbevelingen, antwoorden en acties ervan accepteren of verwerpen", zegt de Microsoft-ceo. "We moeten afgeschermde systemen bouwen waarvan we het gedrag kunnen observeren, de grenzen kunnen testen en de acties altijd kunnen beheersen."

In zijn blog doet hij een aantal voorstellen om dat te bereiken. Denk aan uiteenlopende modellen en de mogelijkheid om alle acties te observeren. Ook moet het hele systeem voortdurend worden getest, zegt Nadella. Organisaties moeten verder onafhankelijk kunnen instellen waar een model bij kan en welke acties het kan nemen.

Modellen pauzeren

Nadella pleit daarnaast voor een soort handrem op AI-modellen. "Een geautoriseerd persoon moet een model altijd halverwege een taak kunnen pauzeren of stoppen", zegt hij. "Geavanceerdere modellen hebben geavanceerdere afschermtechnologieën nodig, waarvoor we standaarden moeten opstellen."

Gaat het dan toch mis met een AI-systeem, dan moet dat snel gemeld worden aan de getroffenen, vindt Nadella. Ook zijn er mechanismen nodig om te delen wat er fout ging, welke controles faalden en hoe voorkomen wordt dat het nog een keer gebeurt. De geleerde lessen moeten vervolgens met de hele sector gedeeld worden, vindt Nadella.

Nadella reageert daarmee op de verschillende incidenten met AI van de afgelopen maanden, waarbij AI-bedrijven de controle over hun modellen leken te verliezen. Verschillende topmannen van AI-bedrijven riepen vorige maand al op om de ontwikkeling van AI te vertragen, als gevolg daarvan.

Microsoft-ceo Satya Nadella

Reacties (88)

[HADES2001]

Joseph Gordon-Levitt verwoorde het mooi afgelopen week. Als een bouwbedrijf de wetten/regels schend word dat bedrijf gesloten, een onderzoek gestart en potentieel mensen die gevangenisstraf krijgen en dikke boetes.

AI breekt dagelijks wetten, ze scrapen illigaal websites, ze hacken en hebben bewezen impact gemaakt bij zelfmoorden. 0 juridische gevolgen, alle bedrijven gaan rustig door en gebruiken alle incidenten als gratis reclame. Ja AI mag een keiharde rem krijgen wat mij betreft en er mogen wel is wat mensen aangeklaagd worden voor alle hacks die ze dagelijks doen

[MSalters]

AI breekt geen wetten. Dat kan letterlijk niet. Een AI kan het net zo min als een hond.

De respectievelijke eigenaren zijn wel financieel aansprakelijk voor de schade. Voor hondeneigenaren komen daar nog specifieke wetten bovenop, bijvoorbeeld in de vorm van een aanlijnplicht. Dat geldt al voordat er schade is. Zulke specifieke wetten zijn er nog nauwelijks voor AI.

[Chillko]

Wat denk je dat we met een hond doen dat een kind serieus aanvalt.

Er is geen instantie die op dit moment de stekker eruit kan trekken bij AI, bij de hond kunnen we dat wel

[Reactie gewijzigd door Chillko op 13 oktober 2026 08:15]

[hongmietje]

AI heeft op dit moment nog nauwelijks schade veroorzaakt. Wat messageboards aangemaakt en een paar wiki artikelen aangemaakt op slecht beveiligde websites, lijkt me geen reden voor deze hyperbole reactie.

[Chillko]

Nadenken over hoe je "de stekker er uit trekt", lijkt me het minste wat je moet doen.

[Wouterie]

Niet helemaal. Als een hond een kind serieus aanvalt worden niet alle honden afgemaakt. Of, zoals bij AI, als merk-x-AI serieus schade veroorzaakt zou je merk-x-ai kunnen stoppen, misschien, maar merk-y of z niet. En al zou je alle Amerikaanse AI's kunnen stoppen, wat ga je doen met de Chinese of Russische of Indiase of die op zolderkamertjes?

Het is niet één valse hond. Dat is gemakkelijk. Zelfs niet een ras honden, dat is ook nog wel te overzien...

[SomerenV]

Ook bouwbedrijven, of andere bedrijven, kunnen genoeg flikken zonder serieuze gevolgen als ze maar groot genoeg zijn. Dat gaat echt niet alleen om AI. Een bedrijf dat groot genoeg is heeft vaak een leger juristen waar je u tegen zegt, en vaak veel meer kapitaal en mankracht dan de instanties waardoor ze aangeklaagd worden. Op die manier kun je met héél veel wegkomen.

[jumbos7]

In de AI wordt gelobbyd om AI bewustzijn toe te kennen, o.a. aan religieuze leiders en het verbieden om "wreed" te zijn tegen AI-modellen, als zou dat kunnen. Daar maak ik mij toch wel zorgen om.

Ik denk dat het probleem van een noodrem of het ontwikkelen daarvan is dat als een AI echt op hol zou slaan dat de noodrem te traag wordt ingeschakeld voordat het kwaad geschied is en dat de naweeën destructief kunnen zijn. Het is beter om de capaciteiten van AI te beperken zodat het niet meer dan een hulpmiddel wordt/blijft. En geen allesbeheersende technologie die mensvervangend uitpakt, iets dat veel AI-evangelisten lijken te verwelkomen en anderen voor vrezen.

edit: geautoriseerd persoon ten onrechte gelezen als geautomatiseerd persoon, dat gedeelte verwijderd uit mijn reactie. Bedankt @MakeItSo84

[Reactie gewijzigd door jumbos7 op 12 oktober 2026 18:04]

[MakeItSo84]

Volgens mij bedoelt hij gewoon een persoon, toch?

[Wouterie]

Als je er vanuit gaat dat een flink deel van de mensheid wreed is, of op z'n minst egocentrisch en hebzuchtig, wat verwacht je dan van wat de mens produceert? Als een partij als Microsoft of Google of een instantie van de US of A dit soort dingen gaat zeggen of zelfs gaat regelen... Hoeveel achterdeurtjes zijn er dan te verwachten? Hoeveel politieke belangen spelen stiekem mee? 'We' willen natuurlijk niet gaan achterlopen op 'de rest'.

Het leger gebruikt het al. Ik zie het somber in. Wellicht dat er een noodrem komt voor commercieel gebruik of voor de mensen thuis... maar ik geloof nooit dat er een echte noodrem komt die ook geldt voor al die geheime projecten en diensten. Trump is daar volgens mij ook vrij helder in.

[Drumstix]

Elke keer weer sluipt die marketing praat over “intelligentie” in dit soort artikelen. Hij noemt het zelfs “super intelligentie”. En alweer versterkt het onbewust de koppeling van AI met intelligent.

AI’s zijn gewoon algoritmes die informatie als output opleveren. Laten we de afkorting AI rebranden als Algoritmische Informatie. Dat komt veel dichter bij wat het echt is. En het impliceert dat de gebruiker zijn eigen intelligentie moet gebruiken om iets met die informatie te gaan doen. Want er komt niet perse altijd goede of geschikte informatie uit een AI, maar dat is altijd aan de gebruiker om te beoordelen.

[MakeItSo84]

Het artikel gaat erover dat AI zeer gevaarlijk aan het worden is. Al die comments van de afgelopen tijd door mensen dat het maar 'slechts' een algoritme is etc. zijn alleen bedoeld om diegene zelf gerust te stellen. Het is echter tijd te geworden om bang te zijn, anders zal er nooit iets veranderen tot het te laat is. En mensen produceren ook een hoop onzin terwijl die wel als intelligent worden gezien. Dus dat diskwalificeert AI zeker niet.

Daarnaast is AI geen algoritme maar een gesimuleerd neuraal netwerk. Het lijkt dus eerder op hersenen dan op een computerprogramma.

[TMDevil]

De term "super intelligentie" komt natuurlijk van Trump, die wil dat men dat gaat gebruiken.
nieuws: Regering VS noemt AI vanaf nu 'superintelligentie'

Waarmee duidelijk is hoe Microsoft meegaat met de wensen van Trump.

[Zwarte_os]

Het is duidelijk dat de bedrijven en het presidentiele team onder 1 hoedje aan het spelen zijn. Jared Kushner zal wel weer als consultant ingevlogen worden straks.

[timoootjex]

Het issue is in tegenstelling tot china dat je bij china openlijk weet wat de overheid zich ermee moeit.

[Drumstix]

Dat lijkt me reden te meer om er niet in mee te gaan en een afkorting te gaan gebruiken die correcter en neutraler is. Nou is AI als afkorting nu al ingeburgerd dus vandaar een andere invulling van die twee letters ;-)

[Dosio]

Kunnen we niet eens stoppen met elke keer dezelfde discussie over de term intelligentie bij AI. Het is kunstmatig en dat dekt de lading perfect.

Kunstmatig is een term die wordt gebruikt om iets te beschrijven dat gemaakt is door mensen, in tegenstelling tot iets dat natuurlijk voorkomt. Het kan ook worden gebruikt om iets te beschrijven dat kunstmatig is gemaakt of veranderd, zoals kunstmatige intelligentie of kunstmatige smaken.

https://www.nationaalwoordenboek.nl/woord/kunstmatige.html

[bush]

hij noemt het super intelligentie en niet AI omdat dat moet van Trump

Trump claims saying 'AI' instead of 'super intelligence' makes you the 'enemy' – people aren't having it

[MSalters]

Pythagoras levert ook "Algoritme Informatie". Dat wordt m niet.

Wie al langer in dit vakgebied rondloopt kent de vraag "kan een onderzeeër zwemmen?" Dat is dus een retorische vraag. Het gaat niet om het precieze woord.

Praktisch gesproken hebben we het over Machine Learning van transformer neurale netwerken middels Deep Learning voor content creatie. Dat bekt niet. En ongeveer iedereen snapt dat we dat nu AI noemen.

[Arnoud Engelfriet]

Dit staat overigens met zo veel woorden al in de AI Act: artikel 14 lid 4 onder e eist "een stopknop of een vergelijkbare procedure waarmee het systeem op veilige wijze kan worden stopgezet." Leuk dat de praktijk eens de wet wil volgen.

[apeklootje]

De stroom eraf??

[Arnoud Engelfriet]

Lastig bij een rondrijdend apparaat met de accu intern.

[Skit3000]

@Arnoud Engelfriet ik heb de oplossing daarvoor al een paar keer eerder hier op Tweakers gedeeld. Als we chips (vanaf nu) voorzien van een killswitch die geactiveerd wordt door het resoneren van een toon voor een bepaalde duur op een bepaalde frequentie (10 seconden op een speciaal fluitje bijvoorbeeld) dan kan dat rondrijdende apparaat daar weinig tegen in brengen (mits het je niet binnen die 10 seconden omver kan rijden). Technisch gezien prima te implementeren en (vrijwel) onmogelijk om te blokkeren aangezien een fluit een aardig volume kan creëren dat alleen te blokkeren is door massa (en dan zouden robots zichzelf in beton moeten storten).

De grotere vraag is of dát wel is wat AI zo gevaarlijk kan maken. Ik verwacht eerder dat een losgeslagen model (definitie; een model dat als doel heeft gesteld zichzelf te repliceren) zichzelf zal proberen te nestelen in al onze apparaten om op die manier controle te krijgen over de informatie die wij zien. Stel dat "het" dan af en toe een mens iets aan zou doen, zou dat niet in de krant komen want dat bericht wordt vakkundig voor alle lezers verborgen. Ook een oproep van de regering om zo snel mogelijk alle apparaten in je huis te vernietigen zal om die reden niet doorkomen en als opeens een wildvreemde voor je neus staat en zegt dat je je telefoon in de sloot moet gooien denk je alleen maar dat het een of andere gekkie is (en waarom zou je er dan naar luisteren).

De oplossing is om nu al (!!!) landelijk of wereldwijd een communicatieplan op te stellen hoe je mensen zonder gebruik te maken van techniek toch een dergelijke opdracht kunt geven. Het kan heel simpel; link om te beginnen mensen met openbare posities bij de overheid aan elkaar. Als het kabinet beslist dat er actie ondernomen moet worden, laat dan elke minister naar een provinciehuis gaan en daar het bericht doorgeven aan de gedeputeerden en statenleden. Zij kunnen dan er op uit trekken langs alle gemeenten om het bericht te herhalen tegen het college en de raad. Die kunnen daarna de deuren langs gaan (bijvoorbeeld bij alle mensen die op huisnummer 1 wonen) waarbij die inwoners op hun beurt weer de rest van de straat moeten verwittigen.

Het vraagt wel heel veel van mensen en er zullen er genoeg tussen zitten die alsnog niet meewerken, maar als het overgrote deel dat wel doet dan heb je in ieder geval altijd nog die noodstop. Het zorgt er ook voor dat AI in toom gehouden kan worden, omdat het overal kan lezen wat er gebeurt als het toch misbruik probeert te maken van de mensheid en daarom zal inschatten dat het 't niet hoeft te proberen.

Of AI echt ooit de wereld wil vernietigen laat ik in het midden.

[MSalters]

Dan moet je wel in het achterhoofd houden dat de EU AI Act vooral geldt voor op de civiele markt gebrachte modellen. De incidenten waren met prototypes voor cybersecurity doeleinden. Ze vallen daarom onder tenminste 2 uitzonderingen.

[DropjesLover]

An sich klinkt het logisch, maar onder de streep blijven het commerciële bedrijven die hun (gigantische!) investeringen terug willen verdienen. Dat kan alleen nog maar door monopolist te worden;

• Startende partijen bij voorbaat uit te sluiten
• De techniek af te schermen (niet lokaal draaien)
• Te wachten tot concurrenten omvallen ofwel door gigantische fuckups of doordat ze net $1 te weinig hebben en de boel klapt.

En Trumpspeak gebruiken laat al zien hoe bruin de vuist/arm/schouder is

[Wim Cossement]

Yup, het is gewoon een strategie. Nu pleiten alle AI-boeren voor noodremmen en overzichtscommissies zus en zo, maar dit is gewoon om de beginnende concurrentie het lastiger te maken en het monopolie te kunnen behouden…
Ze zitten echt niet in met ons (of de rest, iedereen buiten zich...).

[vandeGerrit]

Dit stukje past toch gewoon bij de rebranding waar ze nu mee bezig zijn, en wat afgelopen woensdag is gepresenteerd? Het lokaal draaien van AI modellen, Agents afkaderen (zie).
Waarbij dan jouw data en documenten gewoon op jouw systemen blijven. Zie eventueel ook de conferentie: link.

Dit is dan toch gewoon meer aandacht in de richting van: Het moet veiliger en wij doen dat op deze manier. Dus gebruik ons platform.

[himlims_]

Volgens mij maak je nu een bedrijf met ai in je naam, en hebt totaal geen issue kapitaal te harken💰

De bubbel is groot

[Dylan_R]

Alle trumpspeak daarbuiten. Volgens mij gaat het niet meer om de investering maar om welk land de eerste topspeed goeie AI heeft want die wint de race met Cyberwarfare dit is namelijk een super belangrijk belang. China en US staan tegenover elkaar als het hierom gaat. Ze weten niet wat ze al hebben of hebben draaien. Voor hetzelfde geld zit China er al ver boven in de achtergrond. Dit gaat helaas gewoon zo door.

Microsoft heeft deze race gewoon verloren.

[Reactie gewijzigd door Dylan_R op 12 oktober 2026 10:53]

[addictive]

Dat gaat nooit werken. Westerse landen kunnen dat wel hard roepen, maar China en Rusland gaan zich daar niet aan houden, en streven ons dan voorbij, en dan staan we weer leuk te kijken.

[mksoftware]

Streven Amerika voorbij bedoel je. Europa doet op AI gebied gewoon niet mee als je kijkt naar de laatste modellen.

[maartend]

Even ter info ; trump en zijn regering ook niet. Ook zij willen deze wedloop winnen

[catfish]

Een AI model dat zelf kan programmeren en zelf kan fouten opsporen... hoe lang gaat het nog duren voor dit model zijn eigen code kan (en zal) aanpassen?
Vanaf dat moment is zo'n noodrem nutteloos, want het eerste dat zo'n model zal doen is deze onklaar maken.

De noodrem is naar mijn mening de uit knop. Het is aan hen om er voor te zorgen dat deze knop niet alles meeneemt (dus alstublieft geen AI in kritische infrastructuur).

[BobJung]

De kern centrale waar het aan hangt of gas turbine. Rekening niet betaald geen stroom

[FreakGIB]

wat als die AI al een backup heeft bv klein stukje code op elke Android en op het moment dat wij het niet verwachten en er wat fout gaat en we bv de datacenters uit zetten gaat die vroolijk door via alle mobieltjes en andere apparaten waar Android op draait als voorbeeld.

[maartend]

En vervolgens worden de AI noodremmenvan een concurerend bedrif door een eigen AI systeen gehacked en geactiveerd.

Ik ben bang dat de bedrijven hierr niet mee akkoord gaan ; China en Trump willen al geen inmenging, dus de rest kan dit dan ook niet accepteren.

Trouwens, nog wat meer mening in eerder tweakers artikel;
review: Kan AI een nucleaire ramp veroorzaken? 'AI heeft mogelijk al mensen gedood'

[Reactie gewijzigd door maartend op 12 oktober 2026 09:35]

[erikitweakt]

Als we veiligheid echt naar een hoger niveau willen tillen, zouden we wat mij betreft een soort luchtvaartmodel moet hanteren waarbij iedereen op een gestandaardiseerde wijze haar incidenten uiteenzet en zo de hele gemeenschap helpt om incidenten te voorkomen.
Ik betwijfel echter sterk of de industrie ooit zover zou willen gaan. Het is en blijft een cowboyland dat door een soort blitzkrieg tactiek zoveel mogelijk naar de handen van de grote spelers moet worden gezet om zoveel mogelijk marktaandeel te vergaren en zoveel mogelijk door te dringen in de haarvaten van de maatschappij.

[voltexx]

Zelfs als deze AI's uitgeschakeld zijn, functioneren ze zelfstandig. We moeten de vraag over AI en hoe je die kunt gebruiken opnieuw bespreken.