Europees Parlement stemt in met verbod op AI-uitkleedapps

Het Europees Parlement heeft ingestemd met een verbod op apps die mensen uitkleden met behulp van AI. Het wetsvoorstel betekent niet alleen strengere AI-regels: andere AI-maatregelen worden juist afgezwakt. Zo hoeven AI-gegenereerde afbeeldingen pas vanaf november van een watermerk te worden voorzien.

Het verbod op uitkleedapps gaat alleen om 'herkenbare, echte personen'. AI-tools mogen dus nog wel door AI-gegenereerde personen uitkleden, mits ze kunnen verifiëren dat een afgebeeld persoon niet echt is. Het uitkleden mag ook als de geportretteerde hier toestemming voor geeft.

Het wetsvoorstel werd met een ruime meerderheid van 569 voorstemmers aangenomen. Slechts 45 parlementariërs stemden tegen. Onder het wetsvoorstel krijgen bedrijven die AI-systemen meer tijd voordat ze aan strengere maatregelen moeten voldoen. Zo wil het Parlement ervoor zorgen dat 'de richtsnoeren en standaarden klaar zijn'.

Voorheen zouden bepaalde maatregelen uit de AI Act per augustus dit jaar ingaan, maar het Europees Parlement wil dit met maanden tot jaren uitstellen. Zo hoeven er pas vanaf 2 november dit jaar watermerken te komen bij content – audio, video en/of beeld – die door AI is gemaakt.

Voor zogenoemde hoogrisicosystemen gelden er pas vanaf 2 december 2027 strengere maatregelen, als het aan het Parlement ligt. Dit zijn systemen die biometrische gegevens gebruiken, of in kritieke infrastructuur gebruikt worden. Het wetsvoorstel moet nu met de lidstaten worden besproken voordat het officieel van kracht gaat.

Een door Offlimits en Fonds Slachtofferhulp gegenereerde afbeelding. Beide afbeeldingen zijn door AI gemaakt.

Reacties (42)

[klakkie.57th]

Ik zal wel een hoop bagger over me heen krijgen maar ik zie echt niet in waarom je voor alles een aparte wet wil. Dit kun je perfect onder cyber-pesten laten vallen , naar de rechtbank stappen en het als dusdanig laten berechten.

[Morrowind3]

Zo is het explicieter. Naast dat dat helpt bij rechtszaken kun je zo ook makkelijker websites aansprakelijk stellen voor het verspreiden van illegale content. Het alleen beschikbaar stellen van een AI uitkleedtool is immers geen cyberpesten

[supersnathan94]

Maar gezien de uitzonderingen (toestemming en fakes) lijkt het erop dat het überhaupt niet echt een verbod is.

Het mag nog steeds als het gaat om fictieve personen

Het verbod op uitkleedapps gaat alleen om 'herkenbare, echte personen'. AI-tools mogen dus nog wel door AI-gegenereerde personen uitkleden, mits ze kunnen verifiëren dat een afgebeeld persoon niet echt is. Het uitkleden mag ook als de geportretteerde hier toestemming voor geeft.

Nou. Distributie van de apps lijkt daarmee volledig legaal.

Naast dat dat helpt bij rechtszaken kun je zo ook makkelijker websites aansprakelijk stellen voor het verspreiden van illegale content.

Er is niks veranderd. Althans. In NL was precies datgene wat hier genoemd wordt (zonder toestemming naaktbeelden van een ander maken) al strafbaar.

quote: https://www.om.nl/onderwe...l-beeldmateriaal-2020r003

Naast de per 1 januari 2020 ingevoerde specifieke strafbaarstelling van misbruik seksueel beeldmateriaal (139h Sr), zijn er diverse generieke wetsartikelen die afhankelijk van de omstandigheden van het geval (eveneens) van toepassing kunnen zijn bij strafbare handelingen met betrekking tot seksueel getint beeldmateriaal zoals smaad, laster, belediging, dwang of afpersing.

Voor de toepasselijkheid van deze strafvorderingsrichtlijn doet niet ter zake of het feit is tenlastegelegd onder 139g, 139h, 261, 262, 266 of 284 Sr. Niet het wetsartikel, maar de verwijtbare gedraging staat in deze richtlijn centraal. De kern van het strafrechtelijk verwijt is de schending van de (seksuele) privacy van de afgebeelde persoon.

[Pasteis]

lechts 45 parlementariërs stemden tegen.

Ik ben wel benieuwd welk type politicus hierop tegen gestemd heeft. Het lijtk me erg schadelijk als je zou accepteren dat deze functie gebruikt worden om andere mentale pijn aan te brengen. Want welk andere use case zou zo'n functionaliteit hebben?

Ook goed dat ze oog hebben gehad om te kijken of ze ergens het wat minder streng kunnen aanpakken op korte termijn. Dat laat zien dat het niet alleen maar regel op regel wilt bedenken, maar gericht kijkt hoe AI veilig gebruikt kan worden.

[Stxn]

Gelukkig bestaat er voor (bijna) alles een website!

https://howtheyvote.eu/votes/189384

[RadYeon]

Opmerkelijk, ik zie voornamelijk links/groene stemmers tegen?

[DdeM]

Niet heel opmerkelijk toch? Gezien er ook een lading maatregelen worden afgezwakt welke juist voor betere regulering over de gehele linie hadden kunnen zorgen. Dat zijn nou juist punten waarvan ik verwacht dat links over het algemeen meer voor staat dan rechts, welke toch meestal eerder voor deregulering is.

[GertMenkel]

Ik snap wel dat je tegen het afzwakken van andere eisen stemt.

Ik vind het wetsvoorstel om uitkleedapps te verbieden redelijk kansloos; perverselingen en afpersers hebben met 30 seconden een gratis VPN naar Amerika waar dat spul gewoon draait. Een verbod op herkenbare, echte personen is ook zoiets: nu heb je twee apps nodig, één om een nepfoto/video van een AI-nepmens te maken en een ander om daar een gezicht op te transplanteren, maar het resultaat is hetzelfde.

Alles wat je met deze apps aan kan richten, van reputatieschade tot afpersen, wás al illegaal. Het feit dat de politie hier nu al niets aan kan doen, doet me ten zeerste betwijfelen dat de politie er straks wel ineens een oplossing voor heeft.

Het grootste effect dat deze wijziging heeft is in mijn ogen het vertragen van bestaande maatregelen.

[david-v]

Ik ben het met je eens. Dit moet je niet willen, maar het is een vervolg op wat er al jaren gaande is en wat vroeger gedaan werd met fotos en de playboy.

Het is nu gewoon eng hoe accuraat en moeilijk van echt te onderscheiden is wat het zo vervelend maakt. Zonder AI moest je toch best wat moeite steken in het verdoezelen van een dergelijke nep foto. Tegenwoordig is het met AI voor iedereen toegankelijk en binnen 1 seconde geregeld. Dat laatste zorgt er ook voor dat mensen niet meer de tijd hebben om na te denken of dit wel slim is om te doen. Je brein krijgt te weinig tijd om je morele kompas aan te sturen denk ik.

Foto, door AI laten ontkleden en delen in een groepsapp. 5 seconden werk met een perfect resultaat en voor iedereen toegankelijk.

Als vader van 2 dochters die aan hun tienerjaren beginnen best wel een horror scenario.

[Standeman]

Dat is wel vaker het probleem met automatisering. Of het nu een ingezonden brief naar de Volkskrant was of naar de redactie van "Ook dat nog". Een ranzige foto maken was 40 jaar geleden nog een hoop belichtingswerk en vooral heel veel gedoe.

Nu kan elke idioot het en dezelfde mensen bereiken. Het is niet dat er minder idioten zijn, wel dat ze nu veel meer bereik hebben door de fuiken.

De wereld wordt er niet per se beter op. Wel complexer.

[rickvdvulkaan]

Ik denk dat de meesten niet tegenstemmen met het argument dat ze het best vinden om iemand mentaal pijn te doen. Het zal meer zijn dat je tegen vrijheidsbeperkingen bent. Om zoiets te verbieden moet je best wat regeltjes in de wet schrijven, wat consequenties kan hebben voor andere (potentieel mooie) dingen.

Ik heb zelfs zoiets van gooi iedereen maar dood met AI slop, ook dit soort dingen, dan leren we met zn allen sneller dat je niet alles moet geloven.

[Veyrah]

Kijk je kan ook iemand's kleren weg fotoshoppen. Het gaat erom dat het misschien wel zou moeten mogen om dit te doen, maar het verspreiden verboden moet worden. Dat is een tamelijk redelijke opvatting die deze parlementariers zouden kunnen hebben.

[supersnathan94]

Het verspreiden is hier iig al verboden. Maar misschien in andere eu landen niet.

[r2504]

Natuurlijk is de drempel hier heel wat lager maar gaan we Photoshop nu ook verbieden ?

[Daoka]

Ik vind niet dat het compleet vergelijkbaar is. Ik kan best een hoofd selecteren kopieren en plakken. Maar ik denk wel dat je het in de meeste gevallen wel ziet. Bijvoorbeeld nog een stukje andere achtergrond wat ook meegekomen is, haar wat afgeknipt lijkt, net niet dezelfde huidskleur, de hoofd niet compleet in de goede positie met de lichaam, kwaliteit foto is misschien anders, ect. Ik denk dus dat een redelijke photoshop al een hele hoge drempel is voor heel veel mensen. Zelfs met een super simpele stappenplan en video voorbeeld en goede voorbereidingen (zoals dat de foto's al gekozen zijn) zie ik het de meeste mensen in mijn omgeving nog steeds niet doen. AI daartegen verwacht ik zelfs dat hun het kunnen doen. De drempel is dus niet alleen maar heel veel lager maar ligt nu bijna gelijk met de vloer.

[Oon]

Ik ben fel tegen dit soort wetten. Niet omdat ik vind dat we mensen online moeten uitkleden, niet omdat ik vind dat we AI-tools niet hoeven te reguleren, maar omdat dit soort (veel te) specifieke wetten er alleen maar óf voor zorgen dat échte problemen niet zomaar worden opgelost (een subtiele aanpassing aan een wet gebeurt minder gauw dan een nieuwe wet over een 'extreem' onderwerp), óf voor zorgen dat we veel te veel wetten gaan maken over allerlei dingen waarmee we de verantwoordelijkheid verleggen.
AI kan leuke dingen hallucineren op basis van ruis, AI kan minder leuke dingen hallucineren op basis van ruis, maar deze wet gaat er niet voor zorgen dat er minder naaktfoto's gehallucineerd gaan worden. Het duwt de gebruikers van de huidige apps alleen naar schimmigere apps waar de output misschien wel meteen in een database van nepnaaktfoto's terecht komt ofzo.
Dit soort dingen kun je beter aanpakken door het gebruik van AI om mensen uit te kleden expliciet te verbieden, wat volgens mij al het geval is, en dáár op te handhaven.

[_Pussycat_]

Ik ben wel benieuwd welk type politicus hierop tegen gestemd heeft. Het lijtk me erg schadelijk als je zou accepteren dat deze functie gebruikt worden om andere mentale pijn aan te brengen. Want welk andere use case zou zo'n functionaliteit hebben?

Vaak mensen die een wet strenger hadden willen ebben, of anders, of van mening zijn dat hij niet nuttig is. Bij afstemming over "iets om kinderen te beschermen" is er echter een enorme druk om daar voor te stemmen, ook als wetten stom zijn.

In Duitsland was er een wet aangenomen dat bezit van kinderporno altijd tot een rechtszaak moest lijden. Klinkt goed, en (bijna?) niemand durfde tegen te stemmen. Maar wat gebeurde er toen? Er werden naaktfoto's gedeeld binnen de school, en een moeder stuurde dat door naar een juf om actie te ondernemen. De moeder en de juf _moesten_ dus aangeklaagd worden, om een rechtszaak te voeren die vervolgens natuurlijk om geen straf uitdraaide maar wel het rechtssysteem bezig hield met deze onzin.
Experts hadden gewaarschuwd maar niemand wilde in het pedo-hokje gaan zitten en er tegen stemmen.

[Macshack]

Tegenwoordig hebben mensen al van het minste geringste mentale pijn. Er bestaat geen uitkleedfunctie. Er wordt niemand hun kleren van het lijf getrokken.

Er wordt iets bij verzonnen/voorspeld. Op een bepaald moment is de lol ervan af en gaat men door met het leven. Tevens maakt dit de boel alleen maar ongeloofwaardig. Niemand geloofd meer dat een nude echt is.

[david-v]

Goed verhaal. Kan jij dit ook vertellen aan een kind van 14 die op school hiermee geconfronteerd wordt en dan beweren dat het gewoon een nep foto is en door met je leven?

Je hebt geen besef wat zoiets met een kind doet.

Ook als volwassene kan je hier flinke schade van ondervinden. Collegas die onderling en dergelijke foto van jou rondsturen... Ach wat maakt het uit, het is nep, zeer realistisch en niet van echt te onderscheiden, maar nep.

Het zou je maar overkomen...

[Macshack]

Tja, ik denk dat jouw reactie een groter probleem is dan een voorspellingsfunctie over hoe iemand er naakt uit ziet. Het laat zien waar we als samenleving mogelijk gekomen zijn, dat dit zo'n invloed heeft op kinderen. Dat kinderen dit elkaar aandoen. Dat men vindt dat de overheid moet ingrijpen in plaats van ouders die met elkaar in gesprek gaan.

Verantwoordelijkheid is macht. Op een gegeven moment ligt alle verantwoordelijkheid bij de overheid. Waar denk je dat dan alle macht ligt?

Ik denk dat we veel te overdreven reageren. Mijn kinderen zijn donkerbruin. Ik vertel hun dat ze nooit de race card mogen spelen omdat iemand een domme grap maakt. Dat ze zichzelf nooit de slachtofferrol in mogen praten. Fysiek geweld is anders. Maar praten is praten. Als je dit niet goed van elkaar kan scheiden heb je een veel groter probleem dan een paar foute grappen.

Iedereen heeft de keuze omzichzelf iets aan te trekken. En als een uitkleedfunctie ervoor zorgt dat iemand een strafblad krijgt of dat de overheid nog meer controle krijgt (ik kan bijna niet geloven dat ik dit op Tweakers zeg. Want jaren geleden stonden de reacties vol van verontwaardiging als de overheid privacy wilde inperken of meer controle wilde, maar goed), dan hebben we echt een steeds groter wordend probleem. En dat is niet op lokaal niveau, waar we met elkaar over zaken kunnen praten. Maar over een heel continent.

[Arjan90]

De laagdrempeligheid van hoe je dit zonder enige kennis heel simpel kan uitvoeren kun je m.i. niet echt vergelijken met photoshoppen...

[Veyrah]

Dus? Het is al verboden om dit soort materiaal te verspreiden en dat geeft de politie ook al nauwelijks handvatten. Dit gaat niks terweeg brengen. Focus liever op de mensen die deze shit delen beter op te sporen.

[xilanaz]

Zou kunnen dat men nee stemt omdat andere maatregelen worden afgezwakt

[DeBers]

Wat een gelul. Alleen neppe afbeeldingen mogen wel. Hoe kan je dit nou checken? Daarnaast is het allemaal in de kern opgebouwd van echte mensen en ik ben heel erg bang, van echte kinderen.

[kr4t0s]

Dat staat er toch "neppe afbeeldingen" mogen alleen als AI kan bevestigen dat het geen echt persoon is. Alles met kinderen is sowieso verboden AI of niet.

[DeBers]

Hoe ga je dat handhaven? Hoe kan AI nou aantonen dat het geen echt persoon is?

[kabelmannetje]

Dan is het aan de verdachte om aan te tonen dat het een echte foto is.

[GertMenkel]

De verdachte is degene die claimt dat het een nepafbeelding is, het zou gek zijn als die toegeeft de wet te hebben overtreden.

Het is het OM die moet bewijzen dat het een echt persoon is om iemand te kunnen veroordelen.

[_eLMo_]

Sowieso, hoe ga je deze software handhaven. De open modellen zijn er al, iedereen kan dit op z’n laptop draaien. Je kan het laten blokken door OpenAI/Anthropic/DallE/Google, maar de geest is al laaaaang uit de fles.

[Tinboy]

Dat is het probleem voor de AI bedrijven. Als zij dat niet kunnen, moeten zij stoppen met deze functie.

Wanneer iemand het voor elkaar krijgt om het toch met een afbeelding van een echt persoon, is dat een overtreding van de wet en kunnen hier boetes voor opgelegd worden. De definitie van wat is echt en wat is nep zal tot rechtszaken leiden. Willen zij dat niet, moeten ze de functie uit zetten. Er gaat genoeg geld door die bedrijven dat het echt wel een keuze is om op of over deze grens te gaan.

[kr4t0s]

Dat probleem leggen ze dus bij de AI, dus in praktijk zal AI waarschijnlijk weigeren.

[flipthis]

Er zitten soms watermarks in en metadata en mogelijke andere onbekende technieken in om te kunnen
aantonen dat het plaatje door AI gemaakt is.

[Beeldbuis]

Precies dit. Gaat de AI ook controleren of een afbeelding van een persoon echt of nep is? Het kan het verschil al niet zien tussen een game character en een echt mens

[Martinspire]

Het uitkleden mag ook als de geportretteerde hier toestemming voor geeft.

Dit is toch eigenlijk onmogelijk om te valideren? Dit moet toch wel moeilijker zijn dan "nee dat ben ik hoor, doe maar"...

[Gohan040]

Soort 'Only Clothes' waar men zich kan aanmelden en fotos uploaden die dan weer gebruikt kunnen worden om door ai uit te laten kleden...

[GertMenkel]

Toestemming geven lijkt me toch niet zo complex? Dat kan met een appje of zelfs verbaal (al is dat laatste lastig te bewijzen natuurlijk).

Als degene die in de nepnaaktfoto staat lijkt op degene die toestemming geeft, denk ik dat ze zaak snor zit. Ik weet niet helemaal waarom je zoiets zou doen (misschien om zonder uit de kleren te gaan op OnlyFans gaan? een partner met een seksuele fantasie die ik niet helemaal voor me kan zien?) maar als je graag wilt, zie ik geen reden om het illegaal te maken.

Het wordt complex als iemand bijvoorbeeld toestemming vervalst of achteraf spijt krijgt en naar de politie stapt, maar dat is een probleem bij zo'n beetje elk seksueel feit waarvoor men naar de politie kan stappen.

[Martinspire]

An sich toestemming is niet zo'n probleem, maar hoe bewijs je dat degene op de foto ook degene is die toestemming geeft? Want dat is mijn punt. Als ik genoeg op Rob Jetten lijk, mag ik daar dan wel naaktfoto's van maken? En hoe controleer je dat?

[jerisson]

Copyrightschending is een probleem dat volledig los staat van dit probleem.

Je kan immers perfect diffusiemodellen trainen zonder aan copyrightschending te doen. Je zal dan wel de nodige toestemming moeten hebben.

Zo een model zou nog altijd dit soort foute content kunnen maken als dat in zijn trainingsdata zit.