FTC wil onrechtmatig gebruik van gekloonde stemmen door AI tegengaan

De FTC wil consumenten beschermen tegen misbruik en fraude van stemklonen door AI. Daarom vraagt de Amerikaanse toezichthouder om input door middel van een wedstrijd waarin geldprijzen te winnen zijn voor de inzenders met de beste ideeën.

De FTC uit haar zorgen over de manieren waarop het klonen van stemmen kan worden gebruikt door oplichters. Kwaadwillenden zouden zich door de steeds geavanceerder wordende technologie steeds makkelijker kunnen voordoen als een familielid of collega. Ook kunnen criminelen consumenten misleiden door de stemmen van bekende personen te klonen.

De Amerikaanse toezichthouder is onder meer op zoek naar oplossingen om aan de hand van audiofragmenten vast te stellen of het een gekloonde stem betreft. Ook wordt er gezocht naar manieren om stemkloneringstechnologie in real time te detecteren. Daarnaast zoekt de FTC een oplossing om het gebruik van stemkloneringssoftware door ongeautoriseerde gebruikers zoveel mogelijk te beperken.

Verschillende bedrijven experimenteren met AI-tools die stemmen nabootsen. Zo test Google een functie in YouTube die de stemmen van bekende zangers zoals Charlie Puth en John Legend kloont. Ook James Earl Jones, de stem van Darth Vader, heeft de rechten op zijn stemwerk afgestaan om de stem van Darth Vader in toekomstige producties te repliceren door AI.

Reacties (17)

[Blokker_1999]

Dat brengt bij mij direct de vraag naar boven: hoe uniek is een stem? Jaren terug reclame op Britse TV gehoord met een stem die je doet denken aan Morgan Freeman, maar het was gewoon iemand anders die het net leuk vonden omdat het ook nog eens een speling was op hun bedrijfsnaam, More Than.

[kodak]

Het gaat er niet om hoe uniek een stem is maar wat de karakteristieke kenmerken zijn. En dat samen met de bedoeling van het toepassen van die kenmerken. Geen van beiden kan los van elkaar gezien worden om van ongewenstheid te spreken.
Hooguit kunnen de karakteristieke kenmerken individueel geanalyseerd worden om mee te laten wegen, zoals een mate van (on)zekerheid of een stem bij een bepaalde groep personen hoort of überhaupt door een persoon lijkt geproduceerd. En zoals ik het lees geeft de FCC de vrijheid om daarin dus ook te experimenteren wat de grenzen kunnen zijn en hoe betrouwbaar dat is.

[GertMenkel]

Voor zover ik weet rust er onder Amerikaanse wet geen copyright op iemands stem. Je mag bijvoorbeeld prima iemand nadoen, en "impersonator" is zelfs een baan als je daar erg goed in bent. Stemmen nadoen (digitaal of handmatig) is momenteel niet erg beperkt.

In het geval van telecomfraude is het oplichten van mensen al illegaal, dus ik zie weinig kansen om hier wat tegen te doen. De software die je nodig hebt, is nu al te downloaden, en vereist zo'n 2000 euro aan investering voor realtime stemimmitatie.

Als ze hier wat aan willen doen, zullen ze het denk ik via de copyrightweg moeten doen, waar acteurs de afgelopen maanden heel lang heel voor hebben gestaakt.

Er rust natuurlijk wel copyright op opnames, en er is wat voor te zeggen om te stellen dat de uitvoer van een model getraind op gecopyright werk een "derivative work" is, net zoals bijvoorbeeld samples dat zijn. In dat geval wordt het mogelijk voor licentiehouders van opgenomen materiaal (en niet de eigenaar van de stem zelf) om distributie te stoppen, al heeft die zienswijze natuurlijk een behoorlijke impact op bijvoorbeeld de toekomst van stemacteurs.

Hoeveel vrijheid de FCC daadwerkelijk heeft, moet de rechtbank bepalen. Ze kunnen stellen dat er copyright ligt op stemmen zelf, maar ik betwijfel of de rechtbanken het daar mee eens zijn.

Iemand die stemmen na kan doen, kan een papiertje ondertekenen dat de volledige rechten van hun stem (dus de namaak van jou, of een impersonaties van Darth Vader) bij hun werkgever terecht kan komen. Iedereen die stemmetjes na kan doen, kan snel cashen op stemmen van bekendheden en slachtoffers, voor prijzen ver onder de marktwaarde. Daar kunnen vakbonden misschien wat tegen doen, in de celebritywereld zitten een paar hele sterke vakbonden, maar voor onbekenden denk ik niet dat er veel te halen valt.

Wil de FCC hier echt wat aan doen, vrees ik dat de (copyright)wetgeving zal moeten worden aangepast.

[Reactie gewijzigd door GertMenkel op 27 juli 2024 20:51]

[geerttttt]

Tja ik vraag me toch af hoe dat zou zitten. Je voordoen als een ander is in ieder geval strafbaar (geloof ik) dus of je nou goed iemand na kunt doen, en een familielid belt en om geld vraagt, of je deepfaket het, lijkt me geen verschil.

[GertMenkel]

Ja, maar dat is natuurlijk nu ook al strafbaar, daar heb je geen nepstem voor nodig. Als ik je demente oma bel en zeg dat ik van de DSB ben en dat er nog een bedrag openstaat, is dat niet legaal omdat ik geen stemvervormer gebruikt heb natuurlijk.

Misschien kan het gebruikt worden voor een verduidelijking van de intentie om de straf te verhogen, maar dat lijkt me niet iets waar de FCC nou veel over te zeggen heeft.

[sumac]

Het verschil is echter dat ik jouw oma kan bellen, en daarna Geert z'n oma, en zo door. Maar een AI-bot kan tientallen mensen bellen, tegelijk, alleen beperkt door de hoeveelheid lijnen en rekenkracht. Het bereik is groter, de schade idem.

En jouw oma oplichten voor een paar duizend euro is heel erg, maar er is natuurlijk veel meer mogelijk, en de schade daarvan kan veel groter zijn.

[geerttttt]

Tja, maar je krijgt geen strafvermindering als je er heel veel moeite en impressievermogen in hebt moeten steken. Als je het op zon grote schaal zou uitbuiten dan wordt je gewoon een grote vis, en wordt de pakkans groot en de boete of wellicht celstraf groter.

[GertMenkel]

Maar dat is allemaal al lang verboden, toch? Of je één scsmmer in een hokje zet of een heel cluster vol AI laat bellen, oplichten is verboden.

Dit hele verhaal leest als de politie die aankondigt dat ze vanaf volgende maand een verbod op het stelen van groene auto's gaan handhaven. Heel goed dat ze het doen, maar je mag toch hopen dat ze nu pas diefstallen van auto's gaan onderzoeken, of ze nu groen zijn of niet.

[Stoney3K]

De FCC en de FTC zijn twee compleet verschillende organisaties.

De FCC is de Federal Communications Committee, die houdt zich bezig met radiocommunicatie en telefonie. Die doen dus bijvoorbeeld uitpeilen van zenderpiraten, of oppakken van telefoon-oplichters. In Nederland is dat het Agentschap Telecom.

De FTC is de Federal Trade Committee, die zich bezig houdt met oneerlijke handelspraktijken, monopolies en concurrentievervalsing. Dat doet in Nederland de NMA, ofwel Nederlandse Mededingingsautoriteit.

In deze kwestie gaat het om die tweede want een stem klonen voor reclame valt onder concurrentievervalsing en misleidende reclame.

[Oon]

Het probleem zit 'm vooral in het gebruik ervan, en niet het middel. Een stemacteur inhuren om iemand anders na te doen en daarmee bewust anderen misleiden is ook illegaal, maar een filmpje van Amerikaanse politici die samen Minecraft aan het spelen zijn is legaal omdat er niemand misleid wordt.

Of je nou AI gebruikt of niet maakt juridisch gezien niks uit, als je dicht genoeg bij de echte versie komt en niet duidelijk maakt dat het niet de echte is zijn ze allebei even illegaal.

[klaaskeesrand]

Ik vraag mij af wat bedoeld wordt met: "Daarnaast zoekt de FTC een oplossing om het gebruik van stemkloneringssoftware zoveel mogelijk te beperking door ongeautoriseerde gebruikers."

Wie of wat is geauthorizeerd of hoe bekomt men die status.

Het is leuke tech. Heel even met bezig geweest om te kijken of het haalbaar is om thuis te doen en jawel het kan. Ipv tts met een robotachtige stem valt dit beter te "programeren" en door dingen zoals [laughs] en klinkt dit wel pakken beter dan de klassieke tts.

Maar om terug te komen op het authorizeren van software. Zo lang ik git clone https://urlvandegitrepo kan doen zal hier weinig aan te doen zijn en github is niet het enige platform met repo's op... Dus vraag ik mij echt oprecht of het soort mensen die deze zaken beslissen wel echt op de hoogte zijn van hoe of wat juist..

[Katsu]

En jij bent dan het soort mens die vindt dat alles maar moet kunnen en mogen?

[klaaskeesrand]

In tegendeel. Langs de ene kant vindt ik dat sommige software niet zo publiekelijk toegankelijk hoeft te zijn.

Ik probeerde het een beetje sarcastish te verwoorden. Met het feit dat mensen die weten hoe ze software schrijven of die weten hoe ze dit aan de gang krijgen moeilijk te reguleren valt. Nu is er nog het model van free en opensource maar en dit is maar een denkoefening. Wat als je dat gaat proberen reguleren. Volgens mij ga je dan een markt creëren met allemaal shady binaries van de grotere hackerscollectieven met alle rampen vandien.

Ik ben ook voorstander van free en opensource maar ben er ook van bewust dat sommige delen dat niet kunnen zijn omdat deze bijvoorbeeld te kritiek is om zomaar in het open te laten.. Een state sponsored collectief heeft hier waarschijnlijk een team voor daar een scriptkiddie die amper weet wat reverse engineering is hier niet gaat in slagen. Hoewel ik daar ook voor vrees in de toekomst want iemand die handig is met ml algoritmes kan zichzelf nu makkelijker dan ooit te voren dingen aanleren. Vroeger was het allemaal toch net dat tikkeltje moeilijker. Maar nu als je wil bouw je zelf je virtuele mentor met de datasets die jij wil dat het kent en het legt je alles uit..

[ErikT738]

Ik vraag me af of dit ook maar enigszins haalbaar wordt zonder draconische surveillance software.

[WaarAnders]

Je kan 25k USD winnen volgens de website. Lijkt me relatief laag voor wat het idee waard kan zijn? Volgens mij zijn er genoeg commerciële toepassingen te bedenken die veel meer geld opleveren. Het voorkomen van fraude is een erg grote markt (financiële wereld etc).

Misschien is dit makkelijk 25k verdienen (voor de winnaar), maar als dit vervolgens ontwikkeld wordt en miljoenen waard is dan is 25k toch best weinig. Kan me slecht voorstellen dat je de rechten houdt.

Nummer 2 kan ook vrij goed zijn, ben benieuwd wat daarmee gebeurd

[bartovitc]

Mooi voorbeeldje vond ik vandaag. Toch interessant en eng tegelijk hoe echt AI + ChatGPT al kan klinken

[JDMedia]

Beetje laat misschien?
Met RVC kun je zelf stemmen trainen, de software is nu vrij beschikbaar, ik gebruik het om mijn eigen stem te trainen. Ik kan daarna de teksten die ik uit wil spreken intypen. Het is erg gemakkelijk.
Ik zie ook mogelijkheden voor mensen met ALS, als het nog kan, train je stem en later als je stem wegvalt horen je geliefden toch nog je stem in plaats van die akelige computerstem.
Als iedereen weet dat zijn stem gekloond kan worden wat is dan nog de online waarde, mensen bewust maken van de gevaren lijkt me verstandiger dan alles te verbieden.