YouTube krijgt AI-tool die stemmen van beroemde zangers nabootst voor Shorts

Google test een functie waarmee het voor gebruikers mogelijk is om muzikale Shorts te maken met door AI gegenereerde stemmen van beroemde artiesten. De zangers wier stemmen door Googles Deepmind-tool worden nagebootst, moeten hier wel eerst toestemming voor geven.

Met de functie, Dream Track, is het in eerste instantie mogelijk om de stemmen van negen artiesten te gebruiken voor YouTube Shorts. Het gaat om Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Papoose, Sia, T-Pain en Troye Sivan. Deze functie kan op basis van een korte tekstprompt een muzieknummer van maximaal dertig seconden genereren, inclusief songteksten, een achtergrondtrack en de AI-stem.

Op basis van het soort nummer dat gebruikers in de prompt beschrijven, wordt er automatisch een artiest gekoppeld die het best past bij de gewenste muziekstijl. In de demonstratie van Google wordt bijvoorbeeld de opdracht 'Een zonnige ochtend in Floridia, R&B' gegeven. Het nummer dat daaruit wordt gegenereerd, bevat automatisch T-Pains AI-stem. Deze functie is initieel enkel beschikbaar voor 'een kleine groep Amerikaanse creators', stelt Google.

Daarnaast komt Google met nog enkele andere aan muziek gerelateerde AI-tools voor YouTube. Deze moeten het mogelijk maken om in een handomdraai achtergrondtracks te creëren. Zo toont het bedrijf dat het mogelijk is om muziek te maken door enkel de melodie te neuriën en in een tekstprompt te beschrijven welke muziekinstrumenten er gebruikt moeten worden. Ook kan eenstemmige zang veranderd worden in een orkest, of een midi-keyboardmelodie in zang. Deze tools kunnen volgens Google later dit jaar getest worden door deelnemers van zijn Music AI Incubator.

De tools zijn allemaal afkomstig van Googles Deepmind-divisie. Hiervoor is het machinelearningmodel Lyria gebruikt, dat specifiek getraind is voor het genereren van muziek. Het bedrijf stelt dat tracks die gegenereerd worden met dit AI-model, automatisch een watermerk bevatten, zodat het te allen tijde mogelijk moet zijn om erachter te komen of Lyria gebruikt is.

De Dream Track-functie van YouTube

Reacties (57)

[Wouterie]

Sjonge, ik snap wel dat ze zo aan het pushen zijn om mensen naar een premium abonnement te krijgen. Dit kost natuurlijk nogal wat, maar de rechtszaken die ze tegemoet kunnen zien zijn ook niet gratis. Hoe lang zal het duren tot fake-Sia aan de porno-promo is?

[moonlander]

De zangers wier stemmen door Googles Deepmind-tool worden nagebootst, moeten hier wel eerst toestemming voor geven.

Weet niet op welke rechtzaken je bedoeld...

[Wouterie]

Toestemming voor gebruik, niet misbruik. Zodra de artiesten geassocieerd worden met smerigheden dan zullen ze snel vinden dat Google dit had moeten voorkomen etc. Youtube kan nevernooit alle content screenen die wordt gemaakt met deze tooling.

[MneoreJ]

Hoe lang zal het duren tot fake-Sia aan de porno-promo is?

Dat kun je ook al voor elkaar krijgen zonder Google door zelf een model te trainen. Als je Google's dienst gebruikt kunnen ze er natuurlijk voor zorgen dat zulke output gefilterd wordt (en dat blijft dan een kat- en muisspel qua prompts) plus gewoon in hun terms of service opnemen dat gebruikers die op zulke dingen betrapt worden gewoon een ban aan hun broek krijgen dan wel de rechtszaken als ze het heel bont maken.

Het is voor artiesten natuurlijk ook interessanter om in zee te gaan met een dienst die op die manier gereguleerd is (en royalties afdraagt).

[Wouterie]

Zeker is het technisch mogelijk, maar het wordt natuurlijk lachen als dit door Youtube gefaciliteerd wordt. Ik denk dat ze onderschatten hoe snel zaken uit de klauwen lopen.

[MneoreJ]

Mwoh, het is inmiddels wel gevoeglijk bekend hoe mensen dit soort diensten ge- en misbruiken en Google zal dat vast niet ongefilterd de wereld in slingeren. Na een aanloopfase zullen ze vast wel iets hebben dat de boel goed genoeg beteugelt (op geautomatiseerde wijze, uiteraard). Worst case krijgen ze het niet rond om adequaat te filteren, dan is de dienst vanzelf niet interessant meer voor artiesten, krijgen ze dus ook geen toestemming meer en kan het op de "killed by Google" hoop.

[Reactie gewijzigd door MneoreJ op 24 juli 2024 19:11]

[Stoney3K]

Zolang ik ook bij een Premium-abonnement nog doodgegooid word met die Shorts gaan ze van mij geen cent krijgen.

[loki504]

Dus je geeft zelf toestemming dat ze het mogen gebruiken. En vervolgens ga je een rechtzaak aanspannen omdat ze je stem ge/misbruiken?

[Wouterie]

Yep, want dit misbruik hadden ze 'nooit voorzien' en nu hebben ze last van reputatieschade omdat men denkt dat het de artiesten echt zijn.

[loki504]

Tja vroeger noemde we dat eigen schuld dikke bult....

[Webgnome]

En toen was dat ook niet altijd helemaal waar. Immers je kan niet alles overzien bij een bepaalde keuze. Dat is menselijk.

[loki504]

Klopt maar als professional moet je natuurlijk wel voldoende onderzoek doen naar eventueel misbruik. En er zal vast wel opgenomen zijn dat bij word X of Y je short wordt verwijderd of hij er een mooi ander word van maakt.

[MrMonkE]

Ik weet niet wie Sia is maar met Roop plog je binnen 10s een fake uit

[SynthCat]

Ik ken Roop dan weer niet maar Sia is een zangeres met een waanzinnige stem. Als tip raad ik aan haar oudere albums eens te proberen. Heb haar zelf 2 keer live mogen meemaken toen ze nog wat minder bekend was. Saai om te zien want ze staat bijna alleen maar stil maar haar stem maakte dat helemaal goed, vooral in een kleine setting. Imo een waanzinnig talent die in het rijtje met de grootste thuishoort al heb ik weinig met haar laatste albums.

[Rolandp]

YouTube is hard aan het inzetten op controle over AI content. Eerder deze week kwam ik een artikel[0] tegen die beschrijft hoe artiesten AI gegenereerde content juist offline kunnen laten halen.

[0]: https://www.engadget.com/...-deepfakes-131533866.html

[DvanRaai89]

Je kunt linkjes beter zo neerzetten:

YouTube is hard aan het inzetten op controle over AI content. Eerder deze week las ik een artikel op Engadget die beschrijft hoe artiesten AI gegenereerde content juist offline kunnen laten halen.

Voor als je 'm wilt kopiëren:

• YouTube is hard aan het inzetten op controle over AI content. Eerder deze week las ik [url="https://www.engadget.com/youtube-will-let-musicians-and-actors-request-takedowns-of-their-deepfakes-131533866.html"]een artikel op Engadget[/url] die beschrijft hoe artiesten AI gegenereerde content juist offline kunnen laten halen.

[Reactie gewijzigd door DvanRaai89 op 24 juli 2024 19:11]

[NotWise]

Ik dacht even dat AI de stem van de zanger van 'The Shorts' na kon doen. Het zal de leeftijd zijn.

[Jan Onderwater]

"Beroemde Zangers"
"Alec Benjamin, Charlie Puth, Charli XCX, Demi Lovato, John Legend, Papoose, Sia, T-Pain en Troye Sivan."
Wie? Ik word oud denk ik, ik ken geen een van deze ongetwijfeld Amerikaanse industriemuzikanten.

[Seditiar]

Vandaar dat ze ook toestemming hebben gekregen, naamsbekendheid.

[SPee]

Of misschien waren die artiesten wat makkelijker na te maken, omdat ze al digitaal verbeterd worden. (autotune).

[manuarmata]

herkenbaar

[Onbelangrijk]

John Legend en Demi Lovato zou ik niet onbekend willen noemen.
De eerste is 1 van de allergrootsten van nu

[Jan Onderwater]

Ik heb, heel eerlijk, geen idee wie het zijn.

[XC9]

Nee dat vinden mensen zoals jij altijd heel interessant, om te kunnen zeggen dat ze die niet kennen om aan te geven dat ze zelf intellectueel zijn en een veel betere muzieksmaak hebben en zich met belangrijkere zaken bezig houden dan deze artiesten waarvan er een aantal al 20 jaar meer geld verdient dan de artiesten die ze wel kennen

Ik ben 43 en ken er 7 van de 9 En nu?

[Jan Onderwater]

Ik ben 58 en mijn muzieksmaak beter? Geen idee, daarvoor zou ik deze mensen moeten kennen.

[Roel1966]

Ehmm, ja haha, ik dacht ook al wie zijn dat....

[Mariusjr]

@Jan Onderwater
ik zie er anders wel een paar nederlandse artiesten tussen staan.

Ken ze verder ook niet allemaal.
Ik ben 54.

[Honytawk]

"You wouldn't download a car!"

De bedrijven die dat zeiden zijn nu wel artiesten en acteurs aan het downloaden..

[Roel1966]

Oftewel, eerst daags nemen zangers en zangeressen geeneens meer de moeite om live te gaan zingen want ja, kan toch ook met een druk op de knop via AI. Ook een manier om gemakkelijk geld te verdienen en tja ik snap ook het nut er totaal niet van.

[crazyboy01]

Moet wel eerst heel veel train materiaal zijn hoor.

Maar, dit wordt dus serieus al door artiesten ingezet. Ik noem een Mariah Carey, die er niet zo erg aan toe is als de meeste denken maar de hele hoge noten haalt ze niet meer. Voor die uithalen gebruikte ze in live optredens tot nu steeds de studio opnamen van vroeger óf opnames van eerdere liveoptredens van ongeveer midden jaren '90 tot midden jaren '00. Fans herkenden dat echter zo en wisten vaak precies welke uithalen werden gebruikt, per tour waren vaak een paar verschillende uithalen in gebruik. Nu heeft ze voor recente optredens dus overduidelijk een paar uithalen met AI gegenereerd en gebruikt die. Ja, het zijn nieuwe 'uithalen', maar fans kunnen wel horen dat het AI is.

Ik denk ook echt wel dat we AI generated albums gaan zien. We zien nu al enorm veel AI generated nummers van fans en die lijken soms wel érg echt (al zijn die vaak niet écht AI generated, maar pakken ze een of andere cover en vervormen ze enkel die stem dan met AI naar de stem van een bekende zanger, da's toch net even anders). Ben benieuwd of daar iets goeds uitrolt. Ik hoop wel dat we ook muziek van echte mensen blijven houden.

[Roel1966]

Ben benieuwd of daar iets goeds uitrolt. Ik hoop wel dat we ook muziek van echte mensen blijven houden.

Dat hoop ik als muzikant zijnde ook zeer zeker maar ik op zich verder niet tegen elektronica in de muziek ben, integendeel omdat ik zelf ook b.v. een synthesizer gebruik met samples. Maar dat noem ik dan meer creatief gebruik maken wat heel iets anders is dan iets laten genereren door dan AI.

Zo heb ik zelf dan ook een hekel aan het gebruiken van midi-files of een sequenzer omdat ik zelf veel liever live speel. Wil niet zeggen dat ik geen gebruik van een pc maak wat ik dan wel doe voor het programmeren van de synth. Maar ook dan maak ik creatief gebruik ervan door dan b.v. eigen sounds te creeeren.

[iSpace_61]

Oplichtings shorts in de making ! Dit is een risico wat die artiesten niet kunnen bedenken ?

[Rinyuu]

Is dit een sneaky preview voor "the secret ingredient" waar Google het laatst over had betreft Bard + Assistant?

Ik heb net zelf een nest mini gekocht (late to the party, ik weet het haha) en gezien Google assistant steeds dommer lijkt te worden, hoop ik dat ze die snel vervangen of upgraden met Bard... alleen voor zover ik weet doet Bard nog geen stemmen... tot nu ?

Ik zou het wel heel gaaf vinden om dit soort techniek gecombineerd te zien met een moderne (Gpt of bard) powered AI assistant! Kies maar een persoonlijkheid uit, en je hebt een AI versie hiervan in je kamer!

[Katsu]

Op naar een wereld waar alles fake en gegenereerd is, I guess...

[Fraaank]

Heel veel rommel is al fake en gegeneerd. Nu zit er alleen een computer achter in plaats van de tiktok-generatie. Ook mooi, kunnen die eens aan het werk /boomermode off

[GeertBoer]

Is de werkdruk voor de huidige generatie jongeren niet juist veel hoger dan 30 jaar geleden? Ik heb collega's die ook zo op de jeugd kunnen zeiken, maar ik vraag me echt af waar dat beeld van 'de jeugd doet niks' vandaan komt.

[AOC]

In elk generatie heb je wel mensen die het rustiger aan doen. dat ik ging studeren in Amsterdam en na de vakantie met medestudenten de 'vakantie' doorsprak en ik vertelde dat ik fulltime gewerkt had, dan keken ze alsof ze water zagen branden. Werken.... Vakantie....? Geld komt niet van de boom denk ik dan, of wel als je het leent

[GeertBoer]

Sommige mensen hechten meer waarde aan geld dan aan vrije tijd

[Finraziel]

In dit geval denk ik dat het best een verbetering kan zijn... ten opzichte van dezelfde 3 domme deuntjes die nu gebruikt worden voor een groot deel van shorts. Ik skip tegenwoordig al vaak gelijk als ik weer hetzelfde stomme muziekje hoor starten.
Probleem daarbij is natuurlijk wel dat Youtube vaak niet het primaire platform is van die creators (veel is gemaakt voor TikTok en wordt dan ook op Youtube gezet) en ik verwacht dat je het resultaat niet naar andere platforms mag uploaden.

[PjotterP]

Ik zou zou graag een feature willen hebben waarbij je clips kan filteren /blocken op welk deuntje ze hebben, zeg maar "block all videos with this music" als er weer een langs komt..

[Reactie gewijzigd door PjotterP op 24 juli 2024 19:11]

[manuarmata]

doe dadoedadoedadoe dadoedadoedadoedoedoe...

[Pannekoek17]

Inderdaad. En deze mensen noemen ze ook nog eens 'creators'.

Dus als ik tegen een AI zeg: "maak een schilderij met een groep mensen rond een tafel in een vrije donkere ruimte die aardappels aan het eten zijn" dan mag ik me van Gogh noemen?

[gimbal]

Dat mag je nu al. Je schiet er alleen zo weinig mee op.

[manuarmata]

Zolang de kudde het slikt zeker? Youtube is nu al tenenkrommend. Heel veel bagger, onetische reclame, inhoudloze gossip, overal mr. beast zijn mottig sexdoll bakkes, regenboog thumbnails en clickbait. Hier en daar nog een leuk kanaal maar ze zijn dun gezaaid. als je ze filtert met een frontend zoals freetube dan heb je nog iets bruikbaar en genietbaar maar ik denk dat de hoogdagen wel achter ons liggen.

[bilgy_no1]

Er zijn echt wel heel informatieve kanalen, met goede informatieve content. Je moet gewoon super streng zijn in waar je op abonneert en klikt.

[Verwijderd]

overal mr. beast zijn mottig sexdoll bakkes

Grappig, nooit in men feeds ... Maar ik klik ook niet daarop. Als je constant die zaken te zien krijgt, is het ofwel dat je er op klikte (zelf al is het maar om op "I dislike this" te klikken). Je moet werkelijk de "Not Interested or Do not recommend" aanklikken als dat eenmaal in je gepersonaliseerde feed zit.

onetische reclame

Welke reclame? Heeft 5 minuten geduurd met hun adblockers en de adblockers zijn volop aan het winnen.

Zoals Bilgy_no1 zegt, klink niet op alles en nog wat, al is het om enkel om te dislike te drukken. Want Youtube algorithm ziet dat als "interactie en engagement" aan, en dan krijg je nog meer van die rommel.

Clean je favorites, druk op Not Interested or Do not recommend" als er maar iets in je feed komt, dat je niet aanstaat. Deel je account niet met ander mensen, zoals je vrouw want je hebt maar 1 of 2 videos nodig en je feed zit vol met de zoveelste corona complete verhalen voor de volgende maand of 2.

Wees selectief, en heb echt geen probleem met rommel content. Al de youtubers/channels dat ik vol zijn / hebben goede content, educatief, enz. En natuurlijk adblocker (ublock) voor die rotte reclame.

[Plopeye]

Fake it till you make it...

[Onbelangrijk]

The matrix anyone?

Of "Do androids dream electric sheep"?

[BCC]

Op basis van data uit 2021.. dit wordt een soort Groundhog-day inderdaad

[Bender]

Waar haal je die 2021 vandaan dan?

[Spykie]

Onder een steen vandaan ;-)

[Bender]

2021 komt onder een steen vandaan?

[Spykie]

Eerder had ChatGPT een limiet qua data tot 2021

[Spykie]

Prima joh, ik legde alleen uit waar de referentie naar 2021 vandaan kwam he