OpenAI introduceert neuraal net dat muziek inclusief zangpartijen genereert

Het onderzoeksinstituut voor kunstmatige intelligentie OpenAI heeft Jukebox ontwikkeld, een model dat volledig muzieknummers kan genereren in verschillende genres, inclusief de zangpartijen.

OpenAI publiceert 7131 samples van songs die zijn gemaakt met Jukebox. De nummers variëren van pop, rock en jazz tot reggae en hip-hop. Naast volledig eigen gegenereerd materiaal in bepaalde stijlen, zijn er ook herinterpretaties van nummers en voorbeelden van bekende tracks zoals Hotel California van The Eagles, die Jukebox 12 seconden na het originele begin een totaal andere wending geeft.

Het onderzoeksinstituut maakt voor zijn model geen gebruik van een representatie van muziek, zoals muzieknoten of midi-data, maar van directe audio. Zijn vorige ai-muziekgenerator Musenet trainde OpenAI nog wel op duizenden midi-bestanden. Het nadeel is volgens de makers dat bij trainen op representaties de menselijke stem niet wordt meegenomen en dan missen ook subtiele eigenschappen op het gebied van dynamiek en expressiviteit.

Trainen op pure audio is een stuk moeilijker, omdat de modellen de grotere mate van diversiteit en langere structuren moeten laten meewegen. Voor het trainen heeft OpenAI een dataset van 1,2 miljoen tracks gebruikt. Daarvan waren er 600.000 Engelstalig, maar de ontwikkelaars willen in de toekomst meer internationale muziek gebruiken om Jukebox te trainen. De muziek is gecombineerd met bijbehorende songteksten van LyricWiki en met metadata over het genre, de artiest en andere steekwoorden.

Het encoderen van bestaande muziek en genereren, upsamplen en decoderen van nieuwe audio door Jukebox

OpenAI gebruikt 32bits 44.1kHz-audio als basis en comprimeert voor het trainen tracks op drie niveaus: 8x, 32x en 128x. Deze niveaus dienen voor het encoderen van de input. Bij dit downsamplen gaat veel audio-informatie verloren, maar de essentiele details op het gebied van pitch, timbre en volume blijft behouden. Op basis van de input op drie niveaus worden codes gegenereerd, eveneens op drie levels. Het bovenste niveau modelleert de lange structuur van tracks, met zang en melodieën en aan deze laag kan informatie zoals het genre worden toegevoegd. De audiokwaliteit van deze uitput is laag. De middelste en onderste niveaus zorgen voor de overige muzikale structuren en verbeteren de audiokwaliteit.

Volgens de onderzoekers heeft Jukebox nog enkele flinke nadelen en is het nog niet in staat goede muzikale structuren als refreinen te genereren. Ook zorgt het down- en upsamplen voor ruis en is het model traag: het duurt het zo'n negen uur om een minuut audio te genereren. Wel noemen ze het model een stap voorwaarts wat betreft het door een neuraal net maken van coherente muziek waarbij op artiest, genre en songteksten gedifferentieerd kan worden.

Reacties (75)

[David Mulder]

Let wel, mocht je de hoofdpagina openen

All the lyrics below have been co-written by a language model and OpenAI researchers.

[tweegroenethee]

En dan vraag ik mij nog af hoeveel nummers vooraf al selectief zijn gefilterd, wellicht is 99% van de output onzin.

Below, we show some of our favorite samples.

Edit: https://jukebox.openai.com/?song=787982332

[Reactie gewijzigd door tweegroenethee op 26 juli 2024 21:06]

[Sn0wblind]

Dit klinkt al als 99% onzin. Totaal geen gevoel voor flow, ritme, harmonie etc.

[bbob]

Uiteindelijk is het een AI model dat zal moeten leren. Ieder begin is dus een begin, de vraag is waar gaat het naartoe en hoe snel leert het AI algoritme.

[Sn0wblind]

Ik denk dat het zeer goed laat zien wat zeer lastig in kaart te brengen is zelfs voor mensen. De formule voor wat muziek goed laat klinken en of niet goed laat klinken is zelfs voor de mens zelf nog een huge unknown. Waar AI super echt lijkende gezichten kan genereren is iets wat niet tastbaar is en echt puur een gevoel dus veel lastiger. Vind vooral dat aspect interessant.

De voorbeelden hier proberen dan nog voornamelijk simpelere muziek te ontleden. Wat als het muziek gaat proberen te emuleren met uniekere time signatures etc.

[Reactie gewijzigd door Sn0wblind op 26 juli 2024 21:06]

[JAVE]

Ik hoopte dat ze iets als 'Time Out' van het Dave Brubeck Quartet hadden verwerkt

Maar wat er zo snel aan 'muziek' tussen staat in de stijl van mij bekende artiesten klinkt op zijn best alsof de hele band een beroerte heeft gehad, en op z'n slechtst als random bagger.

[bbob]

Wanneer is een hit een hit en waarom wordt het een hit. Als je hits bekijkt zijn er vele verschillende stijlen dit hit kunnen worden. De massa ook van menselijke muziek wordt geen hit.

Bij AI zal het dus ook niet anders zijn. 1 op de xxx klinkt nu misschien leuk maar 1 op de ? zal misschien ooit een hit worden.

Er is dacht ik al veel analyse gedaan op hits wat ze gemeenschappelijk hebben maar een formule is er nog niet uitgekomen.

Maar we zullen zien wat AI er in de toekomst van gat bakken.

[360Degreez]

Een idee is om er een stapel albums van 538 Hitzone doorheen te rammen. Grotendeel weinig fantasievolle radio-hitjes die volgens een vast stramien zijn geproduceerd om bij het grote publiek in de smaak te vallen.

Door deze te trainen heb je in ieder geval een strakke basis voor "de muziek van nu". Van daaruit kan het systeem dan verder naar echte muziek :-)

[Carn82]

Na wat geluisterd te hebben is inderdaad het gros 'niet om aan te horen'; maar desalnietmin laten de gecureerde samples wel zien wat er mogelijk is. Ben benieuwd hoe dit project over bijvoorbeeld 5 jaar klinkt.

[Skyclad]

Devin Townsend (https://jukebox.openai.com/?song=787933561) klinkt nog enigsinds zoals een echt liedje van hem zou kunnen klinken, maar vooral omdat hij nogal experimenteel is en het dus al snel klinkt als iets wat hij zou kunnen doen. Bij een Motorhead-stijl liedje (https://jukebox.openai.com/?song=787983478) hadden ze een lap tekst staan waar vervolgens alleen de eerste twee woorden van te horen zijn, dus iemand had zitten typen zonder verder te luisteren. Ensiferum kreeg een soort rap text over vrouwen (https://jukebox.openai.com/?song=807307393), en zo waren er meer twijfelachtige dingen. Helloween had volgens mij wel 'zang' maar geen text (https://jukebox.openai.com/?song=799893526), en ook al was te herkennen uit welke nummer ze samples hadden gebruikt klopte er verder niets van de muziek en zang omdat het geen geheel vormde en ze niet bij elkaar passende stukjes hadden gebruikt om het te genereren.

Het idee is leuk, maar meer dan een leuk idee is het ook nog niet.

Oh, en voor liefhebbers van Bollywood is er altijd nog Nightwish: https://jukebox.openai.com/?song=787969360

[Reactie gewijzigd door Skyclad op 26 juli 2024 21:06]

[AJediIAm]

Ik vind de symphonic rock best leuk klinken. Misschien moet ik de bandnaam bytewish alvast claimen

[_Pussycat_]

Je kunt ook de non-curated songs luisteren. Maar het is behoorlijk slecht.

[mekkieboek]

Ook voor het beluisteren kun je OpenAI gebruiken
Dan luister ik wel naar ouderwets met de hand gemaakte muziek.

[ExManolo]

Te gekke muziek, iets voor Star Trek, de muziek op de boordradio van een Klingon ruimteschip. Ik vind dit heel interessant.

[Beta]

Benieuwd hoe dit in de toekomst qua copyright wordt geregeld.

[debroervanhenk]

Misschien geldt hiervoor straks wel hetzelfde als met octrooien: nieuws: Patentbureau VS: AI mag geen octrooien aanvragen

Een tijdje geleden heeft iemand een AI verschillende soorten muziek laten maken en de resultaten in het publiek domein vrijgegeven, maar daar kan ik nu even niks over vinden.

Het is nog een beetje onontgonnen gebied, maar wel interessant. Hier twee willekeurige meningen van juristen:
https://www.americanbar.o...-artificial-intelligence/
https://www.declercq.com/...lligence-en-auteursrecht/

Misschien dat deze ontwikkelingen ervoor zorgen dat het concept auteursrecht eens wordt heroverwogen en ingeperkt, maar dat is vooral wensdenken van mijn kant. Lobbyisten van grote bedrijven zullen er wel weer voor zorgen dat die bedrijven eindeloos auteursrecht krijgen over dingen die door hun AI’s zijn bedacht.

[rickiii]

Wat ik niet helemaal doorheb of alle eigendom van een AI gezien wordt als eigendom van de eigenaar van die AI. Want er komt straks AI op de markt dat niet meer geclaimd kan worden door een persoon en zal die AI dan mogen blijven bestaan?

[jeroenk13]

Ik denk dat het artikel "nieuws: Patentbureau VS: AI mag geen octrooien aanvragen" linkt naar dat Ai zelf geen aanvragen mag doen, maar wat nou als Ai iets maakt en een mens claimt het ?

[trab_78]

Waarom zou je dit willen? Dat ontgaat mij echt. Los van het feit dat het niet om aan te horen is en kant noch wal raakt, wat in de toekomst vast allemaal beter zal worden. Maar waarom????

[RoamingZombie]

Om exact de zelfde reden kan je ook vragen, waarom niet? Soms doen we gewoon dingen omdat het kan en wij nieuwsgierig zijn aangelegd. Waarom maakt iemand een kasteel van luciferhoutjes en beelden van ijs. Daar is veel beter materiaal voor te vinden.

En soms komen daar als gevolg weer nieuwe kennis en ontdekkingen uit. Dus ik blijft eigenlijk bij mijn tegenwerping, waarom niet?

[trab_78]

Grappig dat je die voorbeelden kiest. Een kasteel van luciferhoutjes of beeld van ijs zijn beiden voorbeelden van creatieve uitingen. Ik begrijp heel goed waarom je soms creatieve uitingen maakt zonder dat dat meteen een duidelijk doel heeft. En ik begrijp ook heel goed dat creatieve uitingen vaak juist niet op de meest efficiënte manier gemaakt worden. Het gaat juist om het proces.

En dat brengt me dus bij mijn vraag: waarom zou je een AI willen die het creatieve proces van het creëren van (in dit geval) muziek zou kunnen vervangen? Dat proces wil je volgens mij helemaal niet vervangen. Nog los van de vraag of je menselijke creativiteit ooit zal kunnen evenaren met AI. Ik denk(en hoop) van niet!

[Tonerider]

Ik denk ook niet dat de wens van zulke uitvinders is om het creëren van muziek aan AI over te laten. Maar hun wens is om een AI te creëren die wel zo creatief is om dat te kunnen. De creatieve AI ontwikkelen is het doel, niet de muziek an sich.

[trab_78]

Ja. En dat is dus precies mijn punt: waarom wil je creativiteit nabootsen?

[Tonerider]

Omdat het een complex iets is en als je daarin slaagt heb je weer een next level bereikt. To boldly go where no man has gone before.

En als Terminators ooit de wereld overnemen zal het headbangend zijn of met een indrukwekkend imperial march-music

[GIIANT]

Om te onderzoeken wat creativiteit/intelligentie is, we hebben er wel een gevoel bij, maar weten niet wat het is. Uiteindelijk om ons zelf dus verder te ontdekken, dezelfde reden waarom er schaak en go computers zijn ontwikkeld.

[RoamingZombie]

Wat Tonerider zegt.

[honey]

Ik zal vast ouderwets zijn en the greater good niet kunnen zien, maar ik vind dit doodeng.

Ik ben bang voor een wereld waarin alles nep kan zijn, alles wat je ziet, hoort, leest kan gefabriceerd zijn, gemanipuleerd en niet meer van echt te onderscheiden. We leven in een artificial reality zonder dat hulpmiddelen nodig zijn. We leven dan in een wereld waarin nieuws niet meer te controleren zal zijn en mensen met macht bepalen welke realiteit de juiste is.

[Tonerider]

Mensen met macht bepalen nu ook al welke realiteit de juiste is. Vb. in de westerse wereld worden we opgevoed met het idee dat de Russen en de Chinezen slecht zijn. En daar worden ze geleerd dat wij de slechten zijn. En langs beide kanten gelooft de meerderheid dat.
Had Hitler WOII gewonnen, hadden we hier nu ook een andere kijk op de geschiedenis.
Zelfs het nieuws vormt ons: welke beelden worden getoond, welke commentaar wordt gegeven: het heeft allemaal een effect op ons. (denk ook aan hoe facebook een middel is om verkiezingsuitslagen te beïnvloeden). Als men momenteel een goed voorbeeld wil: kijk maar hoe Fox news en MSNCB dezelfde gebeurtenissen van 2 tegenovergestelde uitgangspunten belichten.

Ons denken wordt vanaf de schoolbanken beïnvloed om volgens een bepaald patroon te denken: wie is of was de slechte, wie zijn de goede, etc.
Geschiedenis wordt ook al eeuwenlang aangepast: zelfs de oude Egyptische farao's deden dit: https://artsandculture.go...om-history/9QISgLrWPLdZIg
http://www.todayifoundout...ng-egypt-wore-fake-beard/

Dus u moet geen schrikken hebben: AI gaat gewoon een nieuw middel zijn in een oude praktijk.

Op zich is de (retorische) van Pilatus aan Jezus nog steeds geldig: 'Wat is waarheid?'

[Kid_Stevie]

Ben door de samples aan het scrollen, zit deze tekst er tussen (kan het niet helemaal uit de muziek halen)

What is my purpose
Why am I here
Why did Open A. I. create me?

Jukebox.openai.com/?song=787826455

Freaky Black Mirror materiaal. Ergens anders komt Jukebox ook terug in de tekst. Ik neem aan dat er voor die teksten bepaalde basis teksten zijn ingevoerd.

Edit: Als ik het goed begrijp zijn die unseen lyrics zijn gewoon ingevoerd, niet gegenereerd.

Maar heel interessant dit, want wat als je dit als basis gebruikt voor het maken van nieuwe muziek. Krijgt de AI songwriter credits? Krijgt dan ook alle input songwriter credits? Een menselijke muziekant word ook (onbewust) beïnvloed door alles wat je gehoord hebt, dan hoeft het niet, tenzij het er genoeg op lijkt.

[Reactie gewijzigd door Kid_Stevie op 26 juli 2024 21:06]

[Puremonk]

Dit nummer is bewust dat het gecreëerd is?
https://jukebox.openai.com/?song=787826776

[Marijnus]

Net als deze:

https://jukebox.openai.com/songs/789403414

Ik hoop een grapje van de makers.

[Tortelli]

Zou wel eens beter kunnen klinken dan een hoop moderne muziek die gemaakt wordt de laatste tijd .

[RoamingZombie]

De laatste tijd wordt er net zo veel goede als shit muziek geproduceerd als alle decennia hiervoor. Dit zegt meer dat jouw kennis van muziek beperkt is

[Reactie gewijzigd door RoamingZombie op 26 juli 2024 21:06]

[Sjeefr]

Ik denk niet dat je het op kennis mag gooien. Vermoed dat het ook gerelateerd is aan wat op grote schaal als 'standaard' of 'trending' wordt gezien. Een groot deel wat er op de radio gedraaid wordt is voor de een groot deel van de generatie 25+ minder in smaak dan de muziek van 'vroeger'.

Als je continue 'slechte' muziek hoort, dan vormt dat al gauw een mening over de definitie van 'moderne' muziek.

[Winduss]

Dat is dus het probleem met @Tortelli , hij lijkt alleen maar te kiezen om 'slechte' muziek te luisteren. Wat ik al een beetje vreemd vind.

[Tortelli]

Het is ook zeker niet zo dat er alleen maar slechte muziek gemaakt wordt hoor, alleen veel wat in de top 40 komt is gewoon troep. Was vroeger echter ook al zo.

@kozue met zijn reactie hieronder heeft wat dat betreft wel een punt.

[RoamingZombie]

Dat is dan toch kennis? Je 'kent' minder muziek omdat je je beperkt tot bijvoorbeeld de radio/top40. Voor de duidelijkheid, ik heb het niet over verstand van muziek hebben. Er wordt echt zo veel meer muziek gemaakt dan wat je op de radio hoort (ik luister overigens nooit naar de radio).

[Reactie gewijzigd door RoamingZombie op 26 juli 2024 21:06]

[SinergyX]

Goed is gelukkig nog altijd relatief, mensen zijn zeer gevoelig voor trends en stromingen, dat het meegaan in zo'n trend automatisch het 'goede' meebrengt, ga jij echter niet mee, of blijf je lekker bij je ouwe stroming, dan zal het nieuwe je niet bepaald goed vallen.

De een vind hardstyle (variant van alles uit de 90's) nog steeds 'doef doef teringherie' vinden, de ander gaat helemaal los bij copy&paste rapnummer van <insert gold bling bling> rapper, YMMV zeg ik dan maar

[kozue]

Niet mee eens. Als je een nummer 1 hit kunt scoren terwijl je nauwelijks kunt zingen met een nummer van minder dan 2 minuten is er toch echt iets mis met de moderne muziek. Al die eendagsvliegen van tegenwoordig halen het niet bij de supersterren van vroeger...

[Yalopa]

Dat zeg veel over de smaak van "de massa", niet over de muziek op zicht

[cracking cloud]

Of over de marketingmachine.

[Luuk.vanRiel]

Vooral dat inderdaad. Waar vroeger uiterlijk van een zanger geen zak uit maakte (Jimi Hendrix, Janis Joplin, Bob Dylan etc) lijkt het nu alsof door bedrijven als Disney selectie gedaan wordt door hitsige tieners.

Dit natuurlijk omdat dat de grootste doelgroep die het meeste naar festivals en concerten zal komen en daar tegenwoordig het geld mee verdiend moet worden ipv met het verkopen van platen die mensen gefocust in de rust van hun huis tot zich kunnen nemen.

[Reactie gewijzigd door Luuk.vanRiel op 26 juli 2024 21:06]

[Arator]

VRT heeft een mooie podcast gemaakt over Kpop. Één grote marketingmachine die al draait vanaf dat er een kleine ginder zegt "ik wil beroemd worden".

[OxWax]

Kpop telt ondertussen al 3?! zelfmoorden.
Boyband level pressure, in het kwadraat

[page404]

Live is life, la laaa la la la
shes singing laalaaaa lalalaaaa
Nee vroeger gebeurde dat niet, dat een simpel nummer met een slechte zang een dikke hit werd

Oh niet te vergeten french kiss -little Louis

[Reactie gewijzigd door page404 op 26 juli 2024 21:06]

[Santzzz]

Toch hebben miljoenen mensen gedanst en plezier gehad van die nummers en ik zal je vertellen dat is nog steeds zo! Ik denk dat een muziek nummer goed is als mensen er plezier aan hebben.

Muziek is pas slechte muziek als niemand er naar luistert.

[mphilipp]

Check voor de gein eens de tekst van 'She sells sanctuary'. Absolute gibberish, maar een mega-hit. Laatst was er ook een grap op FB over (ik dacht) een Beyonce hit met ik geloof 2 regels distincte tekst. Pak 'm beet 10 woorden zeg maar. En daar waren 5 (VIJF!) schrijvers bij betrokken... Geef mij dan die AI maar

Nee, wat een hit is of wordt, weet niemand. Hoeveel onderzoek er ook naar gedaan wordt. Voor sommige nummers is het door het hitsige clipje (Sabrina-Boys,boys,boys), sommige door de marketingmachine, sommige hebben een pakkende tekst en voor andere hits was het gewoon de artiest die op enig moment superpopulair was en elk nummer werd een hit. Soms komt er een onderzoek dat claimt het te weten, maar ik hecht daar 0,0 waarde aan. Sommige nummers hebben jaren geduurd om te schrijven, anderen zijn tijdens een wc bezoek geschreven of het bezoek aan een winkel. Wie het weet mag het zeggen.

Ik mag hopen dat het doel van dit project is om inzicht te krijgen in AI en wat je kunt op 'creatief' vlak en dat het doel niet is om serieus muziek te gaan maken. Hoe ver AI ook komt, het creatieve proces in een menselijk brein is (hoop ik) niet te vatten in een algoritme of AI proces. Immers, heel vaak blijkt dat juist tegen alle regels in gaan een veel beter resultaat oplevert dan de regeltjes volgen. Dat zie je in alle creatieve beroepen. Schilders die iets nieuws proberen lopen eerst tegen een muur, maar als men het geaccepteerd heeft of snapt, is het ineens geweldig. Geen idee of je een AI zo kunt bouwen dat ie ook met een eigen origineel idee komt dat de kaders doorbreekt.

[OxWax]

LITTLE Louis?
Dat was dé neukplaat in mijn (hous)party jaren (en natuurlijk in combi met de NL "snoepjes"

Overigens knap spel met de delay, probeer het zelf maar, moet je uitrekenen op basis BPM

[OrbNL]

[voxl_]

Tegenwoordig luisteren mensen meer naar nummers, niet naar artiesten. Zeker met al die (automatische) playlists tegenwoordig. Ik ben ook zo: als een nummer goed klinkt / leuk is om naar te luisteren, sla ik 'm in een playlist op. Soms klik ik door op de artiest, maar vaak is de rest dan vooral meh. Wat maakt het ook uit, muziek is ZEER persoonlijk. Dat jij vind dat er iets mis is met moderne muziek... Ach, smaak.

[OxWax]

Bjork zei het ooit ...."99% is shit but we do it for that one percent".
Alleen verzuipt die ene onder de bagger die op copy past kanalen wordt gedraaid omdat ze 'trendy' willen zijn. (en natuurlijk de muziekkeuze wordt gedicteerd door rec companies)

[RoamingZombie]

Grappig feitje, Bjork heeft die opmerking niet bedacht, dat is Sturgeons Law: https://en.wikipedia.org/wiki/Sturgeon%27s_law

[RoestVrijStaal]

Hedendaags wordt er bij de meeste "hits" er gebruik gemaakt van het werk van ghost- of co-producer(s). Dus in hoeverre is het 100% eigen werk en talent? Maar is het dan "erg" dat het werk "opgedeeld" wordt?

[Amanoo]

Naast dat het allemaal sowieso mening en smaak is. Er zal toch iemand naar luisteren, anders verkocht het niet. Al is het voor mij soms ook een raadsel wie er nu naar dat soort muziek luistert.

En verder zie je het verleden ook makkelijk door rooskleurige glazen. De slechte muziek van oudsher wordt vergeten. De enige muziek die we ons herinneren is de goede muziek. Dat geeft meteen de indruk dat bijna alle oude muziek goed was. Survivor bias.

[RoestVrijStaal]

Naast dat het allemaal sowieso mening en smaak is. Er zal toch iemand naar luisteren, anders verkocht het niet. Al is het voor mij soms ook een raadsel wie er nu naar dat soort muziek luistert.

Helaas, RamBam heeft laten zien dat het niet hoeft.

[Waxyen]

Weet je zeker dat dit een ding van 'de laatste tijd' is? Misschien is de slechte muziek van vroeger gewoon vergeten?

[OxWax]

Zou wel eens beter kunnen klinken dan een hoop moderne muziek die gemaakt wordt de laatste tijd .

Zelfs mijn kat klinkt beter dan de irritante 'urban' die je dagelijks in je oor geramd krijgt

[Splorky]

Komt dit iedere generatie niet weer naar voren op allerlei onderwerpen?

[stewie]

Hottub time is een echte klassieker

[sypie]

Over een paar maanden krijgen we het nieuws dat AI beter gaat articuleren zodat het niet als Kane klinkt? Brrr. De demo's die er staan zijn niet om aan te horen, wat niet wil zeggen dat het niet kunstig is wat men daar gepresteerd heeft uiteraard.

[Nazlive]

Stond er eentje tussen van rihanna als je die opnieuw produceert zou 't niet eens slecht klinken denk ik

[scribly3]

Ik ben benieuwd hoe lang het duurt voordat het een copyright claim krijgt als ze het op youtube zetten