AI-audiomaker Elevenlabs brengt tool uit om geluidseffecten te genereren

AI-start-up ElevenLabs komt met een tool waarmee gebruikers geluidseffecten kunnen genereren via tekstprompts. De effecten kunnen maximaal 22 seconden lang zijn. Het is ook mogelijk om korte instrumentale muziekfragmenten te genereren, of stemgeluiden.

Met de Sound Effects-tool kunnen gebruikers een beschrijving invoeren, zoals 'dreigende bliksemschichten' of 'vrouwelijke angstkreet', waarna er vier verschillende audioclips van maximaal 22 seconden gegenereerd worden. De tool kan volgens Elevenlabs ook gebruikt worden om korte spraakclips te genereren, al lijkt deze daar in een kleine test van Tweakers vooralsnog moeite mee te hebben.

De functie is gratis beschikbaar, maar alleen betalende gebruikers mogen de tool commercieel gebruiken, schrijft ElevenLabs. Bij de standaardlengte van de audioclips verbruikt iedere prompt 200 tekens. Als gebruikers zelf een lengte voor de clips instellen, kost elke generatie 40 tekens per seconde. Gratis gebruikers krijgen toegang tot 10.000 tekens per maand.

ElevenLabs heeft zijn geluidseffectentool getraind met de audioclips van Shutterstock. Dat bedrijf heeft AI-licentiedeals gesloten met een hoop Amerikaanse techbedrijven, waaronder Meta, Google en OpenAI. Volgens de AI-start-up is de tool voornamelijk bedoeld voor tv- en filmstudio's, gameontwikkelaars en influencers, zodat ze 'snel, betaalbaar en op schaal' geluidseffecten kunnen maken.

ElevenLabs raakte vorig jaar bekend met een webdienst om AI-stemmen te genereren van onder meer bekende mensen. Ook bracht het een dienst uit om stemmen in films te vertalen naar andere talen.

Reacties (25)

[Accretion]

Vanwaar het limiet van 22 seconden?
Of is dit enkel voor de gratis versie?

Het lijkt mij handig als je volledige (achtergrond)muziek kun genereren of een volledig gesprek tussen twee personen.

[87Dave]

Kan zijn dat model op beperkte lengte getraind is. Langere lengte trainen is moeilijker, vereist meer resources en niet alle input is er geschikt voor.

Is op zich ook geen probleem voor professionals. Men kan meerdere keren iets generen en dan gaan plakken en mixen om het langer te maken.

Achtergrondmuziek is het niet geschikt voor, het gaat over geluidseffecten zoals bliksem. Maar voor muziek, zijn er al andere tools. Alhoewel men voor muziek die een beetje deftig moet zijn, gewoon een licentie op een bestaand nummer kan nemen. Er is al zoveel muziek dat er wel iets zal passen.

[edeboeck]

Een mogelijke reden kan zijn dat ze gedoe met nep nieuws willen tegengaan: die limiet van 22" maakt dat toch wat lastiger.

[naaitsab]

Een geluidseffect voor bijvoorbeeld een game is natuurlijk heel iets anders dan muziek. Dat laatste ligt nogal gevoelig in de AI vs muziekindustrie discussie. Dus ik vermoed dat ze op deze manier zich daar niet in willen mengen.

Voor kleine game of software makers die geen 'Foley artist' willen/kunnen inhuren is dit wel een uitkomst. De output is verrassend bruikbaar als ik wat testjes doe.

[sdziscool]

Ik vraag me af of ze "erotische" geluidseffecten toestaan of dat zelfs in audiovorm een grote Nono is voor de aandeelhouders.

[naaitsab]

Bij hun 'text to speech' tool (aanrader om eens te testen) wordt er in ieder geval geen filtering toegepast. Wellicht op de achtergrond dat er bepaalde termen wel voor problemen kunnen zorgen maar met wat 18+ lolbroekerij heb ik nog geen geweigerde prompt gehad.

[Thunderhawk]

"vrouw, tennis" ;-)

[dez11de]

Dit kan heel handig zijn als je even snel een geluidseffect nodig hebt wat niet in de standaard geluidseffectbiblioteken beschikbaar is. Bijvoorbeel het geluid van een boom die in slaap valt of een kitten die wakker wordt in de sneeuw.

[Reactie gewijzigd door dez11de op 23 juli 2024 14:26]

[Read-1st]

Wow, dit is echt een gamechanger voor de film- en muziekindustrie. Als semi-professionele elektronische muziekproducer heb ik in het verleden echt uren/dagen besteed aan het vinden van 'nét dat ene geluid' wat wel in je hoofd zit, maar niet lukt om te reproduceren of te vinden in de terabytes aan samplepacks. Net even uitgeprobeerd en hiervan gaan mijn handen toch wel weer jeuken om de studio weer eens aan te slingeren

[millman]

Ik heb t net geprobeerd als audio designer voor een game. de audio kwaliteit is beroerd, vanaf 99 dollar per maand kan je pas 44khz audio kwaliteit krijgen, de rest is verschrikkelijk kut. Wordt m niet wat mij betreft.

[itcouldbeanyone]

Ik heb liever iets open source wat je lokaal kan draaien zoals stable difusion,

[crazyboy01]

Op die manier heb ik ook veel tools gebruikt, maar ik merk dat je lokale AI eigenlijk sinds de hype steeds minder tegenkomt helaas. Deels 'terecht', de meeste AI-tools waren veel te zwaar voor de doorsnee gebruiker en daardoor indirect ontoegankelijk voor het brede publiek. Tegenwoordig heeft het echter ook vaak te maken met dat die tools webbased eenvoudiger binnen een abonnementsmodel geplaatst kunnen worden, zoals ook in dit geval. Zelfs lokale software met AI-functionaliteit laten de AI vaak alsnog via het internet verlopen en dus niet lokaal binnen de software uitvoeren. Ze laten het alleen zo lijken.

[Reactie gewijzigd door crazyboy01 op 23 juli 2024 14:26]

[pim]

Ik heb een diepe afkeer van ai gegenereerde "kunst".
Als een schilderij op een muur ai is vind ik het onsmakelijk en goedkoop.
Als mensen zouden dansen in een club op ai muziek dan voelt het ook zo nep.
En zodra een film vol zou zitten met ai gegenereeerde beelden en geluid, dan hoef ik het bij voorbaat niet te zien.
Lijkt me dystopisch als we dadelijk omringt zijn met ai content.
Maar het gaat gebeuren, want het is zoveel goedkoper.

[crazyboy01]

Tja, dat ligt er ook maar net aan hoe gevoelig je bent voor het 'idee' dat er een computer achter zit. De een zet zich daar makkelijker overheen dan de ander. Nu is het sowieso nog niet aan de orde. Media AI-content bestaat nu vooral uit muziek, video en beeld en alle drie komt het totaal niet in de buurt van non-AI. Dus op dit moment is het vooral voor de fun en zijn we er nog niet mee omringt.

Als de boel echter flink verbetert en er zeer goede films of muziek uitrolt, of de hitlijsten vol staan met AI-nummers, dan zou ik daar best in mee kunnen gaan. Als het mijn smaak is, en niet te onderscheiden van hoe het voorheen was, prima. En als een film met AI-content mij entertaint, dan ga ik me ook niet aan allerlei principes houden en de film niet bekijken. Maar dat is zeer persoonlijk.

Ik denk alleen dat dat voor lange tijd nog wel mee zal vallen, de overhand zal het voorlopig echt nog niet nemen. Ik denk ook dat veel mensen het te extreem zien. Die denken bij een AI-film aan een film die volledig geschreven en geproduceert is door AI, waarbij het enige mensenwerk twee ingetypte zinnen is geweest. Zo zal het echt niet gaan, op die experimentele uitzondering na. Ik denk eerder dat we voorlopig moeten denken aan kleine details en bepaalde special effects of editing die normaal met de hand wordt gedaan - maar dan eenvoudiger, goedkoper en misschien wel realistischer. Wat is dan eigenlijk het probleem? Ook met deze tool zal er eerder eens een heel specifiek geluid worden opgevraagd dat amper te vinden is. Daar zal je niets van merken. Het geluid van een oude deur die open gaat is ook al 30 jaar hetzelfde in tientallen films, daar stoort ook niemand zich aan omdat niemand erop let. Dus dat ene AI-geluidseffect dat voorbij komt heb je waarschijnlijk niet eens door zodra AI goed genoeg is.

[Stapper55]

Dat zei men ook toen de eerste synthesizer kwam.
Daar is ook een hele hoop rotzooi mee gemaakt overigens.
Maar anderen maakten het weer tot een kunstform... Fluke, younger brother, ott, ik noem er maar een paar.

Toen de eerste stoomtrein kwam zei men ook, dat rokende paard, weg ermee.
Sommigen vielen eraf, anderen gingen er voor staan, maar het gros gebruikte dat ding om van A naar B te gaan.

Techniek hoort bij de evolutie, en het mes snijd altijd aan 2 kanten.
Natuurlijk zal AI zijn intrede doen in films, maar dat kan zichtbaar, of onzichtbaar, goed of slecht.
Als je controle krijgt voor bijvoorbeeld darmkanker, ziet AI dat beter dan een mens.

We zitten nu in het tijdperk van de cybernetica, en de opkomst van AI
Volgende stap zal assimilatie zijn.
Gelukkig zijn wij dan alweer sterrenstof.

[JDx]

En wat is hier anders aan dan? Maanden geleden al dit gemaakt met AI en het geluid komt van Stable Audio
https://streamable.com/l4l8ik

[Patoer]

Mooi plaatje,maar het geluid is of er een vrachtwagen met grind wordt gelost. Maar het begin is gemaakt,dat wel.

[ToolBee]

...Want er zijn niet al talloze libraries met , al dan niet vrij toegangkelijke, samples van alle geluiden die je kunt verzinnen.
Het enige nut van "zelf genereren" is dat je onder copyrights uit komt.

[Orangelights23]

Het is toch goed dat meerdere bedrijven hieraan werken? Je weet wel, concurrentie is in het voordeel van de gebruiker.

[JDx]

True, ik juich alle vernieuwing toe.

[koelpasta]

En wat is hier anders aan dan? Maanden geleden al dit gemaakt met AI en het geluid komt van Stable Audio

Het klinkt alleen als vallend puin/steen/metaal in een ruimte en totaal niet als een zee.,

[Reactie gewijzigd door koelpasta op 23 juli 2024 14:26]

[djwice]

Grappig "16.187 rechtenvrije geluidseffecten" bij Shutterstock, met beschrijving.
En vervolgens kosten ze toch geld.

En je moet af en toe "shutterstock" uit het geluidsbestand filteren.


Op https://freesound.org/ vind je hele mooi geluidseffecten, gratis.

[Reactie gewijzigd door djwice op 23 juli 2024 14:26]

[Felyrion]

Rechtenvrij en gratis zijn verschillende dingen. Rechtenvrij zal in deze context betekenen dat je ze kunt gebruiken voor je eigen (publieke) projecten zonder daar verder royalties of wat dan ook voor af te tikken.

Je mag ook geen muziek van je eigen gekochte cd onder je filmpjes op internet gebruiken. Daar zitten namelijk wél rechten op.

[djwice]

Ik vind rechtenvrij een verwarrende term. Als er geen rechten op rusten, kan iemand er ook geen recht op laten gelden, dus ook geen vergoeding voor het muziek bestand vragen. Immers het bestand is rechtenvrij. Je kunt iets wat jou niet toebehoort niet verkopen, toch?

Dus daarom vind ik het verwarrend.
Uiteraard kunnen er diensten omheen bedacht worden en daar kan geld voor gevraagd worden, maar dat lijkt niet te gebeuren in dit geval.

[TV_NERD]

Gebruikers van Dark Reader in Chrome, open deze website niet als je epilepsie hebt