ElevenLabs brengt tool uit voor vertaling stemmen in films naar Nederlands

ElevenLabs heeft AI Dubbing uitgebracht. Dat is een tool waarmee filmstudio’s tekst van films kunnen vertalen in andere talen met een kloon van de stem van de originele acteur. Dat kan ook in het Nederlands.

ElevenLabs kondigde AI Dubbing vorige maand al aan en heeft het nu uitgebracht. Met de tool is het mogelijk om gesproken tekst te vertalen met behoud van kenmerken van de originele stem. ElevenLabs doet dat door de stem te klonen en die de vertaalde tekst te laten uitspreken met waar mogelijk de intonatie van het origineel.

De bedoeling is dat filmstudio’s met de software met minder moeite en met behoud van originele stemmen films kunnen vertalen. Veel films zijn in veel landen in het Engels met ondertiteling, maar bijvoorbeeld in Duitsland is het opnieuw opnemen van stemmen gebruikelijk. Ook gebeurt dat veel bij films voor kinderen. Het is onbekend wanneer de eerste films uitkomen die gebruik maken van de tool. ElevenLabs is een AI-start-up die zich vooral richt op tekst-naar-spraak en het genereren van kunstmatige stemmen.

Via het instellingen-icoon is de audiotrack te veranderen en zijn de sprekers te horen in onder meer Duits en Spaans

Reacties (39)

[Houtenklaas]

Lijkt me vreselijk eerlijk gezegd. Ook het luisteren en leren van andere talen staat direct op een achterstand. Knap dat het kan, laat ik dat voorop stellen. Voor landen zoals Duitsland waar ze aan nasynchroniseren gewend zijn, lijkt dit me wel een stap vooruit. Maar het blijft gek als je jouw favoriete buitenlandse acteur in het Nederlands wat hoort uitkramen ...

[RVervuurt]

Jij hebt als kind toch ook gewoon Pokémon, Digimon, Power Rangers e.d. in het Nederlands gekeken? Wat is dan opeens het probleem nu?

[evilution]

Heb je wel eens een film op een Duitse zender gekeken?
"Ich komme wieder"

[lepel]

Maar synchronisatie in Duitsland is dan weer een gigantische industrie en je hebt daar letterlijk beroemdheden die bekend zijn om hun stem en voice acting. Net zoals je bekende voice actors in spellen hebt.

Kunnen wij om lachen, maar bijvoorbeeld Surf’s Up in Duits (Könige der Wellen) is hilarisch omdat ze ook Duitse typetjes doen met bijbehorend accent. Dat maakt het een heel eigen ding. Ze proberen zelfs de tekst te laten matchen met de originele mondbewegingen.

[Reactie gewijzigd door lepel op 22 juli 2024 21:34]

[Genosha]

Zeker. Duitse stemacteurs zitten bijna in dezelfde schaal van roem als Japanse stemacteurs. Maar dat is waarom een Duitse dub altijd wel te doen is, terwijl een Nederlandse dub altijd net niet is. Komt ook omdat er altijd een Vlaamse stem gekozen wordt als een van de hoofdrollen, en dat komt dan net weer niet lekker uit te verf naast een half platte Rotterdamse.

[dasiro]

ik heb nog nooit een film/serie voor volwassenen in het Nederlands (laat staan door een Vlaming) gedubd gezien/gehoord. Misschien dat het meer iets is voor de Nederlandse markt, maar bij ons in Vlaanderen heb ik er geen weet van, mogelijks omdat we hier wat polylinguïstischer zijn.

[Genosha]

Ik moet er niet aan denken. Maar doelde meer op Disney films, Nickelodeon tekenfilms e.d. voor de Benelux.

[Jerie]

Ik luister bijna iedere dag naar diverse dubs middels mijn kinderen. Ik stoor me niet aan de kwaliteit. Mijn vrouw had zelfs niet door dat Yoyo & Ouma nagesynchroniseerd was. Sterker nog, ik was afgelopen weekend met mijn zoontje naar een theatervoorstelling en ik herkende de stemmen van beide acteurs, ik kan het alleen niet plaatsen waar ik ze van ken. En ik was behoorlijk onder de indruk van de kwaliteit van hun stemmen. De mevrouw ging op het einde (na de voorstelling) 1x out of character. Pas toen had ik door dat ze de gehele tijd haar stem aanpaste. Ook Dora is leuk omdat er af en toe Engelse termen in voor komen; leerzaam dus.

Het lijkt mij vooral een kwestie van smaak.

[Reactie gewijzigd door Jerie op 22 juli 2024 21:34]

[gday]

Ik niet. Ik keek als kind het liefst naar de Fun Factory op Sky, zaterdagochtend van 8 tot 12. Alles in het Engels, en daar heb ik veel van geleerd. Mijn vrouw idem.

Derhalve 'mogen' onze kinderen op Netflix ook alleen films in het Engels kijken, en soms bij uitzondering in het Nederlands. We zagen vervolgens dat zij afgelopen zomervakantie, op een leeftijd van 4 en 6 jaar, gewoon in het Engels aan het spelen waren met oudere kinderen uit andere landen die vaak beduidend gebrekkiger Engels spraken dan zijzelf.

[DeerDitch]

Hahaha, dit dus! Volgens mij heette het eerst Super Channel. Daarna werd het Sky Channel.

[Genosha]

Ja, maar alle tekenfilms op Telekids gewoon met ondertiteling. Foxkids had vroeger zelfs een middag in de week (vrijdag?) tekenfilms in het Engels met ondertiteling, in de gedachte; goed voor de kinderen.

Nickelodeon heeft zijn gehele Engelstalige programmering jaren terug al laten vallen, nu is 's nachts om 3 uur nog steeds geen Engelstalige SpongeBob te kijken. Iets wat vroeger normaal was; na elf uur 's avonds ging de Engelse programmering in. Lekker Rocko's Modern Life kijken in het Engels, of Doug's Life zoals die vroeger bij Telekids was; met ondertitels.

Als ik het verschil zie tussen mijn broer (spreek één taal en dat is Nederlands door vroeg schoolverlaten, en dus nooit echt Engels geleerd te hebben) en zijn zoon die gewoon Engelse les krijgt op school dan is het niveau van begrijpend luisteren bij mijn broertje aanzienlijk hoger. Komt dat omdat hij altijd verplicht was te luisteren naar de TV omdat de ondertiteling niet te volgen was met dyslexie? Of omdat kinderen zo slecht Engels leren op school en sociale media?

[Sinester]

Nee ik heb als kind Cartoon Network in het Engels gekeken, meteen ook de reden dat ik al erg snel Engels kon verstaan en spreken

[Bergundy]

Ik toevallig niet, was een groot fan van de Engelstalige programmeringen van Cartoon Network en Nick at Nite Het verschil in de beheersing van de Engelse taal onder leeftijdsgenoten is daarom soms groot.

Leuk feitje: de normverschuiving in nasynchronisatie voor jeugdprogramma's komt door het destijds daverende succes van Ned's SurvivalGids: bron

[Houtenklaas]

Au, generatiekloof. Niet dus, ik kom uit de tijd van Q&Q, zwartwit TV en twee zenders. Maar als kind zeker NL gekeken ja. Maar in mijn jeugd voornamelijk Engelstalige series gekeken waar ik qua taal zeker niet slechter van ben geworden. Niks mis met NL taal, maar er is zoveel meer. Maar toegeven, als dit kan voorkomen dat iemand "me moeder" roept, ben ik om

[The Zep Man]

Lijkt me vreselijk eerlijk gezegd. Ook het luisteren en leren van andere talen staat direct op een achterstand.

Nasynchroniseren heeft ook als nadeel dat de originele boodschap van het materiaal verloren gaat. Met ondertiteling kan je in een TV-uitzending nog luisteren naar het originele geluid. Als je de taal kent, dan zie je dat in veel gevallen de Nederlandse ondertiteling er broddelwerk van maakt.

Als Nederlandse ondertiteling, gemaakt door professionals, al van vertalingen broddelwerk maakt, hoe kan je dan van AI verwachten dat die het beter gaat doen?

[PCG2020]

Nasynchroniseren heeft ook als nadeel dat de originele boodschap van het materiaal verloren gaat. Met ondertiteling kan je in een TV-uitzending nog luisteren naar het originele geluid. Als je de taal kent, dan zie je dat in veel gevallen de Nederlandse ondertiteling er broddelwerk van maakt.

Dat komt doordat je datgene wat gezegd wordt in een andere taal niet letterlijk 1-op-1 over kunt nemen. Ondertiteling is in feite een Nederlandstalige "samenvatting" van wat er gezegd wordt, want anders heb je eenvoudigweg geen tijd om het te lezen. Teletekstpagina 888, voor doven en slechthorenden, doet dat "samenvatten" zelfs bij Nederlandstalige programma's.

(...) Als Nederlandse ondertiteling, gemaakt door professionals, al van vertalingen broddelwerk maakt, hoe kan je dan van AI verwachten dat die het beter gaat doen?

Nederlandse ondertiteling werkt voor een flink deel al met spraakherkenningssoftware. Dat is goedkoper dan voor al het vertalen en ondertitelen professionals in dienst nemen. Die doen dan de belangrijke dingen zoals live ondertitelen bij ingelaste nieuwsuitzendingen en andere live uitgezonden programma's. Vandaar dat je juist daar ziet dat de ondertiteling een klein beetje achterloopt.

[The Zep Man]

[...]


Dat komt doordat je datgene wat gezegd wordt in een andere taal niet letterlijk 1-op-1 over kunt nemen.

Er zijn twee soorten mutaties in dergelijke vertalingen:
• De boodschap zo goed mogelijk overbrengen, ondanks dat er geen goede vertaling is.
• Slechte vertalingen die niet goed de boodschap overbrengen. "Zij hebben de bal laten vallen."

Mijn reactie gaat over dat laatste.

[Reactie gewijzigd door The Zep Man op 22 juli 2024 21:34]

[PCG2020]

O, ik ben het met dat laatste zeker eens. Maar dat is dan juist het gevolg van het gebruik van spraakherkenningssoftware zonder redactie achteraf. Dat zag je op een gegeven moment heel veel bij films op de commerciële zenders

[harmtaro]

Ik moet denken aan de NL ondertiteling in The Hobbit, daar werd "And a warm hearth." vertaald naar "Met een warm hart."
p.s. Ik zou graag in de bioscoop voorstellingen zien zonder... #Zondertitels ? xD

[masterfragger]

Wat wellicht beter zou kunnen worden met AI, is de uitspraak van "buitenlanders" in films die worden gespeeld door autochtonen.

Nederlanders die Engels spreken is vaak een beetje tenenkrommend. AI kan ze een prachtig accent geven.

Wellicht ook wat voor de speeches van WimLex.

[ErikT738]

Het ligt er een beetje aan. Voor oude kinderseries lijkt dit me een prachtig tool, aangezien de Nederlands ondertitelde versies of zelfs de officiële dubs waarschijnlijk niet meer beschikbaar zijn. Als deze technologie zich in dit tempo door blijft ontwikkelen ga ik wel proberen of ik Conan the Adventurer of Dungeons and Dragons in het Nederlands kan maken voor mijn zoontje

[xoniq]

Maar het blijft gek als je jouw favoriete buitenlandse acteur in het Nederlands wat hoort uitkramen ...

Wel perfect voor de film industrie waar Nederlands nodig is. Zoals bij Oppenheimer waar het nog amper Duits is wat ze proberen te vertonen als Nederlands.

Daarnaast heb je een serie Crossing met een aantal bekende acteurs, die dan over Interpol enz gaat, dan is er een strafrechtelijke kwestie die in Nederland opgelost moet worden, hoor je eerst een paar zinnen enorm bagger half Nederlands, en vervolgens gaan dan zogenaamde Nederlandse politie agenten onderling Engels praten enz.

Het is zo ontzettend tenenkrommend, dat het met een AI vast 100x beter kan. En überhaupt laat die Amerikanen in hun eigen taal praten, ook als ze Nederlandse politie spelen, en vertaal dat dan achteraf met AI. Realistischer dan dat ze het zelf proberen.

Ja of huur gewoon wat Nederlandse figuranten in voor een paar Haagse woordjes en door.

[i-chat]

Ik kom terug moederneuker!

Met een oostenrijks-nederlands accent

Ik moet er idd ook niet aan denken

[RoamingZombie]

Duits klinkt voor geen meter

Ik vind het leuk maar dit moet verder ontwikkelen want de 'robot' is nog duidelijk hoorbaar. Leuk voor Youtube nu, maar nog niet voor speelfilms.

[djwice]

Het is wel goed in het Duits te verstaan/volgen

[The Zep Man]

Duits klinkt voor geen meter

Duits in bijvoorbeeld Dark klinkt prima.

[RoamingZombie]

Sorry, ik bedoelde het Duits in dit filmpje. Heb er verder geen issues mee.

[Oon]

Lijkt me weinig nieuws, AI dubben bestaat al een tijdje en de kwaliteit is nog zo laag (ook in dit voorbeeld) dat het echt nog niet interessant is voor films..

[Swindowmasher]

Interessante ontwikkeling.

Ik zie het echter nog niet snel gebeuren in films. Al zeker niet door de huidige kwaliteit, maar net zoals in de Amerikaanse versie worden bekende mensen ook per land gelinkt aan films. Zoals in de nieuwe Trolls film die uitkomt. Daar hoor je allerlei bekende mensen in die de stem inspreken. Dat is gewoon een marketing dingetje om kinderen naar de zalen te lokken.

Volwassenen kijken dan weer meer naar de Engelstalige versie, denk ik. (Ik kijk toch altijd een film in og TAAL)

Misschien is dit wel dan weer iets wat zou kunnen toegepast worden voor Netflix series of films die nu toch al bagger gedubd zijn.

[Neus]

Wow, ben benieuwd hoe men hier in Italië daar op gaat reageren - de stemacteurs zijn (bijna) altijd hetzelfde voor elke acteur in al zijn/haar films en vaak is dàt hun vaste bron van inkomen. En de meeste Italianen kennen niet eens de originele stem.

Ik kijk zelf alle films en TV series in de originele taal dus voor mij maakt het niks uit maar 95% van de mensen hier zal dit niet leuk vinden, de stemacteurs al helemaal niet

[Reactie gewijzigd door Neus op 22 juli 2024 21:34]

[Fire69]

Ik leer momenteel Italiaans dus dacht 'laat ik het eens in het Italiaans testen'.
Maar wat werkt dus grotendeels niet... Als je van een taal gaat waar je met weinig woorden veel kan zeggen naar een taal waar het net omgekeerd is, loopt het goed fout.
Sommige stukken klinken goed (voor zover mijn Italiaans gaat), maar andere zijn echt lachwekkend hoe snel de spraak moet gaan om de spreker bij te kunnen houden.
Het lijkt wel het einde van een Amerikaanse commercial waar ze met 5x alle voorwaarden/beperkingen moeten opnoemen

[AOC]

Ik heb nog steeds een trauma aan het feit dat Cartoon Network ineens alle cartoons naar het Nederlands ging dubben. Koe en kip

Daarnaast heb ik prima Engels geleerd doordat veel tekenfilms gewoon in het Engels was

Ik snap die vertaaldrang van content niet zo erg. Ondertiteling lijkt me beter dan dubben. De Nederlandse taal haal je wel uit je omgeving en school

[Reactie gewijzigd door AOC op 22 juli 2024 21:34]

[crazyboy01]

Ik snap het bij tekenfilms juist wel. Natuurlijk niet bij die voor volwassenen, zoals die Comedy Central shows. Maar de tekenfilms op Disney Channel en Nickelodeon zijn voor de kleintjes onder de 12 vaak echt wel leuker in eigen taal. Er zijn ook series voor nog veel jongere kinderen, daar geldt dat al helemaal voor - over het algemeen.

Maar, volgens mij gaat die niet persé om tekenfilms maar ook gewoon om normale films. Daar vind ik dat altijd wel lastiger, en in ons land is het volgens mij niet eens gewenst dat films die niet voor kinderen zijn worden vertaald. Daarentegen is het in landen als Duitsland de standaard en kan dit een uitkomst zijn, want de echte stemmen zijn soms heel verschillend van de nagesynchroniseerde versie. En het is natuurlijk eenvoudiger als een computer dit straks kan doen.

[Genosha]

Ik zie dit vooral een goede toevoeging voor videogames, gecombineerd met AI techniek die mond- en oogbewegingen veranderd in een andere taal zodat de lipsync correct is. Niet dat ik om Nederlandstalige games zit te wachten, maar Nederlandse dub voor AAA titels is toch wel een ondergeschoven kindje.

[Markus_Pardoes]

Grappig. Hebben ze het al op films uit Azië ook geprobeerd? Zitten wat parels tussen daar qua series en films tegenwoordig.

[ErikT738]

Dit soort tools lijken me ideaal om bijvoorbeeld tekenfilms of zelfs videogames te vertalen, maar voor live action films moet ik er echt niet aan denken. Ik ben wel benieuwd of het qua timing gaat werken of dat zoiets nog veel menselijke aanpassingen nodig heeft.

[Dark Angel 58]

Dat is goed nieuws voor de kinderen DIE echte stemmen van de acteurs willen horen.
Dubben in tv series, dus andermans stemmen is gewoon waardeloos.

Maar dat ontwikkeling betekent ook dat de ondertiteling misschien in de toekomst niet meer nodig... dat is heel erg nadelig voor de doven en slechthorenden.