YouTube integreert tool voor kunstmatige nasynchronisatie Aloud in videoplatform

YouTube wil het voor videomakers makkelijker maken om video's beschikbaar te stellen voor anderstaligen, en gaat daarom nasynchronisatietool Aloud integreren in zijn videoplatform. Aloud is een gecombineerde transcriptie-, vertalings- en spraaksynthesetool.

Aloud is een Google-start-up waarvan het team wordt overgeheveld naar YouTube, zegt laatstgenoemde tegen The Verge. Het Aloud-team gaat de tool integreren binnen YouTube, zodat de tool breder beschikbaar komt. Op dit moment wordt de tool getest met 'honderden' videomakers en zijn er drie talen beschikbaar: Engels, Spaans en Portugees.

Later wil het bedrijf hier meer talen aan toevoegen en de tool ook breder beschikbaar maken. Daarnaast wil het bedrijf de tool verbeteren om de nasynchronisatie meer te laten klinken als de originele stem en lipsynchronisatie. Het bedrijf verwacht hier volgend jaar stappen in te kunnen zetten.

Aloud laat gebruikers een video met ondertiteling uploaden, die de tool dan kan vertalen. Als er geen ondertiteling is, dan kan de tool de video ook transcriberen. De videomaker kan die getranscribeerde tool dan weer controleren. Later vertaalt Aloud de tekst en synchroniseert de tool deze na, waarna de videomaker de nagesynchroniseerde video kan uploaden. Aloud zegt dat dit mogelijk is door stappen in audioscheiding, machinevertalingen en spraaksynthese. Videomakers kunnen zo sneller en makkelijker een video beschikbaar maken voor een groter publiek, aldus Aloud.

Een voorbeeld van een door Aloud nagesynchroniseerde video. In de instellingen van de video kunnen gebruikers een andere audiotrack kiezen, in dit geval Spaans.

Reacties (13)

[JaPPa03]

Interssant. Heb in het verleden video tutorials gemaakt in het Nederlands voor HTML en CSS en kreeg vaak reacties dat mensen er blij mee waren omdat Engels lastig te volgen is als je iets wilt leren begrijpen. Als hiermee hoogwaardige producties in dezelfde stijl als het origineel maar dan in andere talen kan komen lijkt me dat een mooie vooruitgang.

[sdziscool]

Leuk, ik vond de YouTube cc al best goed worden. Wel jammer dat aloud hierdoor gegarandeerd exclusief voor YouTube wordt. Dit soort tools maken veel dingen veel toegankelijker maar nu forceert het mensen YouTube te gebruiken als ze ook aloud willen gebruiken. Slimme stap van YouTube natuurlijk maar jammer voor de toegankelijkheid.

[JBVisual]

Er valt ook wat van te zeggen, het ontwikkelen van deze tool icm de rekenkracht die er voor nodig is (zeker met een lipsync en stem imitatie) kost aardig wat geld.

Die willen ze natuurlijk terugverdienen via hun eigen platform.

Hoe leuk deze tool ook is om uit te proberen, er zijn alternatieven. Deze kosten alleen een geld en je hebt soms ook een deftige pc nodig om het te kunnen draaien.
(Al zijn de meeste tools gescheiden programma’s voor stem imitatie en lipsync)

[Anoniem: 1708394]

Google heeft daarvoor al een eigen tool geshowt genaamd Universal Translator op IO 2023. Maar is nog niet gebruikt

[Indy81]

Hmmm, ik heb gezien dat kleine lokale producties, hun video gewoon (privé) naar youtube uploaden, en dan daar de ondertitels laten genereren, en dat dan weer gebruiken om zo de ondertitels in hun DVD/Bluray te krijgen, en dan weer de video verwijderen.
Ik verwacht dat dit ook zo zal gaan voor dubbing.

[MrMonkE]

Nee, CC gewoon slecht. Heel vaak fouten.
Het maakt het wel toegankelijker.

[eurob]

Ik kijk graag naar de turkse serie Esaret. YT vertaald dat wel van turks naar engels maar de kwaliteit is erg matig, vaak worden delen niet vertaald waardoor je best veel mist. Deze tool klinkt veelbelovend.

[Bulkzooi]

Leuke tool!

Aloud is een gecombineerde transcriptie-, vertalings- en spraaksynthesetool die werkt op basis van de ondertitels bij een YouTube video.

Er zijn drie talen beschikbaar: Engels, Spaans en Portugees.

Is dit de ++ uit NAFTA die niet in de USMCA is terecht gekomen? Lijkt wel alsof Google zelf hun automatisering niet op orde heeft of ze zijn simpelweg biased in hun aanpak. En hoezo vallen ze de user hiermee lastig? Is dat niet gewoon back-end stuff dat beter on-the-fly meedraait?

[Reactie gewijzigd door Bulkzooi op 27 juli 2024 11:48]

[Kizanko]

Wou dat zo'n tool er ook was om ondertiteling bij HBO MAX, Disney, Netflix etc te vertalen, iig the ondertiteling. Veel cartoons zijn of alleen Nederlands of Engels audio zonder ondertiteling. Een kind of persoon die slechthorend of doof is kan gewoon geen cartoons kijken met Nederlandse ondertiteling zoals Steven Universe, Adventure time, Regular show etc op HBO, Spiderman, marvel cartoons op Disney Plus hebben gewoon geen Nederlandse ondertiteling. Ik wil ook graag dat mijn neefjes en nichtjes Engelse cartoons kunnen kijken, terwijl ze Nederlandse ondertiteling lezen zodat ze beide talen leren.

Misschien zijn ze lui in Nederland want op Disney staan er veel Europese talen ondertiteld behalve Nederlands, maar als zo'n tool bestaat voor ondertiteling, hoop ik dat deze platformen er gebruik van maken om het proces van toevoegen of vertalen te versnellen. Ik merk dat Nederlandse ondertiteling voor cartoons echt een taboo is geworden In Nederland.

[Reactie gewijzigd door Kizanko op 27 juli 2024 11:48]

[Roel1966]

Probleem vaak met na-synchronisatie en vertalingen is dat je niet alles letterlijk kan vertalen. Vaak krijg je dan van die onmogelijke zinnen die nergens op slaan. Althans dat valt mij ook al vaak genoeg op bij gewone ondertiteling op tv als je zelf b.v. goed Engels en Duits kan verstaan. Ondertiteling maakt er dan vaak iets totaal anders van dan wat er bedoeld word.

[Henk Poley]

Zou zeggen, luister even naar het videootje bij het Tweakers artikel.

[NielsFL]

Inderdaad een vrij irritante stem die Spaanse versie. Uiteraard blijft het een uitkomst als je de originele taal niet verstaat.

Hoop wel dat je hier op kunt filteren of sorteren. Als ik een Nederlandse zoekopdracht geef wil ik toch het liefst een video van een Nederlands sprekende mens. Dubbing is dan een mooie fallback voor content die er (nog) niet is in het Nederlands.