Animestreamingdienst Crunchyroll onderzoekt fouten in AI-vertaling ondertiteling

Sony's animestreamingdienst Crunchyroll onderzoekt incidenten waarbij AI-chatbots als ChatGPT werden gebruikt om content te vertalen. Op sociale media laten abonnees weten dat de kwaliteit van de ondertiteling van series plotseling sterk is achteruitgegaan.

Crunchyroll erkent de problemen met ondertiteling in een verklaring aan Engadget en zegt aan een oplossing te werken. "We zijn ons bewust van ondertiteling die door een derde partij met AI is gegenereerd. Dit is een schending van onze overeenkomst."

Abonnees van de streamingdienst laten na de release van Necronomico and the Cosmic Horror Show op 1 juli op verschillende platformen weten dat de ondertiteling veel fouten bevat. Een gebruiker laat bijvoorbeeld op Bluesky een afbeelding zien van de naar het Duits vertaalde versie van de serie, waarbij de ondertiteling begint met: "ChatGPT said:" Andere gebruikers stellen dat de kwaliteit van vertalingen voor de betreffende serie niet goed is, dat de interpunctie niet klopt en dat zinnen grammaticaal niet kloppen. Het zou om verschillende talen gaan, waaronder Duits, Italiaans en Engels.

Rahul Purini, directeur van het streamingplatform, liet eerder aan Forbes weten dat AI niet wordt gebruikt voor creatieve processen voor Crunchyroll. Uit de verklaringen aan Engadget blijkt dat ook vertalingen niet door AI mogen worden gedaan, al liet hij eerder aan The Verge weten dat er wel werd geëxperimenteerd met AI-vertalingen voor ondertiteling. Het is niet duidelijk welke partij er precies gebruikmaakt van ChatGPT en wat de toegestane toepassingen daarvoor zijn.

Reacties (93)

[lenwar]

Zo zien we maar weer. LLMs zijn heel praktisch, maar ze zijn nergens echt heel goed in. Zo ook met dit. Bij een vertaling is context essentieel. Een LLM 'weet niets', 'denkt niet', 'voelt niet', en 'begrijpt niets', enz. Een LLM kan één ding, en dat is taal maken/verzinnen op basis van gigantisch grote wiskundige matrixen. Het kan alleen taal maken, en dat is lang niet altijd voldoende. Zo ook voor het vertalen van een verhaal.

[Twixie]

Bij een vertaling is context essentieel.

Maar vertalers gebruiken mijns inziens toch ook vaak geen context. Vertalingen bij bv Netflix zijn toch wel vaak om te huilen, waar je bij sommige vertalingen ook gewoon duidelijk ziet dat domweg een Engelse zin vertaald werd zonder ook maar rekening te houden met de eigenlijke scene waarin dit verteld werd.

[Heedless]

“Slechte vertalers” gebruiken geen context bedoel je dan. Goed vertalen is een vak, maar het wordt echt veel te slecht betaald waardoor er gewoonweg te weinig tijd is om het fatsoenlijk te doen in veel gevallen.

Wat ook interessant is, is dat vertalers soms alleen een script of audio krijgen en daardoor gewoonweg geen goede context hebben om mee te werken. Dat doen ze bijv met some grote Marvel films e.d. waarbij ze bang zijn dat de film gelekt zal worden.

Daarnaast zijn ontzettend veel partijen bezig met ai vertalingen, wat je ook terug ziet in slechte ondertitels op allerlei plekken.

Netflix staat overigens ook bekend om hun slechte omgang met de freelance vertalers die ze gebruiken (betalen te weinig, stellen allerlei eisen aan hoeveel je voor ze werkt en wanneer waardoor je er eigenlijk niet fatsoenlijk naast voor andere klanten kan werken, etc)

[Reactie gewijzigd door Heedless op 4 juli 2025 11:30]

[SkyStreaker]

Voor Netflix eens een test gedaan om te gaan mogen werken als freelance vertaler. Mijn oordeel ? Draconisch stampwerk == winstmaximalisatie

[Tc99m]

Vertalen is ook gewoon een vak waar je goed je hoofd bij moet gebruiken. Er is de afgelopen jaren (al voor de opkomst van LLM's) veel te doen geweest over de tarieven voor vertalers, want veel streamingdiensten willen voor een dubbeltje op de eerste rij zitten. Als een vertaler dan niet genoeg betaald krijgt om zich ook in de context van een film of serie te verdiepen, pakt die gewoon het script en gaat dat in sneltreinvaart vertalen, waardoor er veel knullige fouten in ontstaan (term klopt niet in context, persoonsnaam wordt als zelfstandig naamwoord vertaald, spelfouten in namen van personages, etc.). If you pay peanuts, you get monkeys.

[Ramoncito]

Vertalen is inderdaad een vak. Een vertaler moet niet alleen zijn eigen taal tot in de puntjes beheersen (inclusief straattaal, oude en nieuwe uitdrukkingen of bargoens) maar ook dat van de originele taal van de film. Dan zijn er ook nog talloze keren dat een woord of zin verschillende betekenissen kan hebben, en dat dat alleen te herleiden is aan het bijbehorende beeld of gezichtsexpressie.

Voorbeeld: Ik zag eens een zin "left on the mountain top" vertaald worden als "links op de berg top", terwijl dat moest zijn "achtergelaten op de bergtop" (onbegrepen context, voorgaande zinnen).

[Randfiguur]

Voorbeeld: Ik zag eens een zin "left on the mountain top" vertaald worden als "links op de berg top", terwijl dat moest zijn "achtergelaten op de bergtop" (onbegrepen context, voorgaande zinnen).

Gevallen als dat zijn dus exact de reden dat ik alleen Engelse ondertiteling gebruik bij Engelstalige films en series. Als redacteur trek ik zulke fouten gewoon echt niet

Bij producties in talen die ik niet beheers, kies ik ook maar Engelse ondertiteling, omdat ik vermoed dat een veel groter taalgebied ook meer budget en dus(?) betere vertaling/vertalers krijgt.

[lenwar]

Klopt. Maar dat staat hier los van. Het feit dat er ook mensen zijn die 'lui vertalen' doet niet af aan mijn visie over LLMs. Die LLMs kunnen binnen de vertalende zin, regelmatig al niet eens de context goed begrijpen. Laat staan van het geheel.

[Akamatsu]

Ik heb lange tijd (en lang geleden) in de 'fansub' community gehobbied en de echt goede vertalers maken er echt een studie van is heel cool om te zien, overigens neigt het snel naar perfectionisme in die community dus ik snap ook goed dat de meer "general" vertalingen zonder context gedaan worden, maar neen er zijn wel echt vertalingen die absoluut met context gedaan worden.

[Die_ene_gast]

Maar daar haal je het al aan, het zijn passie projecten. Uiteraard dat daar heel veel tijd in wordt gestoken.

Ik heb eens een video van 10 minuten ondertiteld (niet vertaald). Dat kostte mij zo'n 60 minuten en de ondertitel was eigenlijk niet meer dan een iets beknoptere versie van de tekst uit de video.
Zou ik echt een goede ondertiteling gedaan (+vertaling) dan had mij dat zo veel meer gekost.

[emeralda]

Vroeger had je fan translators die allemaal probeerden zo snel mogelijk hun ondertiteling uit te brengen. Dat was vaak ook niet helemaal goed.

[Dazzyreil]

Zelfs de Engelse ondertitling bij een Engels gesproken serie is vaak heel slecht.

[THETCR]

Lineaire algebra over strings(tekst) alleen is inderdaad niet afdoende voor "intelligentie".

De terminologie "AI/kunstmatige intelligentie" gebruiken voor dit is niks meer dan marketing en staat ver van de waarheid.

[lenwar]

Precies dit. Het is echt een misleidende term. Allicht komt het nog. En dat is prima, maar op het huidige niveau is er weinig 'intelligents' aan de uitingen van LLMs.

En nogmaals. Ze zijn superpraktisch en je kunt er echt heel veel leuke, praktische, goede dingen mee doen, maar je moet wel doorhebben dat het allemaal platte wiskunde is en niet 'weten' of 'slim zijn' is en dat je dus de output altijd moet controleren.


De I staat voor Intelligent bij LLM ;)

[aikebah]

De I staat voor Intelligent bij LLM ;)

Een pareltje om op te slaan

[dikkechaap]

Een mooi voorbeeld van shifting goal posts. Hoe slim AI ook zal worden, zolang we snappen wat de onderliggende technologie is kun je het altijd wegredeneren als wiskunde of een trucje. Als je in de jaren zeventig had gezegd dat een computer handgeschreven postadressen zou kunnen lezen dan was dat zeker gezien als (beperkte) vorm van AI. Nu wordt die technologie (in gebruik sinds de jaren 90) gezien als compleet irrelevant in de discussie over AI, niet eens meer noemenswaardig zo simpel.

Hoe dichter de output van LLMs en andere vormen van AI bij menselijke output zal komen te liggen, hoe moeilijker het wordt om vol te houden dat het niets met intelligentie te maken heeft. Ongeacht de onderliggende methodes om tot die output te komen. Dat wil niet zeggen dat LLMs uiteindelijk AGI mogelijk zullen maken (ik denk ook dat we best weleens dicht bij een plateau zouden kunnen zitten en dat andere technologieën meer kans maken om AGI te bereiken), maar je zult op kunstmatige (pun intended) wijze de definitie van intelligentie steeds nauwer moeten maken om vol te blijven houden dat LLMs geen vorm van kunstmatige intelligentie zijn.

[Elminster]

Ze zijn goed voor buzzwords & investeerders aan te trekken?

Je weet wel. Morgen zullen ze gegarandeerd al het werk overnemen.

Ik denk dat er al zodanig veel geld ingepompt werd, dat er nu geen weg terug is. Alle grote spelers investeren hier miljarden in. Als die olifant nu een muis blijkt te zijn, dan gaan er wat aandelen sneuvelen.
En een hoop mensen hun pensioenfonds. Zucht.

[lenwar]

Ik heb het over LLMs, niet over de parapluterm AI. (daar zit een heel groot verschil in).

Veel van de zaken die we onder de noemer AI gooien zijn al heel goed praktisch inzetbaar. NASA gebruikt AI om voorwerpen te ontwerpen:

https://www.cnet.com/science/space/nasa-parts-designed-by-ai-look-like-bones-left-by-some-alien-species/

Die voorwerpen die door het AI-model worden 'verzonnen' zijn lichter en sterker dan wat wij als mens (konden) bedenken/ontwerpen en in een fractie van de tijd.

Maar inderdaad. Er is ook zat bullshit met AI, en waar de term misbruikt wordt. (tot en met tandenborstels aan toe). Geloof maar dat ieder apparaat dat 'zelf-lerend is', zoals thermostaten al heel lang doen (die 'onthouden' hoelang het duurt voordat een kamer opwarmt, in combinatie met buitentemperatuur enzo), straks ook AI genoemd wordt.


Maar goed. LLMs hebben zeker een praktisch nut. Je kunt makkelijk een vraag stellen, en je krijgt een antwoord met bronvermelding. Uiteraard moet je zelf wel het antwoord controleren, maar kan heel veel tijd schelen. Al is het maar omdat die LLMs ook gevoed zijn met web-informatie die door de SEO van zoekmachines ver naar beneden wordt gedrukt. Ook de ludieke dingen als een LLM een 'slapen gaan-verhaaltje' laten schrijven, doen ze best geinig.

AI gaat ook zeker een hele belangrijke revolutie zijn. Het gaat nu supersnel, en we moeten kijken hoe we er mee om moeten gaan. En waar het precies gaat eindigen? Dat weet niemand. Misschien heeft Copilot daar een beeld bij ;)

[peter___]

Je kunt moeilijk een LLM er de schuld van geven dat er bijvoorbeeld "ChatGPT said:" in de ondertiteling staat, daar lijkt mij meer aan de hand. En uiteraard is context heel belangrijk, maar LLM's zijn tegenwoordig uitermate geschikt om enorme contexten mee te geven. LLM's zijn in dit geval niet goed ingezet (script/prompt/etc.) Dat er altijd nog een mens even de vertaling na moet kijken (of een andere LLM natuurlijk) zal nog wel even zo blijven.

[johnbetonschaar]

Bij het vertalen van een serie en zeker bij een anime lijkt mij dat je ook het beeld erbij moet nemen om goed te kunnen vertalen en dat je aan alleen het script niet voldoende hebt. Taal is inherent ambigu en de context van losse zinnetjes hoeft niet alleen te volgen uit iets wat eerder of later gezegd is. Denk aan een scène waarin iets onverwachts op het scherm gebeurt en een personage als reactie daarop een kreet uitslaat, en vervolgens volgt een scène zonder gesproken tekst, om maar iets te noemen. Of een scène waarin iets wordt gezegd met duidelijke non-verbale hints dat het sarcastisch bedoeld is of wat dan ook. Een LLM is in dit geval dus niet genoeg, je zult ook iets nodig hebben dat beelden kan analyseren en interpreteren.

Iets anders wat ik me afvraag is of zoiets als crunchyroll überhaupt wel de beschikking heeft over de volledige scripts inclusief informatie over begin/eind van scènes, context van dubbelzinnige taal-specifieke uitdrukkingen en grapjes etc. of dat ze alleen een transcript van de gesproken woorden hebben. Dat laatste lijkt me namelijk niet voldoende om goede vertalingen te maken dus.

[peter___]

Je draagt goede punten/voorbeelden aan. Ik denk dat "goed" misschien ook voor interpretatie vatbaar is. Is goed een dikke acht of betekent goed 100% foutloos? Zelfs de beste menselijke vertaler maakt wel eens een foutje.

Ik ben erg onder de indruk wat de laatste generatie modellen met beeld kan. Natuurlijk is de preprocessing of hoe je het wil noemen daar extra belangrijk bij. En ze zijn inderdaad nergens foutloos in, maar om te zeggen dat ze nergens echt heel goed in zijn zoals de eerdere reactie van @lenwar stelt, vind ik kort door de bocht. Ik vind mijzelf in heel veel dingen best goed, terwijl een recente LLM beter is in die dingen. Maar goed, misschien zegt dat meer over hoe ik mijzelf zie.

[lenwar]

Dat doe ik natuurlijk ook niet Maar er staat dat de vertalingen erg slecht zijn geworden. Die ChatGPT said: is natuurlijk een exces en heel dom van de persoon die verantwoordelijk is

[dikkechaap]

Dit begint toch wel een beetje een achterhaald standpunt te worden. Goed toegepast (bijvoorbeeld door van een serie de volledige scripts in te laden en als context mee te laten nemen) zijn de nieuwste generatie modellen echt behoorlijk goed in vertalen, je zou kunnen zeggen heel goed. In ieder geval beter dan een huis-tuin-en-keuken menselijke vertaler die streamingdiensten momenteel inzetten, en dat is in dit geval een eerlijke vergelijking. Op het niveau van een goede menselijke vertaler zitten ze nog niet, maar die worden überhaupt niet ingezet voor 90% van het vertaalwerk.

[RebelwaClue]

Ik ben benieuwd hoe LLM's count the money (count du monet) uit history of the world zouden vertalen. In de huidige film werd het vertaald met graaf de put.

[BlaDeKke]

En nu is het wachten tot iemand komt vertellen dat het gewoon tools en context mist

[Wouterie]

Je ziet soms dat een LLM de tekst letterlijk vertaalt, maar de context mist en dus beter voor een andere uitdrukking of vorm had kunnen gaan. Ook menselijke vertalers gaan daar geregeld de mist in, maar zo erg als een A.I. zie ik het zelden.

Een vriendin van mij is vertaler (als ZZPer). Haar werk is eigenlijk opgedroogd en ze zit nu weer braaf in loondienst ergens op kantoor. Het is verschrikkelijk jammer want de kwaliteit gaat er echt op achteruit. En ja, zij is duur! Maar zij is afgestudeerd in Engels (en native speaker) en in Nederlands en heeft enorm veel ervaring met tekstschrijven en redigeren. Als er iemand een tekst kan overbrengen naar het Engels of Nederlands, dan is zij het wel. Maar helaas! Geen behoefte meer aan.

Voor ondertiteling van een film of serie is het allemaal niet zo spannend, maar het moet wel goed gedaan worden. Een LLM kan een aardige voorzet geven maar je moet het nalopen. Zo simpel is het eigenlijk. Maar mensen zijn lui en gemakzuchtig. Ze zetten de LLM aan het pruttelen en gaan in het zonnetje chillen en gokken dat het wel goed genoeg is.

[lenwar]

Hier kan ik me helemaal in vinden. De LLM lekker de bulk/het grove werk laten doen, om het vervolgens helemaal door te lopen en 'goed' te maken. Je moet wel de gereedschappen gebruiken die er zijn. (Een timmerman gaat ook niet alleen maar met een schroevendraaier aan de slag. )

En we moeten natuurlijk accepteren, dat goed genoeg, goed genoeg is. Maar het moet dan ook wel goed genoeg zijn. :)

[xorinzor]

Ik gebruik ook AI om relatief simpele applicaties snel te maken, maar dat idee van je geeft een simpele wens en er rolt een volwaardig product uit is absoluut niet het geval.

Ik moet nogsteeds op mijn eigen programmeerkennis varen om de AI heel precies te vertellen hoe hij het moet maken. Dus in feite ben ik nogsteeds pseudo code aan het schrijven, maar dan in een prompt. (En een hele goeie review van de gegenereerde code uiteraard).

Het kan handig zijn, maar is nog lang niet in de buurt van het vervangen van echte programmeurs.

[Ecological]

Github Copilot Agent met Claude Sonnet 4 is geweldig. Ik weet niet waar je het vandaan haalt dat ze niet goed zijn.

[lenwar]

Ik schreef dat ze nergens echt 'heel goed' in zijn. De verschillende LLMs zijn in heel veel dingen 'best oké' tot 'best wel goed' in, maar nergens 'heel goed' in, en de onderwerpen waar ze beter of minder goed in zijn, verschillen per model. Claude Sonnet is (uit m'n hoofd) goed in coding (toch?). Maar is het 'heel goed', of 'in elk geval beter dan de rest, maar je moet nog steeds alles drie keer controleren en optimaliseren' als het wat meer moet doen dan een functietje toevoegen. (Ik ben zelf geen ontwikkelaar, dus ik kan dit zelf niet bepalen.)

[Elvhenk]

Hallo, vertaler van ondertiteling hier. Ik ben blij dat die dingen gaan opvallen, dat de markt gaat klagen en dat het hopelijk kijkers/geld gaat kosten voor de grote opdrachtgevers (Netflix, Amazon, Disney). >:)
De waardering voor het werk van een ondertitelaar is al vrij laag (iedereen denkt dat-ie het kan) en het gebruik van machine translation maakt alles nog een tikkie erger.

Het is mij overduidelijk dat automatische vertaling (van welke oorsprong dan ook) niet werkt bij ondertiteling, want het is dialoog. De acteurs laten woorden weg, praten door elkaar, er zijn vage uitdrukkingen, en natuurlijk de woordgrappen die als een plier on a pig slaan bij MT. Bovendien krijgt MT niks mee van de beelden, dus die essentiële informatie wordt niet meegenomen.

Ik krijg soms werk om MT-ondertiteling na te kijken en dat is dan net zoveel werk als gewoon alles vers vertalen. Het is vaak meer werk, want de MT maakt rare aannames en bakt zinnen die op het oog goed lijken, maar de betekenis volkomen verdraaien. Als het al grammaticaal correcte zinnen zijn.
Kortom: onzinnige ontwikkeling, maar het zal goedkoper zijn. Ik vrees dat MT is here to stay, maar ik mag hopen dat het flink misloopt en het inzicht komt dat menselijke vertaling gewoon het beste is. En ja, ook daar af en toe met fouten. Errare humanum est (klassiekertje).

[Reactie gewijzigd door Elvhenk op 4 juli 2025 16:14]

[dikkechaap]

Ik vrees dat je een enigszins gedateerd beeld hebt van MT/LLMs. Geen van de redenen die je geeft waarom MT inherent inferieur is/blijft houdt volgens mij stand. Als je MT-ondertiteling hebt moeten nakijken waarin de zinnen grammaticaal niet correct zijn dan moet dit echt hele achterhaalde techniek zijn (google translate op het script o.i.d.?) want als LLMs ergens goed in zijn dan is het wel grammaticaal correcte zinnen bakken.

Ik zie voor de korte termijn wel een soort vertaalpipeline voor me waarin LLMs 90% van de tekst voor hun rekening nemen (die dan niet/nauwelijks hoeft worden nagekeken) en het model zelf aangeeft bij welke delen twijfel zit, zoals door elkaar praten en ongebruikelijke uitdrukkingen. Die stukjes kunnen dan door een menselijke vertaler worden opgepakt, zolang dat nog significant betere resultaten oplevert. FYI: als je ChatGPT vraagt om de zin "dat slaat als een tang op een varken" te vertalen dan rolt daar keurig "that makes no sense at all" uit. Misschien een beetje saai, maar als er een equivalente Engelse uitdrukking bestaat zal hij die aandragen (zeker als je prompt op voorkeur voor een idiomatisch equivalent).

Ik zie in ieder geval geen hoopvolle toekomst voor me waarin het gebruik van MT zal teruglopen, deze trein rijdt maar één kant op. Ook bijvoorbeeld het meenemen van beelden om vertalingen te verbeteren zal op korte termijn goed mogelijk zijn.

[Reactie gewijzigd door dikkechaap op 4 juli 2025 16:52]

[Elvhenk]

Ik vrees dat je een enigszins gedateerd beeld hebt van MT/LLMs. Geen van de redenen die je geeft waarom MT inherent inferieur is/blijft houdt volgens mij stand. Als je MT-ondertiteling hebt moeten nakijken waarin de zinnen grammaticaal niet correct zijn dan moet dit echt hele achterhaalde techniek zijn (google translate op het script o.i.d.?) want als LLMs ergens goed in zijn dan is het wel grammaticaal correcte zinnen bakken.

Ik zei ook niet dat de MT geen grammaticaal correcte zinnen formuleert, maar dat de betekenis niet meer klopt. Dat kan makkelijk gebeuren met zinnen die over diverse "boxes' lopen. Dan gaat het mis met de werkwoordsvormen of plaatsing van woorden. Dus het is een keurige zin geworden, maar geeft de Engelse inhoud niet goed weer, of helemaal fout (met het woordje 'no' kan je alle kanten op afhankelijk van waar je er nee, niet of geen van maakt).
Het gaat ook nog altijd vaak mis bij inversie, vooral bij een lange zin.

Wat uitdrukkingen betreft, juist het kleurrijk vertalen daarvan, een juiste uitdrukking passend bij de serie maakt een ondertiteling veel levendiger. Binnen de context is 'krijg nou de vliegende vinketering' veel leuker dan 'rot toch op'.
Mijn voorbeelden zijn alleen ter voorbeeld. Ik heb wel concrete voorbeelden waar uitdrukkingen en zinsconstructies die volkomen de mist ingingen, maar ik heb ook een NDA.

Mijn ervaring met MT is een product dat is ontwikkeld voor een gespecialiseerde production company voor ondertiteling. Ik heb het ontwikkeld zien worden over de jaren, maar het eindresultaat valt inderdaad erg tegen. Dus het kan een (duur) baggerproduct zijn, maar het is niet gedateerd.
Mijn meest recente ervaring ermee is van vorige maand.

[dikkechaap]

Bedankt voor deze info, ik vind het iig interessant om te lezen. Wat betreft de grammatica: volgens mij staat er "als het al grammaticaal correcte zinnen zijn", daar reageerde ik op.
Wat betreft de uitdrukkingen; dat noem ik volgens mij ook expliciet, dat het niet saai moet worden als dat voorkomen kan worden (en het origineel niet saai bedoeld was). Maar ook daar valt dus op te sturen, dichterlijke vrijheid is ook gewoon een knop waar je aan kunt draaien (beetje plaatsgeslagen, maar je begrijpt wat ik bedoel).
Ook de andere complexiteiten die je noemt zijn volgens mij toch meer tijdlijn-verschuivend dan onoverkomelijk.

[Reactie gewijzigd door dikkechaap op 4 juli 2025 20:13]

[ChielScape]

Deze vrije vertalingen zijn nu net de reden dat ik niet kan wachten tot MT menselijke localizers daadwerkelijk kan gaan vervangen.

[Ragger]

Ik vrees dat je enigszins makkelijk denkt over ondertiteling . Ondertitelen is (als je het goed, serieus en professioneel doet) een hondsmoeilijk vak dat je pas na jaren goed onder de knie hebt.

Een zeer belangrijk aspect van ondertiteling is comprimeren. Wat er wordt gezegd, kan veelal niet letterlijk worden vertaald, want te veel gesproken tekst in te korte tijd. Als ondertitelaar heb je maximaal twee regels met maximaal 42 tekens inclusief spaties (bij Netflix, verschilt per client). En je hebt te maken met een maximale leestijd van 17 cps (characters per second), en dat is eigenlijk te veel; ideaal is 12 à 14 cps, anders zit je als kijker de hele tijd te lezen en zie je weinig van de beelden. De menselijke ondertitelaar beslist hier: welke informatie is het belangrijkst en wat kan ik weglaten. Dat is eigenlijk je hoofdtaak: constant puzzels oplossen zodat de belangrijkste info weergegeven wordt op twee regels, binnen de maximaal beschikbare tijd.

MT vertaalt alles en maakt er een puinhoop van. Ik betwijfel of dat binnenkort beter gaat. Ik hoop van niet

[Oon]

Ik zit zelf in de vertaalwereld, en het is toch wel écht heel duidelijk dat computergestuurde vertalingen nog lang niet zelfstandig interessant zijn. Partijen als DeepL lopen héél ver voor op de huidige generatie chatbots en al helemáál op domme vertalingen als Google Translate, maar zelfs DeepL kan het nog niet zelf.

Helaas ziet niet iedereen het verschil en zijn er veel bedrijven die hele persberichten door LLM's laten vertalen en dan zo online knallen, met als resultaat vaak gewoon grote fouten of helemaal herschreven berichten die iets compleet anders zeggen dan het origineel.

En dat terwijl vertalingen al maar een fractie kosten van wat ze ooit deden (o.a. door tools als DeepL die het wel een stuk sneller maken door hogere kwaliteit voorvertalingen). Waar je voorheen 15-16 cent per woord Engels-Nederlands betaalde zit je nu voor diezelfde kwaliteit rond de 5-6 cent. Maar dat is natuurlijk nog steeds duurder dan gratis....

[jpbeltman]

"We zijn ons bewust van ondertiteling die door een derde partij met AI is gegenereerd. Dit is een schending van onze overeenkomst."

Gaat dit over een schending tussen Cruncyroll en de productiestudio van de serie of een ingehuurde vertaalservice? Ik ging er onbewust vanuit dat de makers/studio van een serie ondertiteling meeleverden doordat zij de scripts al in tekstvorm hebben.

Rahul Purini, directeur van het streamingplatform, liet eerder aan Forbes weten dat AI niet wordt gebruikt voor creatieve processen voor Crunchyroll. Uit de verklaringen aan Engadget blijkt dat ook vertalingen niet door AI mogen worden gedaan

Welke creatieve processen heeft Crunchyroll behalve de gebruikers -interface & -ervaring?

Indien chatGPT als hulpmiddel voor de vertalers/ondertitelaars wordt gebruikt, waar gpt een concept van de vertaling schrijft en de ondertitelaars zorgen dat de kwaliteit, timing en interpretatie juist is als laatste stap in het proces ben ik er niet op tegen. Ben wel sceptisch dat het vooral als kostenbesparing wordt gezien en niet als kwalitatieve verbetering in het proces

[IlIlIllII]

Ingehuurde vertaalservice. De (veelal) Japanse productiebedrijven en animatiestudio's sturen hooguit de Japanse scripts. Het is aan de betreffende partner (hetzij Netflix, Crunchyroll, Sentai Filmworks) om met hun eigen interpretatie (lees: vertaling) te komen. Het komt dan ook soms voor dat één serie meerdere verschillende vertalingen en dubs krijgt, zoals in het verleden is gebeurd bij Neon Genesis Evangelion en enkele jaren geleden bij Vinland Saga.

Welke creatieve processen heeft Crunchyroll behalve de gebruikers -interface & -ervaring?

Dubs en ondertiteling, om maar een voorbeeld te geven. Ja, er worden third party vendors en partners gebruikt, maar er wordt ook genoeg in-house werk gedaan. Dubs vereisen bijvoorbeeld een andere interpretatie van het script (i.v.m. mouth flaps, intonatie, andere target audience) en dat werk ligt lang niet altijd bij een dubbing studio.

[The Zep Man]

Toen ik de titel vluchtig doornam dacht ik eerst dat het om iets als een fansub site ging, wat niet echt spannend is. Twee seconden later nam ik de titel nog eens door en blijkt dat het de bekende commerciële streamingdienst betreft. Dit is bijzonder slordig voor een dienst waar men voor betaalt.

Het is niet duidelijk welke partij er precies gebruikmaakt van ChatGPT en wat de toegestane toepassingen daarvoor zijn.

Dat is de partij die de vertaalde ondertiteling aanlevert aan Crunchyroll, wat niet toegestaan is volgens Crunchyroll als opdrachtgever:

"We zijn ons bewust van ondertiteling die door een derde partij met AI is gegenereerd. Dit is een schending van onze overeenkomst."

[Reactie gewijzigd door The Zep Man op 4 juli 2025 10:54]

[Finraziel]

Het artikel gelezen hebbend denk ik nu ook dat de titel niet echt klopt. Ze onderzoeken het niet toegestane gebruik van AI voor vertalingen, niet zo zeer de fouten die die AI gemaakt heeft (hoewel als die er niet zouden zijn het ook geen probleem zou zijn natuurlijk).
Dat ze niet alle subs zelf nalopen nadat de rechtenhouder die geupload heeft vind ik niet gek.

[The Zep Man]

Dat ze niet alle subs zelf nalopen nadat de rechtenhouder die geupload heeft vind ik niet gek.

Rechtenhouders sturen geen ondertitels in. Het is aan Crunchyroll om dat te regelen voor hun dienstverlening. Het vertalen van ondertitels besteden ze uit aan derde partijen. Daar gaat het dus mis.

[Reactie gewijzigd door The Zep Man op 4 juli 2025 12:03]

[Heedless]

Fun fact: de partij die uitzend is meestal inderdaad de opdrachtgever voor de ondertiteling. Komt dezelfde film op SBS6, Veronica en Net 5? Dan is de kans groot dat elke zender zijn eigen ondertiteling heeft laten maken.

(Bestaan die drie zenders nog? )

[Heroic_Nonsense]

Ja, en ze zijn verwarrend genoeg van dezelfde eigenaar, dus wellicht gaat je stelling daardoor niet op.

Je hebt gelijk dat een zender zelf de vertaling kan inkopen, hoewel sommige distributeurs ondertiteling kunnen meeleveren.

[Heedless]

Ok misschien moet het woordje “vaak” ergens in mijn comment het zal vast niet altijd zijn maar ik ken vertalers die letterlijk voor verschillende klanten ondertiteling hebben gedaan voor dezelfde films. Ding is wel dat verschillende zenders soms nog andere eisen hebben (ander maximum aantal woorden per regel, minimale tijd per titel, etc).

[nlscavenger]

De Engelse ondertiteling (en ik ga ook uit van de andere talen) is in dit specifieke geval aangeleverd door de licensor en producer Cygames. In de metadata van de Engelse ondertiteling staat cygamesjp aangegeven bij het veld original script.

[Cid Highwind]

Wederom een gevalletje vertrouwen is goed, controle is beter. Daar heeft Crunchy Roll de hand dus ook in eigen boezem te steken. Verschuilen achter een door hen ingehuurde derde partij is een zwaktebod.

[codeneos]

Tja, je kan niet elke ondertitel controleren op correctheid. Dan kan je ze net zo goed zelf vertalen en hoef je het niet uit te besteden.

[CAPSLOCK2000]

Tja, je kan niet elke ondertitel controleren op correctheid. Dan kan je ze net zo goed zelf vertalen en hoef je het niet uit te besteden.

Dat hoeft ook niet, maar je moet wel verantwoordelijkheid nemen ten opzichte van je klanten.
Het gebeurt te vaak dat bedrijven zich gedragen alsof ze zelf onschuldig slachtofffer zijn, net als hun klanten. Fouten worden overal gemaakt, maar als bedrijf moet je dan de grote broek aantrekken en het goed maken met je klanten. Daarna kun je achter de schermen verhaal gaan halen bij jouw leverancier.

Het is te makkelijk om het werk uit te besteden aan de laagste bieder en dan te doen of je zelf slachtoffer bent terwijl het jouw werk was om een goede leverancier te vinden. Ik zeg niet dat dat hier gebeurd is maar de reactie "Het is niet ónze fout, hoor!" staat me een beetje tegen.

[downtime]

Er is natuurlijk wel een verschil tussen "verschuilen achter" en gewoon uitleg geven wat er is gebeurd. Als je denkt dat het niet jouw probleem is, omdat je het hebt uitbesteed, dan is dat verschuilen. Maar je mag best uitleggen waar het fout is gegaan, zolang je het probleem maar serieus neemt en oplost, en niet jouw klanten doorverwijst naar een bedrijf waar zij geen relatie mee hebben.

[Cid Highwind]

"We were made aware that AI-generated subtitles were employed by a third-party vendor, which is in violation of our agreement," a Crunchyroll spokesperson told Engadget. "We are investigating the matter and are working to rectify the error."

Wanneer je als verantwoordelijke enkel uitleg geeft, neem je geen verantwoordelijkheid. Dat is nu net het inherente verschil tussen de twee.

Die externe partij is ingehuurd om een vertaling te leveren, maar is niet verantwoordelijk voor hetgeen Crunchyroll uploadt en aan de klanten presenteert. Daarnaast is het een erg makkelijk excuus wanneer de baas zelf in het verleden heeft aangegeven te experimenteren met AI-gegenereerde ondertitelingen

Ironically, when Purini revealed Crunchyroll was testing generative AI tools for subtitles, he said part of the motivation was to prevent piracy. He reasoned the tech would allow the company to start streaming new, translated anime episodes as close to their original Japanese release as possible, adding the lag between official releases was sometimes what pushed fans to torrent shows.

De tekst en uitleg van Purini zijn slechts management speak voor "dit was een strategische keuze, het spijt ons dat we door de mand zijn gevallen, we dichten de mand, maar de keuze staat vast."

[downtime]

Ze nemen toch verantwoordelijkheid? Wat betekent "We are investigating the matter and are working to rectify the error" anders?

Als je verantwoordelijkheid wilt ontlopen dan roep je iets in de trant van, "wij kunnen er niets aan doen, die vendor heeft de fout gemaakt, daar moet je klagen".

[Pinkys Brain]

Die content is hun product, van laag tot hoog moet daar toezicht op zijn. Zonder enige controle van een eigen mederwerker dingen op de stream knallen moet niet kunnen.

Op zijn minst moet een onafhankelijke contractor die vertaling gewoon even bekijken en aantekeningen maken (dat zijn de kosten niet). Met spot checks door directe medewerkers waar mogelijk.

Zolang ze niet toegeven dat ze zelf fout zitten nemen ze geen verantwoordelijkheid.

[Kalief]

Wat ook opviel is dat ChatGPT uitsluitend de dialogen 'vertaalde' en niet de in-screen tekst. Dat doen fansubbers iig beter.

[Armselig]

Ik vind Crunchyroll dan ook een tenenkrommend slechte naam. Wel een leuke mascotte, dat dan weer wel.

[Invisible_man]

Sowieso is kwaliteitscontrole bij Crunchyrol vaak ver te zoeken. Een goed voorbeeld daarvan zijn bijvoorbeeld de "skip intro" die vaak vergeten worden om toe te voegen aan nieuwe shows. Vaak komen die pas na enkele dagen, maar de meeste mensen kijken de nieuwe shows natuurlijk al wanneer deze net uitkomt.

[Indy81]

Apart, want mijn Plex server analyseert dit automatisch, en heeft zónder menselijke tussenkomst, al de 'skip intro' tijdmarkeringen gevonden in zo'n 10 minuten tijd. En dat doet dan een oud skylake i3 servertje. Dat hoeft echt geen dagen te duren.

Het enige dat zou moeten is dat iemand de tijdcodes controleert. 95% van de tijd gaat het goed, zo hoeft de beheerder maar 5% van de content te corrigeren.

[CosmicByte]

Dit soort slordigheid is super irritant maar kan ik met een zucht nog vergeven.
Wat ik echter ook mee maak is dat bijvoorbeeld de audiokwaliteit van meerdere episodes achter elkaar bagger is.
Problemen variërend van blikkerig geluid tot bizar slecht gemixte voice / muziek channels.

Vraag me af of ze überhaupt iets checken voordat ze het online flikkeren. Het aanbod is al mager... en dan nog issues hebben, tja.

[IrBaboon79]

Een betaalde dienst die subcontractors inhuurt die manieren zoeken om interne kosten te drukken?
Of misschien zelfs poogt om dure subcontractors eruit te duwen en te vervangen door 'AI' ?

Oh Noes...hoe kan dat nou?

[Commendatore]

Of degenen die het moeten vertalen worden gewoon slecht betaald en/of staan onder een te hoge tijdsdruk en zoeken op deze manier naar een uitweg.

[IrBaboon79]

Je bent toch akkoord gegaan met dat contract? Dus je wordt betaald voor dat werk -> doe dat dan ook naar eer en geweten en ga geen broddel omwegen zoeken omdat het 'makkelijk' is.

[Commendatore]

Het is moeilijk om daar iets zinnigs over te zeggen als je de persoonlijke situatie van de medewerker niet kent. De verantwoordelijkheid ligt hier vooral bij de werkgever.

[IrBaboon79]

Dat de werknemer (kan ook een ingehuurd clubje zijn) meuk aflevert kan je ze wel degelijk aanrekenen onafhankelijk van hun situatie. Er is een verwachting van een bepaalde kwaliteit en daar staat de opdracht dan ook voor; "ik voel me niet lekker, heb geen zin vandaag, ik krijg niet genoeg betaald" is geen enkel excuus om meuk te leveren; meld je dan ziek, geef de opdracht terug of zoek een andere baan.

Dat er een extra verificatie/controleslag nodig is na afleveren - teveel vertrouwen in geleverde kwaliteit uit het verleden? - blijkt ook; dat is dan voor CR om op te lossen voor hun betalende klanten.

[Cid Highwind]

Makkelijk gesteld vanuit een Nederlands perspectief, wanneer de opdrachtnemer mogelijk een zuid-oost Aziatische sweatshop is met personeel wat van hand in de tand leeft en een stuk grotere zorgen heeft dan wat jij 's avonds op de bank te zien krijgt, terwijl ze zelf wellicht aan hun tweede voltijd baan van de dag beginnen, om maar even de twee uitersten te noemen.

[dez11de]

Andere baan zoeken geen excuus om broddelwerk af te leveren.

[downtime]

Daar kun je ook anders over denken. Als de opdrachtgever niet voor goed werk wil betalen dan betekent dat toch dat ie genoegen neemt met broddelwerk? Het is niet alsof de opdrachtgever niet weet dat de kwaliteit niet goed is.

[dez11de]

Ik denk dat het voor niemand gezond is om broddelwerk af te leveren.
Als je bezigheden geen voldoening op leveren dan kun je het beter niet doen denk. Dat soort shit zuigt je leeg.

[Reactie gewijzigd door dez11de op 4 juli 2025 12:01]

[Wolfos]

Plotseling? Het is al jaren zo dat de ondertiteling soms lijkt op automatic captions van Youtube. Met namen die iedere zin veranderen, dat soort dingen. Hangt enorm van de serie af en het seizoen trouwens.
Maar het is in ieder geval duidelijk dat er vaak machinevertalingen gebruikt werden.

[dez11de]

Amazon net zo.

[Commendatore]

En YouTube de laatste tijd. Daar krijg je tegenwoordig ook automatisch vertaalde titels en beschrijvingen door de strot geramd, of je dat nu wilt of niet.

[MsG]

Je ziet het ook bij veel televisieprogramma's. Waar het voorheen vol stond van de spelfouten, zie je dat soort dingen niet meer, dat gaat doorgaans wel goed met LLM's, evenals het spatiegebruik. Wat je dan wel weer veel ziet is dingen die verkeerd gehoord worden, en daardoor nergens op slaan, wat je weer minder vaak had als het werk door een menselijke ondertitelaar werd gedaan.

[William_H]

Ja, zo keek ik laatst een aflevering van FBI op Veronica, met een tenenkrommend slechte vertaling. De federale dienst ICE (U.S. Immigration and Customs Enforcement) werd...tromgeroffel...meerdere keren vertaald als ijsje of iets minder erg, ice.