Google laat gesprekken in real time vertalen en transcriberen met Translate-app

Google heeft op een presentatie in San Francisco een toekomstige functie van de Google Translate-app getoond waarmee het mogelijk is om een conversatie in real time in een andere taal om te zetten en die vertaling direct te transcriberen.

Deze nog niet uitgebrachte functie geeft Android-gebruikers de mogelijkheid om audio op te nemen in een bepaalde taal, en die in real time te laten omzetten in tekst en een andere taal. Onder meer The Verge was aanwezig bij de presentatie en volgens het medium gaf Google aan dat de functie bij de release waarschijnlijk nog een internetverbinding vergt.

Daarmee verschilt de functie van de vertaalfuncties die al beschikbaar zijn in de Google Translate-app, waarbij de vertalingen op het apparaat geschieden. Google zegt dat het voor de nieuwe functie nodig is om de vertaling te laten afhandelen door eigen servers, omdat een meertalige transcriptie volgens het bedrijf complexer is dan enkel het vertalen van geschreven tekst in een andere taal of het invoeren van een enkele gesproken zin en die in een andere taal om te zetten.

De nieuwe functie zal zodra ze beschikbaar komt, alleen nog werken met geluid dat live wordt opgenomen via de ingebouwde microfoon van een smartphone. Dat betekent dat de functie nog niet werkt met audiobestanden, maar door het afspelen van opgenomen audio en dat op te pikken met de smartphonemicrofoon is ze ook te gebruiken.

Tijdens de presentatie heeft Google uiteengezet dat de functie voortdurend hele zinnen evalueert tijdens het opnemen van de audio. Vervolgens wordt interpunctie toegevoegd, worden bepaalde woordkeuzes aangepast aan de hand van de context van de hele zin en wordt getracht om elementen te corrigeren op basis van accenten en dialecten. Dat moet volgens Google leiden tot een accurate benadering van wat er wordt gezegd.

Volgens CNet is Google de nieuwe functie momenteel aan het testen in een aantal talen, waaronder Spaans, Duits en Frans. Het is nog onbekend wanneer de transcriptiefunctie officieel beschikbaar komt in de Google Translate-app voor Android.

Reacties (45)

[Asitis]

Ik heb toevallig net voor het eerst Google Meet gebruikt om te bellen met developers uit Oekraïne, en daar zat ook zo'n 'auto subtitle transcribe' in. Verre van perfect qua hoe het uitgeschreven werd (hoewel dit zeker ook te maken heeft met de audio/mic kwaliteit), maar het is meer dan degelijk genoeg om zo'n gesprek (zeker met crappy audio) een stuk beter te volgen maakt! Ik ben groot voorstander

[bbob]

Ach kijk gewoon naar de translate app voor tekst. De voice app lijkt me niets anders dan eerst tekst in een taal herkennen die dan naar de vertaalmodule van tekst gaat.
als je zoekt op de kwaliteit van vertalingen dan is er 1 die met kop en schouder boven de rest uitsteekt, deepl.com
Helaas is die maar in een beperkt aan tal talen maar doet het heel veel beter dan de google vertalingen. Die van google zijn gewoon brak en dat ze nu tekst naar spraak omzetten is leuk maar er zullen een boel kromme zinnen uitkomen.

[brammieman]

Zo slecht is google translate niet meer. Het is verre van perfect maar vertalen van Nederlands naar Engels is geen probleem en vice versa. Als je de andere taal machtig bent begrijp je het echt wel.

[bbob]

Tussen kunnen begrijpen en goede vertaling zit toch een aardig verschil.

dit is de google vertaling van jou tekst hierboven:

Google translate is no longer that bad. It is far from perfect but translating from Dutch to English is no problem and vice versa. If you understand the other language, you really understand.

dit de deepl

Google translate isn't that bad anymore. It is far from perfect but translating from Dutch to English is no problem and vice versa. If you know the other language you really understand it.

De google vertaling is toch anders, zeker ook grammatica en neem deepl die is toch een heel stuk beter. Jou tekst was nog vrij eenvoudig en toch zijn er al grote verschillen.

[ralph_o]

Toch vind ik dat in dit voorbeeld deepl nou niet echt zo veel beter presteert dan Google. Wellicht in de laatste zin, maar die vind ik in beide nou niet echt lekker klinken.

[bbob]

De eerste zin klinkt deepl ook gewoon beter, beide kun je misschien begrijpen maar deepl is juistere engelse weergave.
2de zin is gelijk voor beide.
3de zin, google vertaald letterlijk zonder naar grammaticale inhoud te kijken, deepl geeft ook hier een betere inhoudelijk juistere vertaling. Deepl gebruik know the other en understand.
Google gebruikt 2x understand = letterlijk vertaald, maar inhoudelijk klinkt het niet en is het niet juist.

[Reactie gewijzigd door bbob op 22 juli 2024 21:44]

[carelpeer]

Ik wil je oprecht bedanken voor deepl. Dit vertaalt inderdaad beter. En juist als je beide talen uitstekend beheerst zie je de nuances.

[reablom]

Lijkt me ook handig voor doven en slechthorende in het dagelijks leven. Dat is misschien nog wel een grotere groep dan de groep die instantaan een vertaling nodig heeft.

[snellie123]

Een app die consistent en correct interviews kan transcriberen, vooral in het Nederlands zal de onderzoekswereld ontzettend veel tijd besparen. In het engels zijn er al veel goede tools die dit kunnen maar Nederlands werkt voor geen meter.

[Oon]

Deze zijn er al, maar ze zijn vrij niche en gericht op specifieke branches. De woordenboeken hiervoor zijn extreem duur, maar kunnen wel gewoon een gesprek met meerdere personen fatsoenlijk volgen in het Nederlands.

Helaas klopt er van vertalen nog altijd helemaal niks, Google is daar niet de sterkste in maar zelfs andere partijen zoals DeepL zijn nog heel ver verwijderd van een professionele vertaling, dus op vakantie heb je hier weinig aan.

[DigitalExorcist]

Nou, Microsoft en DeepL e.d. zijn goed zat juist voor op vakanties. Als je als toerist ergens komt wil de middenstand maar wát graag jouw centen hebben dus doen ze écht hun best wel om je te begrijpen, zelfs als er grammaticaal misschien iets niet helemaal 100% is.

Juist zakelijk moet je erg oppassen. Het is een kleine stap van "I help my uncle Jack off a horse" en "I help my uncle jack off a horse". Ik bedoel, als je te maken krijgt met belangrijke documenten en dergelijken, dán moet je niet vertrouwen op automatische vertalingen. Op vakantie kan het m.i. weinig kwaad.

[Michiel36]

Van de andere kant moet je de komische lading niet onderschatten, dat wordt in elke taal gewaardeerd

[Oon]

Juist zakelijk moet je erg oppassen. Het is een kleine stap van "I help my uncle Jack off a horse" en "I help my uncle jack off a horse".

Dit is inderdaad de reden dat grote bedrijven netjes vertalers in blijven huren. Machinevertalingen zijn steeds beter, maar vooralsnog totaal niet interessant wanneer een kwalitatief resultaat nodig is. Moet zeggen dat ik in het vertaalwerk dat ik zelf zo nu en dan doe blij ben dat ik tegenwoordig DeepL heb, maar je blijft vrijwel alles herschrijven omdat zelfs het beste resultaat nog steeds erg slecht is, en daar wordt de klant niet blij van.

[TheVivaldi]

Hier idem dito: DeepL is een fantastisch hulpmiddel, stukken beter ook dan de concurrentie naar mijn mening, maar het is ook niet meer dan dat: een hulpmiddel om bepaalde woorden te begrijpen in je eigen taal. Zinnen schrijven voor FOSS en mijn klanten blijf ik gewoon handmatig doen.

[bbob]

Deepl is trouwens aardig op weg heel goed te worden. Je hebt de mogelijkheid om in de vertaalde taal woorden te veranderen. Ik gebruik het redelijk veel voor Duitse vertalingen waar ik kleine dingen dan moet wijzigen maar voor 99% is het goed.

[Jeffrey88]

Ik denk dat je er juist met de vakantie iets aan hebt, daar de gesprekken gemiddeld niet heel erg diep gaan, en een beperkte woordenschat voldoende is om je door het land voort te bewegen.

[Oon]

Dat is waar, ik doelde eigenlijk meer op het feit dat je op vakantie niet echt een steriele omgeving hebt waarin de spraakherkenning ideaal verloopt, maar het resultaat is daar weer minder belangrijk

[Jerie]

Op crowdsourcing websites ben ik zoiets wel eens tegengekomen.

In gaming had ik ook graag zoiets gehad. Meerdere malen gehad dat iemand geen Engels sprak of dat ik Spaans moest spreken.

[Gropah]

Hoe zie je dit specifiek goed werken voor onderzoek?

Genoeg/bijna alle onderzoekers spreken wel Engels en ik denk dat het lezen van de vertaalde papers niet per se makkelijker of sneller zal gaan dan het in het Engels lezen.

[Sheean]

Er is veel onderzoek waarbij participanten worden geïnterviewd (psychologie, taalkunde, sociologie, enz). Het transcriberen en vertalen daarvan kost enorm veel tijd.

[MaestroMaus]

Zoals altijd bij Google; eerst zien dan geloven. Op dit moment kunnen ze niet eens goede Engelse ondertiteling aan Engelstalige Youtube filmpjes toevoegen met hun kunstmatige intelligentie.

[MegaCookie]

Ik heb juist hele andere ervaringen. 9 van de 10 keer is de automatische Engelse ondertiteling gewoon correct. Alleen bepaald jargon begrijpt de functie niet echt.

[Sorcerer8472]

9 van de 10 is wel overdreven hoor, er zitten toch behoorlijk veel fouten in.

Een probleem is ook dat als er dan één woord helemaal fout gaat, daardoor de context van de vertaalapplicatie verandert waardoor de kans op fouten een stuk groter wordt omdat er meer binnen die context wordt geluisterd (soort overfitting).

[P_Tingen]

Dan zijn ze door iemand ingetikt, als je Engelstalige filmpjes bekijkt met automatisch gegenereerde ondertiteling moet je wel erg 'door' de fouten heen lezen.

[MegaCookie]

Nee, ik bedoelde echt de gegenereerde.
Het klopt dat er wel fouten in zitten, vooral bij obscure namen. Ik heb daar niet echt moeite mee en ik vind het heerlijk om af en toe filmpjes te kijken op 2x snelheid en dan automatisch gegenereerde ondertiteling aan.

[mr_seeker]

Dat komt omdat de vertaalde versies meestal van youtubers zijn, en jouw "vertaling" daarop gebaseerd wordt. Zo krijg ik bijvoorbeeld heel vaak rare namen te zien bij bepaalde woorden, die zeer sterk lijken op een woord dat gebruikt wordt in bepaalde spellen. Dus hoe meer transcripties er van die Youtube filmpjes zijn, des te beter de ondertiteling wordt

[Stijn Weijters]

precies! en denk eens aan alle accenten en uitspraken die door deze mensen worden gesproken... al is het vaak wel dat mensen bij de meer bekeken youtubers zelf er ondertiteling bij schrijven (vgm had/heeft youtube daar ook een platform voor waardoor je er uiteindelijk betaald word/iets voor terug krijgt).

[andreetje]

Dit is pure SF! Geweldige innovatie van Google. De wereld wordt er weer wat mooier op als we elkaar kunnen verstaan.
Het zal vanaf dag 1 misschien niet vlekkeloos werken. Maar de ontwikkeling is er.

[walteij]

Skype (niet for Business) kon dit 5 jaar geleden (grotendeels) ook al.
Mijn toenmalige opdracht was een multinational, met veel kantoren in midden- en zuid-amerika, maar ook in Azie.
Ik heb toen regelmatig calls via Skype zien gaan, zodat de Engelse manager gewoon Engels sprak, de mensen in Zuid-Amerika spaans/portugees en iedereen kreeg gesproken antwoord in de eigen taal.
Transcriptie was alleen mogelijk in 1 taal, en omdat de Engelstalige manager ook een Engelstalige secretaresse had, kreeg zij dus de Engelse transcriptie om de notulen, afspraken en actiepunten op te schrijven en rond te sturen.
Het werkte niet perfect, vooral vakjargon ging nog wel eens mis, maar de online meetings werden een stuk effectiever.

Wel goed dat Google nu ook serieus aan deze ontwikkellingen mee gaat werken. Hoe meer bedrijven dit doen, hoe sneller de ontwikkellingen.
Wie weet hebben we over 20 jaar allemaal een babelfish in ons oor .

[kaltun]

OMG Universal translator from Star Trek is on tha way
vertaling :
Oo mijn god Universal vertaler van Star Trek is onderweg

[Sorcerer8472]

Die zorgt ook dat alles helemaal lip sync is, ook heel knap

[pyro-tukker]

Afgelopen half jaar heb ik in China gewoond en eigenlijk was het gebruik van real-time vertalings apps heel normaal en daardoor was communicatie in China relatief makkelijk. Met name sommige translate apps die de Chinezen gebruikten waren niet normaal accuraat. Toch bijzonder dus dat Google nu pas met deze functies (kan) komen. Dit was ook mijn algemene ervaring: de Westerse apps deden hun werk wel, maar Chineze apps waren echt next-level. In-app vertalingen, zodat beide users altijd weten wat de ander bedoelt waren ook heel normaal in de grote apps (zoals Didi, vergelijkbaar met Uber).

Ik denk dat het goed is dat momenteel de discussie opgang komt over hoe ver de Westerse wereld China moet toelaten tot 'het systeem' en met name op de vraag hoe wij in Europa en Amerika nog mee kunnen met de technologische ontwikkelingen in China.

[Sorcerer8472]

Ik zie idd weleens Chinese mensen op Schiphol die een medewerker "via hun app" aanspreken. Dus spreken in de app, en daarna hoor je een Engelse stem uit de telefoon. Was aan de stem te horen idd geen Google Translate

[amigob2]

Wordt waarschijnlijk een gratis app, en dan zou je moeten weten waar al de data opgeslagen en gebruikt gaat worden.

[micla]

Real-time is toch gewoon onmogelijk? Een zin kan zowel gramatisch als inhoudelijk nog compleet veranderen met het laatste woord uit een zin. Elke zin zal dus eerst volledig uitgesproken moeten zijn voordat welke software ook er iets mee kan.

Dus snel, ja dat geloof ik wel. Maar real-time? Nee, dat lijkt me niet/nooit mogelijk.

[_Thanatos_]

Het werkt ook de andere kant op. Zelfs een taal waarin de context van een zin nooit veranderd naarmate de zin uitgespreoken wordt, de vertaling zal dat dan wel. Dus de vertaalde zin kan geheel veranderen naarmate de zin opgebouwd wordt, ook al zou dat in de gesproken taal niet het geval. Leuk heh, al die talen

[Franckey]

Real-time is toch gewoon onmogelijk? ..

Dat hangt van je definitie van "realtime" af. Vaak wordt gedacht dat dat "direct" of "op hetzelfde moment" betekent. In de IT is een betere betekenis "binnen een afgesproken tijd".

[_Thanatos_]

Het is niet realtime, het is gewoon heel snel.
En wat doen ze met context?

"Waar is de bank" -> "Where is the bank?"
"In de woonkamer" -> "In the living room"

Maar dan klopt het dus niet meer. De eerste vertaling zou dan gecorrigeerd moeten worden naar "Where is the sofa?". En andersom geldt dit ook. En ook voor veeeeel meer synoniemen/homoniemen (ligt eraan van welke kan je het bekijkt), en ook phononiemen (want gesproken tekst is niet altijd eenduidig in schrift).

[Reactie gewijzigd door _Thanatos_ op 22 juli 2024 21:44]