Meta demonstreert speech-to-speechvertaalsoftware

Meta heeft een demo online gezet van een AI-model dat gesproken tekst in meerdere talen kan omzetten in tekst en spraak in een andere taal. Het model kan ermee omgaan als een spreker midden in een zin van taal wisselt.

Het model SeamlessM4T is beschikbaar als online demo, download op GitHub en demo op Hugging Face, meldt Meta. Het kan spraak en tekst als input gebruiken en vervolgens transcriberen en vertalen van spraak of tekst naar een combinatie van beide. Het ondersteunt spraakinput in bijna 100 talen en output naar tekst in 35 talen.

Het komt voort uit de SeamlessAlign-dataset met 270.000 uur aan spraak en tekstfragmenten met vertalingen. De onderzoekers van Meta vinden het model een vooruitgang vanwege de ondersteuning van veel talen en de mogelijkheid om spraak en tekst als input en output te hebben. Het model is nu beschikbaar voor onderzoekers en ontwikkelaars. Het is onduidelijk of Meta in een later stadium het vertaalmodel een plek gaat geven in eigen apps en diensten, zoals WhatsApp, Instagram en Facebook.

Reacties (36)

[StGermain]

Heb het hier ff getest door mijn vrouw Spaans en Italiaans door mekaar te laten spreken, de vertalingen naar Duits, Frans en Italiaans hadden alle drie fouten…

[wildhagen]

Ja logisch. Geen enkele veetaalapplicatie is foutloos.

Kan ook bijna niet, met zaken als dialecten, accenten, andere uitspraak door mensen, en woorden die afhankelijk van context meerdere dingen kunnen betekenen.

Kijk naar een Google Translate, wat daar af en toe uit komt rollen qua vertaling heeft vaak ook weinig meer met het origineel te maken.

En dat is dan (relatief gezien) eenvoudige tekst vertaling, speech to speech vertaling is nog aanzienlijk complexer vanwege bovenstaande zaken.

Wil je echt een uitstekende vertaling zal je een professioneel vertaalbureau moeten inhuren. En zelfs die zullen er soms nog wel eens naast zitten.

[Reactie gewijzigd door wildhagen op 23 juli 2024 07:01]

[andreetje]

Het is een kwestie van tijd en dan moeten vertalers ander werk zoeken.

Hoe gebrekkig ook, Google Translate is nu al ontzettend handig. Bijvoorbeeld op reis door Europa.

[Het.Draakje]

Tja, ik haal hier (Azië) ook wel eens het een en ander door Google. Laatst nog voor de verlenging van mijn rijbewijs. Blijkt toch (volgens de examinator) dat er precies het tegenovergestelde staat van wat Google brabbelt.

("verboden over te steken, gebruik het viaduct" wordt vertaald met "verboden over te steken via het viaduct")

Ben wel geslaagd, want ik was wel in staat om voldoende van het bord te lezen om de intentie goed te begrijpen.

Nu zullen de meesten van ons wel voldoende Engels / Frans / Duits herkennen om die borden te vertalen, maar verderop in Europa? Ik zou niet gokken op Google. Laat staan daarbuiten.

Ik denk dat we de komende 10 / 20 jaar nog niet van die tolken af zijn. Zeker niet als je de correcte vertaling wilt hebben. We kennen allemaal wel het geweldige Engels van Van Gaal. Correct vertaald 1 op 1 is toch echt " a different cook".

[Sando]

Tja, ik haal hier (Azië) ook wel eens het een en ander door Google. (...) Blijkt toch (volgens de examinator) dat er precies het tegenovergestelde staat van wat Google brabbelt.

Ik denk dat we de komende 10 / 20 jaar nog niet van die tolken af zijn. Zeker niet als je de correcte vertaling wilt hebben.

Ik vind dat ChatGPT vaak betere vertalingen geeft dan Google Translate. Zo goed, dat ik juist denk dat allerlei menselijk werk als vertalers sneller dan we denken verdwijnt. Ik denk dat ChatGPT beter is omdat het een veel nieuwere technologie is. Mogelijk heeft Google Translate een beetje last van de remmende voorsprong.

Nederlands: Als vliegen achter vliegen vliegen vliegen vliegen vliegensvlug.
Google: When flies fly after flies flies flies fly as fast as lightning.
ChatGPT: When flies fly behind flies, flying flies fly very swiftly.

Nederlands: Als jouw mijn jouw mijn is, dan is mijn mijn mijn mijn.
Google: If your mine is your mine, then my my is my mine.
ChatGPT: If your mine is your mine, then my mine is my mine.

[Reactie gewijzigd door Sando op 23 juli 2024 07:01]

[andreetje]

Ik heb het even uitgeprobeerd met "when de shit hits the fan".

Google translate:
"als de stront de ventilator raakt"

ChatGPT:
De uitdrukking "when the shit hits the fan" kan vertaald worden naar het Nederlands als "wanneer de situatie escaleert" of "wanneer het echt misgaat."

Nuf said.

[andreetje]

Dat is inderdaad niet best met dat "via viaduct".

Ik vind dat de Engelse kennis van Nederlanders zwaar overschat wordt. Van Gaal is een bekende, maar de Engelse uitspraak van onze premier is ook niet best. Nederlanders moeten imho meer en betere Engelse taalles krijgen.

[Praetoriani]

Dat is inderdaad niet best met dat "via viaduct".

Ik vind dat de Engelse kennis van Nederlanders zwaar overschat wordt. Van Gaal is een bekende, maar de Engelse uitspraak van onze premier is ook niet best.

Wat een onzin. Hij spreekt bijna vloeiend Engels maar met een Nederlands accent. Een Nederlands accent hebben is iets om te omarmen: Engelstalige landen hebben ook dialecten en accenten. Spreekt een Schot slecht Engels? En een Ier?

Niemand schaamt zich zo erg voor een Nederlands accent dan de Nederlanders zelf, terwijl Engelstaligen het prima verstaanbaar en correct vinden. En dat zeg ik als Canadese Nederlander. Ik kan kiezen tussen wel en geen Nederlands accent hebben - ik kies er voor om het wel te doen, zelfs als ik in Canada ben.

[andreetje]

Het heeft niets met schaamte te maken. Ik vind het niet om aan te horen.
Maar ieder zijn ding.

[Ozymandias]

Sander van Vugt heeft een heel erg zwaar Nederlands accent maar hij scoort internationaal hoge ogen met zijn Red Hat cursussen. Niemand schijnt er moeite mee te hebben. Behalve Nedermerikanen die vinden dat iedere Nederlander perfect native English moet spreken.

[andreetje]

Het is niet dat het rocket science is om je accent aan te passen.

[Ozymandias]

Zeg je dat ook tegen Engelse of Amerikaanse mensen die met hun lokale accent spreken? The Queen's English en een Texan drawl klinken nogal verschillend. Of een Duitser die met een hoorbaar Duis accent spreekt?

[andreetje]

Inderdaad.

[asdfqwerty]

Het Engels van Nederlanders wordt m.i. alleen overschat als je het vergelijkt met native speakers. Zodra je het vergelijkt met het engels uit andere landen komt Nederland goed uit de bus.

En ja er zijn ook slechte voorbeelden, maar er zijn ook tal van goede waar we niks over horen.

[andreetje]

Als het niet je moedertaal is, blijft het lastig. Met Duitsers praat ik liever in het Engels dan in het Duits. Zo hebben we beide een handicap.

[singingbird]

Ik ken het verhaal van een rechtzaak over mensenhandel, waarbij de vertaling van een woordje het verschil kon uitmaken (initieel verkeerd vertaald namelijk). In het Arabisch heb je kennelijk een ander woord voor "met" in de context van "met iemand" en een andere woord voor "met" in de context van "met iets". Het slachtoffer werd in de brieven aangeduid met de "met" in de context van "met iets" en daarmee aangegevend dat het slachtoffer meer een voorwerp was dan een persoon.

[batjes]

De vertaalmodellen doen het vandaag de dag behoorlijk goed. DeepL zit op een behoorlijk goed niveau.

Helaas lopen de open source projecten zoals libre-translate zwaar achter op een Google of Bing translate

[djwice]

Als je twee keer hetzelfde last horen, vertaald de machine het dan ook op dezelfde manier?

Ik merk bij OpenAI Whisper dat de transcriptie van dezelfde audio opname elke keer anders kan zijn, met dezelfde instellingen en leren van eerdere vertaling uitgeschakeld.
Daarnaast lijkt Whisper bij een langere conversatie het patroon 'opbouw' te willen voorspellen, waardoor er soms een zin wordt toegevoegd die totaal niet in de conversatie voorkomt.

Ik ben benieuwd hoe dat bij dit model is.

[Reactie gewijzigd door djwice op 23 juli 2024 07:01]

[Decalies]

De vraag lijkt me niet zozeer of het fouten bevat, maar of de vertaling te begrijpen is, en dat de originele inhoud goed of voldoende wordt overgebracht.

[Plainside]

Zou je dit dan ook als een tool kunnen gebruiken om een nieuwe taal zelf te leren? In de zin van je spreekt het Nederlands in en laat het in y-taal terug spreken.

[bones]

Zou geen use case kunnen bedenken hiervoor?

[Reactie gewijzigd door bones op 23 juli 2024 07:01]

[warzaw]

Kom op! Real-time communiceren met anderen in de taal van je eigen keuze. Opent een wereld aan mogelijkheden

[Exoronic]

Ik ben werkzaam bij een internationaal bedrijf, waar Engels als voertaal wordt gebruikt om te communiceren tussen verschillende taalgroepen. Hoewel het een internationaal bedrijf is, is het niet vanzelfsprekend dat alle medewerkers Engels beheersen (Om een of andere reden lijkt Engels vooral een uitdaging te zijn bij mijn Franse collega's.)

[MrMonkE]

OT: Moet je eens proberen een French-Canadian Engels te volgen. Ik had eerst niet eens door dat het Engels was bij een presentatie. Halve zaal liep leeg.

[marcieking]

Moedig dat je dat zo online zet. Veel mensen zouden dat niet toe durven geven. Je hebt vast andere kwaliteiten!

[Oakley]

Denk bijvoorbeeld aan al die oorlogs-films waar de taalbarriere tot een onnodig conflict resulteerde. Stel je voor dat een soldaat nu een mobiel apparaat met deze functionaliteit bij zich heeft en hierdoor vloeiend met elke local kan praten en het conflict beter kan begrijpen en op kan lossen.

[BartDG]

Nu geeft esperanto het wellicht helemaal op.

[djwice]

Of zouden ze Esperanto als tussenmodel gebruiken?

[Polydeukes]

Nog even en de Universal Translator uit Star Trek is een feit.

[Reactie gewijzigd door Polydeukes op 23 juli 2024 07:01]

[andreetje]

Daar moest ik ook aan denken.

[Knijper1962]

Ik heb liever een babelfish in m'n oor

[LordLuc]

Ik heb liever vertaal bacteriën in mn hersens.

[T2000Nl]

Moi auch.

[UPPERKEES]

Konden die Google Earbuds dit niet al 5 jaar geleden? Waarom is dit nieuws? Of mis ik iets?

[honey]

Is dit nu zoveel anders dan Google Translate? Die kan dit ook allemaal en ik gebruik het wel eens om Japans te vertalen.