Google Translate vertaalt teksten via camera realtime naar Nederlands

Google heeft twintig nieuwe talen toegevoegd aan de camerafunctie van zijn Translate-app, waaronder Nederlands. De app maakt het mogelijk de smartphonecamera op Engelstalige teksten te richten en deze realtime te laten vertalen naar het Nederlands.

Omgekeerd kan de app teksten in het Nederlands vertalen naar het Engels. Naast Nederlands zijn nog 19 nieuwe talen toegevoegd, waaronder Bulgaars, Turks, Deens, Noors en Fins. Dat schrijft Google. De app had al ondersteuning voor zeven veelgebruikte talen zoals Engels, Duits en Spaans.

Gebruikers moeten bij de app aangeven dat ze Engels en de desbetreffende taal willen vertalen, waarna ze een taalpakket van zo'n 2MB moeten downloaden. Vervolgens kunnen ze de camera op teksten zoals die van verkeersborden richten en zal de app deze van en naar Engels omzetten op het beeld van de smartphone. Voor de functionaliteit is een internetverbinding niet vereist.

Google gebruikt deep learning om de functionaliteit naar smartphones zonder internetverbinding te brengen, legt het bedrijf uit in een afzonderlijk bericht. Naast de visuele vertalingen heeft Google ook de conversatiemodus van een update voorzien. Die vertaalt nu in 32 talen. Nederlands zat daar al tussen.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (86)

Doet me denken aan Word Lens, maar wanneer ik erop google lees ik dat ze Word Lens hebben overgenomen? Is dit dan dezelfde app, maar dan met meerdere talen? De originele ondersteunde alleen Engels en Spaans als ik me niet vergis.

Werkt(e) wel behoorlijk goed in ieder geval

Edit:
Alleen jammer dat ze het promofilmpje weer te mooi hebben gemaakt. Alleen lettertypes gebruikt die ook in het systeem zitten. In de praktijk merk je dat ze die niet altijd zo mooi kunnen matchen

[Reactie gewijzigd door NightFox89 op 29 juli 2015 16:20]

Inderdaad, ik zat dus ook te denken aan handgeschreven teksten in het buitenland, zullen deze door de app heen komen?

Ik vind het niet geheel realistisch om te denken dat handgeschreven teksten ook kunnen worden vertaald via zulke apps. Ik kan mijn eigen handschrift amper lezen, laat staan dat een app dat kan en dan ook nog ééns correct vertaald.

Mijn grootste vraag is: werkt dit offline? Als ik in het buitenland zit (bijv. China of Rusland, waar ook een ander schrift wordt gehanteerd en ik deze app het hardste nodig heb), en geen mobiele databundel wil gebruiken, kan ik dan nog steeds vertalen?

[Reactie gewijzigd door Galeton op 29 juli 2015 16:28]

Ik snap wat je bedoelt, maar technieken als de 'digitale pen' hebben toch al softwarematige middelen om 'handschriften' te herkennen en in eerste instantie om te zetten naar 'leesbare' tekst? Is inderdaad een beetje vergezocht misschien dat te combineren met deze technologie maar lijkt men iet helemaal onrealistisch?

En je tweede stuk,, de tekst zegt: "Voor de functionaliteit is een internetverbinding niet vereist." om deze functionaliteit te gebruiken moet je "Gebruikers moeten bij de app aangeven dat ze Engels en de desbetreffende taal willen vertalen, waarna ze een taalpakket van zo'n 2MB moeten downloaden. "

Ik maak hieruit op dat de app dus offline te gebruiken is NA het ophalen van het taalpakket. Ik denk dat je alleen je databundel nodig hebt om dit taalpakket te blijven bijwerken maar dat is speculatie van mijn kant!

Bij een (digitale) pen heb je veel meer info, zoals de richting en de volgorde van penstreken. Handschriftherkenning is absoluut nog niet in een werkbaar stadium en dat zal nog wel even duren ook. Blokletters met 1 vakje per letter (op antwoordkaarten) gaat al met enige regelmaat mis.

[Reactie gewijzigd door freekvd op 29 juli 2015 17:18]

er zijn zat tools die handschrift om kunnen zetten in text. (bijv handschrift wordt al jaren op enorm hoge snelheid herkend bij de post)
https://en.wikipedia.org/wiki/Handwriting_recognition

dus dat zou gewoon een pre-process kunnen zijn om handschrift te herkennen als text en dan door tegeven aan de translate API waarna het vertaald wordt.

of je nou getypte text of handschrift leest het is beide een visuele interpretatie stap. handschrft is iets lastiger maar allang opgelost ik zie geen probleem.

Het herkennen van een postcode is natuurlijk wel een enorme beperking van het domein, waardoor het veel makkelijker wordt.

Ik denk dat je er iets te simpel over denkt, de uitdaging bij beeldherkenning in het algemeen is om het robuust genoeg te maken zodat het ook in wisselende omstandigheden (belichting, resolutie, enz..) goed blijft werken.

belichting en resolutie zijn net zo goed problemen bij normale text
en bij de post is slechts een voorbeeld mijn link laat zien dat er veel meer research is in dit gebied.

ik ben zeker bekend met computer vision en weet dat het niet makkelijk is, maar het is al gedaan. de vertaalslag van pixels van allerlij verschillende fonts zoals dit programma al doet, om daar een extra cursief gescreven font aan toe te voegen is niet zo'n grote sprong.

makkelijk natuurlijk niet, haalbaar absoluut.
zelfs OpenCV ondersteunt dit gewoon:
https://www.pyimagesearch.com/practical-python-opencv/

hier een voorbeeld van die pagina.
https://www.pyimagesearch...ies/digit_recognition.jpg

oftewel het is een bekend en opgelost probleem en zeker niet onmogelijk toe te voegen aan de rest van het programma. en omdat het programma text begrijpt helpt dat ook met de herkenning van karacters gezien er "logische" woorden verwacht kunnen worden, wat ook het domein verder kan begrenzen.

[Reactie gewijzigd door freaq op 30 juli 2015 00:50]

Dat is juist wel een hele grote sprong. Waarom denk je dat er nog zo veel research is als het 'een bekend en opgelost probleem' is?

Het is natuurlijk niet zomaar een kwestie van 'een cursief font toevoegen', bijna iedereen heeft z'n eigen unieke handschrift.

Van een expert: 'Some predict that in the near future billions of handheld devices such as cell phones will have handwriting recognition capabilities.'

Dus we zijn er mogelijk al bijna, dat wel..

Die 2MB voor een taal pakket lijkt me erg weinig. Bing Translate op m'n Lumia kan dit soort vertalingen via de camera al sinds WP7.5 en dan realtime via een internet verbinding of via vooraf geïnstalleerde taalpakketten. Deze taalpakketten zijn echter al gauw > 25MB.

zojuist getest: iphone op vliegtuigstand, helaas krijg ik een foutmelding: netwerk fout -> foto kon niet verstuurd worden.

foto bij artikel is ook beetje "vaag" want de foto vertaald/veranderd niet, je krijgt vertraging gewoon in balkje erboven te zien (op iphone iig).

Vind de translate app op de lumias beter....

UPDATE - 9:30

Er is zojuist een update binnen gevallen met deze optie, voor engels->nederlands is er een pakket van 4.3mb te downloaden op de iphone voor "instant translate" op de camera.... We gaan het eens testen... tot op heden werkt het ook offline!

[Reactie gewijzigd door Mopperman op 29 juli 2015 21:27]

Voor de functionaliteit is een internetverbinding niet vereist.

Waarschijnlijk moet je eerst de laatste versie van de app krijgen (die wordt in batches beschikbaar gesteld) en dan de offline bestanden downloaden.

Perfect in ieder geval, tot nu toe gebruikte ik nog Wordlens

Dat is door Google overgenomen.

Hm vandaar dat die het bij mij nog niet helemaal doet.
Als ik Italiaans pak vertaalt die wel real-time, maar Nederlands niet.

Gewoon even geduld hebben dus..

Dit klopt inderdaad, net de update van translate geïnstalleerd, het Nederlandse taal pakket (288mb) gedownload en het werkt zonder internet. (wel op android)

Ik heb voor de gein een stuk tekst van de pagina van google geprobeerd. Het gaat om de tekst met onder het filmpje (op de link die in het artikel gegeven wordt) en het volgende is het resultaat:

Direct vertalen gedrukte tekst in 27 talen We begonnen met zeven talen-Engels, Frans, Duits, Italiaans, Pon vandaag voegen we 20 meer. U kunt nu vertalen van en naar het Engels en E Indonesisch, Litouws, Norwegia Deens, Nederlands, Filippijns, Fins, Hongaars, Zweeds, Turks en Oekraïens U kunt ook een enkele vertalingen van E snapping een foto van de tekst die u wilt vertaald hebben we een totaal van 37 languag Om de nieuwe talen uit te proberen, ga dan naar de Google Translate app, stelt u "Engels" ald vertalen, en klik op de knop camera

[Reactie gewijzigd door Fly-guy op 29 juli 2015 17:08]

vreemd - ik heb m net nieuw gedownload vanuit de app store...

Misschien zit het verschil in android (ik) en ios (jij)? Ik moest wel eerst een (Nederlands) taalpakket downloaden alvorens het werkte.

op ios zie ik geen download functie voor talen

Bij mij stat die optie als ik selecteer in welke taal iets vertaald moet worden. English <> Spanish. Als ik spanish verander in dutch staat er een symbool.

Hier op iOS lijkt deze optie er (nog) niet te zijn. Laten we hopen dat google deze wel toevoegd - lijkt me verdomd handig...

UPDATE - 9:30

Er is zojuist een update binnen gevallen met deze optie, voor engels->nederlands is er een pakket van 4.3mb te downloaden op de iphone voor "instant translate" op de camera.... We gaan het eens testen... tot op heden werkt het ook offline!

Heb je wel de juiste app voor je, gezien je het over foto's hebt?

Wel als je verbinding maakt met een ballon

Dat moet kunnen, in principe is het dan gewoon hetzelfde systeem maar dan met nog betere OCR software die ook handschriften herkent.

Google heeft de ontwikkelaar van Word Lens, Quest Visual, overgenomen en de software geïntegreerd in Google translate. Dat was de reden dat Word Lens zelf een tijd lang gratis was.

Bij de nieuwe features op de Google Tranlsate pagina van Google Play staat het volgende:
Word Lens: Just point your camera to a sign or text and the Translate app will instantly translate the text, even without Internet/data connection. Currently available in: English ↔ French, German, Italian, Portuguese, Russian, Spanish.

Ik neem aan dat dit dan inderdaad gebaseerd is op Word Lens. Overigens zie ik hier niet de taal Nederlands bij staan?

_EDIT:
Zojuist getest, ik kan in de app ook niet live vertalen naar Nederlands.

[Reactie gewijzigd door NLCJ op 29 juli 2015 20:40]

Ik had vanochtend een update van Bing Translate, en toevallig blijkt die nu hetzelfde te kunnen

Bing Translate kan al een aantal jaar text vertalen via camera en vertaling projecteren

Hier staat een voorbeeldje:
http://www.bing.com/translator/phone/

Dat wist ik nog niet

Inderdaad, ik vind het echt ongelooflijk dat Google hier nu pas mee komt. En dat het dan nog nieuws mag heten ook. Dit bestaat echt al jaren.

Ach, dat het nieuws is laat alleen maar zien hoe klein het marktaandeel van Bing is. 'Niemand' die het wilt gebruiken

Die kan dat inderdaad al een paar jaar. Kan me herinneren dat ik dat al draaide op mijn Lumia 900

Coole techniek, ook leuk gedaan met het La Bamba liedje. Ik zit wel te denken waar dit echt het meest handig bij zou zijn, weten waar protesten over gaan in land waar je de taal niet spreekt (zodat je de protestborden kan lezen)? Op verkeersborden na zoals de tekst zegt uiteraard dan. Misschien ook handig bij landen/plekken/vakantiebestemmingen waar er toch een gebrek aan engels is voor de (westerse) toerist?

Menukaart in een restaurant, waarschuwingen etc. Ik zie wel gebruiksmogelijkheden.

Vandeweek in Frankrijk zag ik iets op de menukaart staan dat ik niet kende. Dus ingetypt in Translate, kwam er in het Nederlands hetzelfde woord uit.... Dus weet ik nog steeds niet wat het is :-)

Croissant?

Ja, die :-)

soixante neuf kan wel es voorkomen op een menukaart, maar dan ben je niet in een restaurant geweest

Deze app in combinatie met Google glass was ook mooi geweest. Kan je gewoon rondlopen en het meeste wel lezen. Ook handig om er voor te zorgen dat je bv in Azie geen hond in een restaurant bestelt

Ik reis nu voor vier maanden op de motor door zuid-oost Azië, dit had heel handig van pas kunnen komen in veel situaties. (Ware het niet dat alle talen van hier niet gesupport worden.)

Het Bulgaarse bordje op het strand kunnen lezen dat zegt dat je moet moet gaan zwemmen vanwege sterke stromingen lijkt me bijzonder nuttig.

Alleen staat in het nieuwsbericht dat dit alleen vanuit Engels werkt?

In dat geval behoorlijk nutteloos. Als er één taal is die bijna universeel wordt gebruikt is het wel Engels..

Nee, klopt niet. Je kunt naar van alles en nog wat vertalen. Ik heb net even getest op Google Images met Spaans - Engels live vertalen. Vanuit het Nederlands kun je echter niet live vertalen.

[Reactie gewijzigd door ChicaneBT op 29 juli 2015 17:28]

Ah, ok.

Dan staat het in het nieuws bericht fout.

Je kunt ook niet live van Engels naar Nederlands, net even getest. Dat betekent dat je sowieso ook niet realtime vanuit andere talen naar het Nederlands kunt vertalen. Je moet eerst de foto nemen en dan zie je de vertaling. Bij Spaans naar Engels zie je realtime de tekst veranderen.

Ja zo kan het ook gaan, maar je moet niet te veel op je Google translate vertrouwen anders verdrink je nog ( Het Bulgaarse bordje op het strand kunnen lezen dat zegt dat je Niet moet moet gaan zwemmen )

Het lijkt mij ook erg hanig voor talen met een niet westers schrift zoals China, Japan of Zuid-Korea. Op deze manier kan je toch een heel stuk beter wegwijs worden. Alleen zit je dan helaas wel weer met je data bundel.

Ik gebruik het tegenwoordig vaak voor tekst in het Japans op foto's, even vertalen naar engels en hoppa, 70% van de tijd werkt het goed.

Ik gebruik de Bing versie al een paar jaar en regelmatig is het erg handig. Bijvoorbeeld, ik kreeg een fles Chinese likeur en kon het etiket ontcijferen. Denk verder ook aan gebruiksaanwijzingen.

geweldig, weer een stapje verder in live-vertalen, maar...

Net ff getest, helaas blijft het toch een woordelijke vertaling, waarbij de betekenis wel duidelijk is, maar het grammaticaal nog verre van correct is.

Grammaticaal correcte vertalingen zijn afhankelijk van zóveel variabelen dat dat haast onmogelijk is om goed te doen met de huidige technieken. Zal nog wel een paar jaar duren voordat dat goed gedaan kan worden.

Dat bedoel ik. Ik vind het steeds onvoorstelbaarder worden dat het blijkbaar wel mogelijk is om de regels voor taal wel in een lesboek te schrijven maar diezelfde regels niet te programmeren zijn. Afgezien van de (vele) uitzonderingen, zijn het logische regels. Onderwerp, gezegde, persoonsvorm, verschillende vervoegingen voor toekomstige en verleden tijd... allemaal vrij logisch te herkennen toch?

Stop net de eerste zin ("Dat bedoel ik") in de app en daar maakt hij "That's what I meant" van. Geen letterlijke vertaling (that mean I), maar het staat wel ineens in de verleden tijd (waar komt die "t" vandaan?).
Andersom werkt het wel goed trouwens; "that's what I mean" wordt "dat is wat ik bedoel" en "that's what I meant" wordt "dat is wat ik bedoelde"

Ik ga me maar eens wat verder inlezen in vertaaltechnieken.

Toch komt Google translate een heel eind. Alleen nog niet van iedere taal naar een willekeurige andere taal, maar de meeste talen vertalen naar Engels is behoorlijk goed tegenwoordig.

Het is niet en stapje verder want dit bestond al in Word Lens en de Bing Translator app.
En bij bijvoorbeeld de Bing Translator app hoef je geen taalpakketten te downloaden voor alle talen waaruit je wilt vertalen. Dat lijkt me ook nogal omslachtig

Logisch natuurlijk aangezien dit realtime is en je beperkt bent door wat de camera ziet, anders zouden de woorden continu veranderen of naar een andere plek springen omdat de betekenis verandert afhankelijk van welke woorden in beeld staan. Dat zou niet fijn werken. Dit is ook meer om snel iets te vertalen.

Om zinnen te vertalen kan je een foto nemen en die werkt onder andere ook met Aziatische talen. In Taiwan of Japan een eettentje kunnen binnenlopen waar niemand Engels spreekt en vervolgens iets van de menukaart kunnen bestellen blijft toch één van de mooiste technische verrijkingen van mijn leven. In de praktijk heb je weinig last van eventuele grammaticale fouten, dat je uberhaubt een conversatie kan houden met iemand is al een wonder op zich en je werkt daar snel omheen.

Google Translate heeft voor mij persoonlijk enorm veel nieuwe dingen mogelijk gemaakt. En is ook de reden dat ik niet kan switchen naar een non-Android toestel.

Lijkt steeds meer op Babel Fish. Past alleen nog niet in je oor.

Kunt ook DuoLingo gebruiken. Heb je op den duur geen batterij of lensje meer nodig

http://lifehacking.nl/pro...tweede-taal-met-duolingo/

AppStore van de Iphone, ten minste in de Nederlandse, is hij ook niet geupdate.
Geïnstalleerd en je moet echt eerst een foto maken en dan scant hij.

versie 3.3.10888 19 maart 2015

je moet versie 4.0 hebben.

Nice, zat al een tijdje te zoeken naar een app die dat mogelijk maakte. Heel erg welkom Google translate

Deze functionaliteit heeft de Google Translate app gekregen omdat Google in Mei 2014 Quest Visual heeft opgekocht. Dus als je nog Word Lens geinstalleerd hebt staan: Er af gooien die zooi en Google Translate installeren

Dat is gaaf gedaan. Als dat echt zo netjes werkt als ze zo laten zien is het petje af!

Mijn vriendin is Russisch en ik heb haar eens bezocht in Rusland, waar alle borden in Russische letters zijn beschreven. Op dat moment had ik dit maar al te graag bij me gehad

Griekenland is ook zo'n land waar het prettig kan zijn .

Inderdaad ja, om al niet te spreken over aziatische landen

Zijn geen Russische letters. Het is het Cyrillische schrift.

Als ik Cyrillisch zeg is het onduidelijker dan dat ik Russische letters zeg, muggezifter

Nou nou muggezifter! Wat een taalgebruik!

https://play.google.com/s...le.android.apps.translate
Linkje voor hen die niet willen zoeken