App vertaalt in realtime via iPhone-camera

Softwareontwikkelaar Quest Visual heeft een iPhone-app gemaakt die de camera gebruikt om tekst die in beeld is automatisch te vertalen en terug te projecteren op het camerabeeld. Momenteel worden alleen Engels en Spaans ondersteund.

De applicatie, door het bedrijf Word Lens gedoopt, lijkt als deze wordt gestart op een reguliere camera-applicatie. Gebruikers zien op hun scherm wat de camera registreert. Zodra er echter tekst in beeld komt, kan de app deze herkennen via ocr en in realtime vertalen. Daarna wordt de originele tekst uit het beeld weggefilterd en komt de vertaalde tekst ervoor in de plaats. Via deze augmented-reality-methode hoeven gebruikers hun telefoon dus alleen maar op een tekst te richten om direct op hun scherm de vertaling te kunnen lezen.

Word Lens is volgens de makers het resultaat van een meer dan twee jaar durend ontwikkelproces. De huidige versie kan alleen overweg met de talen Engels en Spaans, en de vertalingen zijn nog erg grof. De vertaling gaat per woord en er wordt nog geen rekening gehouden met zinsbouw. Quest Visual wil zich nu gaan richten op de uitbreiding van het aantal ondersteunde talen. De applicatie is gratis verkrijgbaar in de App Store, terwijl een taalpakket 4,99 dollar moet kosten.

Reacties (80)

Dat is hip, maar m.i. onnodig high-tech. In het zeldzame geval dat je op straat een stukje tekst wilt vertalen zou je ook gewoon een foto kunnen maken en ocr'en. Dat geeft je een betere resolutie, en je hoeft niet je telefoon omhoog te houden zolang je aan het lezen bent.

Vroeger was een mobiel ook onnodig high-tech, die zeldzame keren dat je niet kan wachten totdat je bij een telefoon bent om te bellen.
Zo zal het ook hiermee gaan denk ik. Als alle talen tenminste erin gaan staan. Kan je eindelijk zelf kijken welke trein/metro je moet nemen in Japan bijv.

In de toekomst zullen er ook schermen in brilglazen of lenzen zitten, dus hoef je helemaal niet meer omhoog te houden. En wie weet komt dat ook in die app, dat je foto's kan maken die vertaald worden. Lijkt me niet onwaarschijnlijk

Wou ik net zeggen.

Dit is super handig in de metro in Japan.

In Japan moet je gewoon Japans kunnen lezen om met de metro te kunnen reizen, anders raak je gewoon verdwaald.

In Japan geweest? Dit is een mythe.

Metro in Japan is volledig tweetalig (in elk geval in alle grote steden waar ik ben geweest), zowel op de stations als in de treinen. Omroep in de trein is in het Japans en Engels. Zelfde geldt voor treinen en light rail-verbindingen. Bussen zijn alleen niet in 'romanji' aangegeven en daar moet je dus even goed weten vooraf waar je in stapt.

Toch blijft een dergelijke applicatie vooral in dit soort landen ontzettend handig omdat veel locaties niet zijn ingesteld op toeristen.

[Reactie gewijzigd door Dr. Strangelove op 17 december 2010 13:08]

De metro/trein is geen probleem. Het menu van een restaurant bv... Oh, hoe vaak ik mijn diner moet laten afhangen aan mijn Divine Finger Skill....

Ja inderdaad geweest en geloof me, de metro in Japan is een nachtmerrie voor toeristen.

Zelfs voor Japanners is het moeilijk om je weg te vinden en het is niet altijd tweetalig.

Vriend van mij spreekt Japans en alsnog was het moeilijk om je weg te vinden.

Voor andere dingen is het natuurlijk ook handig maar als je verdwaalt in de metro lijkt me dat dat belangrijker is dan een menu in een restaurant kunnen lezen.

Je kunt je ook gewoon ouderwets voorbereiden.
Ik zie niet echt een nuttige voorsprong die je hiermee krijgt afgezien dat het makkelijk is.
Zoiets zal ongetwijfeld je batterij van je iPhone nog sneller leegeten, waardoor je constant aan het stroom moet hangen.

- Camera staat aan
- Realtime verwerking
- Result

maar om even in de context te blijven.

iDon'tcare.

Wat een onzin, je gaat ook echt de hele tijd met de telefoon voor je uit over straat lopen?

Ouderwets voorbereiden? Daar hebben/nemen we de tijd niet meer voor tegenwoordig.
Dit is voor mij een super uitvinding.

zelfs je schoenen aan doen is een voorbereiding....of ga jij omdat je haast hebt op je bloten pollen naar buiten?

M.a.w. de gratis "achterzak-toerist-vertaal-boekjes-overal-te-krijgen" voorbereiding kost minder tijd dan je veters strikken......

Neemt niet weg dat dit toch een briljant hulp middel kan zijn (als je bijv. je achterzak-toerist-vertaal-boekjes-overal-te-krijgen bent vergeten ......)

[Reactie gewijzigd door IoorLTD op 17 december 2010 13:38]

Nou nee, je moet dit zien als de eerste stap. Wanneer je een iGlasses hebt met Augmented Reality. :-)
Alle straatnamen en verkeersborden etc etc netjes in je eigen taal.
Zo begint het.

Maar dat is toch lastig vinden.. bij het informatiebord aan het begin van Abcoude

Hello, I am searching the Churchstreet in Abcoude.
But on this map there isnt any Churchstreet.

Misschien wil je wel ter plekke weten wat er staat en niet 's avonds thuis.
Op een gegeven moment was ik aan het MTB-en in Noorwegen, ik stuitte op een bord met tekst en uitroepteken voor een weg. Ik had graag geweten wat er op stond.
Heb de weg toen maar gemeden.

Juist... en als je in een restaurant een menu moet lezen? Ga je dan eerst een foto maken, naar huis fietsen, OCRen en dan bestelling doorgeven?

Dit soort applicaties zijn er juist voor om je te helpen als je niet een scala aan apparaten + internetverbinding tot je beschikking hebt.

Dat bedoel ik niet... de applicatie moet uiteraard OCR functionaliteit hebben. Mijn punt is dat je de OCR beter kunt uitvoeren op een foto dan op een video stream.

Wat is een videostream anders dan een reeks foto's?

Als het werkt en het wordt er makkelijker door (wat het in dit geval is) waarom niet? Dat is vooruitgang.

Enig idee of dit ook voor Android beschikbaar komt?

Vraag het de developers.

Gedaan.
Gelijk een mailtje terug (waarvoor hulde! ):

We've gotten lots of requests from android users, and we hear you! We're two scrappy programmers here, and we decided to do one platform at a time really well. We're also working hard to expand our supported languages.

thanks for the feedback!
-- quest visual

Dus voorlopig nog geen Android, maar misschien in de toekomst?

[Reactie gewijzigd door anandus op 17 december 2010 11:24]

Kan het je niet beloven maar denk dat het een kwestie van tijd is, tot die tijd werkt Goggle's prima om chinees te vertalen, echter niet real time, maar dat heeft ook ze voordelen, je hoeft namelijk niet je telefoon omhoog/gericht te houden op de tekst. Het werkt namelijk gewoon met een fototje, en houd WEL rekening met zinsopbouw en dergelijke (je telefoon doet dat niet zelf maar Google's servers nemen dat uit handen!).

je hoeft namelijk niet je telefoon omhoog/gericht te houden op de tekst

Dat doe je wel om de foto te maken. Het is dan zeer interessant om dit real-time te vertalen...

Over die servers: Je moet dan wel een internetverbinding hebben!
De kwaliteit van de vertaling zal nog wel verbeteren...

Het is vooral het idee van het concept dat het aantrekkelijk maakt.
Nu het idee er ligt zal een Android-versie niet meer lang op zich laten wachten, verwacht ik.

Ze zeggen er twee jaar aan bezig geweest te zijn, dus wellicht is het niet triviaal...

google goggles? niet realtime, maar wel foto's maken van tekst en deze naar alle talen laten vertalen door google translate. werkt niet onaardig!

Maar wel internetverbinding nodig... wat in het buitenland niet echt handig is. En in eigen land heeft zo'n applicatie direkt veel minder nut.

In ieder geval : ben serieus onder de indruk!

Nog wel pril met de ondersteunde talen maar wel een geweldig concept!

Geweldig ja! Zo geweldig dat ik bijna denk dat het fake is.
Eindelijk een overtuigende toepassing van augmented reality, heel wat zinniger dan die Layar dingen.

Lijkt mij ook wel fake
Hij vertaalt wel heel snel, al voordat de woorden op het scherm zichtbaar zijn....


Maar goed, het zal prima werken. Ook al zal het bij een 'foto' zijn.

google goggles kan dit al tijd langer, leuk stukje techniek dat wel

Neen, Goggles verwacht een foto en kan al zeker niet de tekst in de afbeelding vervangen.

En heeft een verbinding met de server nodig, terwijl deze applicatie juist op vakantie handig is (Denk aan het bord: "Strand gesloten in verband met haaien").

Het lijkt mij eigenlijk dat deze app ook een internetverbinding vereist....

edit: Blijkbaar dus niet

[Reactie gewijzigd door ruurd v. op 17 december 2010 12:31]

Goed, heel leuk. Maar dit staat hoogst waarschijnlijk in meer talen geschreven...

OT: wel erg duur allemaal... Het kost $5 voor een talenpakket, om bruikbaar te zijn moet je toch een aantal talen hebben (minstens 2, maar dat is toch heel beperkt). Dan wordt het snel een heel dure app die zelfs maar groffe vertalingen geeft. Dit kan natuurlijk nog veranderen maar ze richten zich eerst op meer talen (=meer geld) daarna verbetering, als die al komt...

Ja maar ik denk dat je zoiets vooral koopt op het moment dat je op vakantie gaat, oftewel slechts 1 pakket per keer. Dan valt het nog wel mee, een woordenboek is volgens mij duurder.

Ziet er mooi uit. Nog een paar jaar en we hoeven geen andere talen meer te leren!

Mwoa, wellicht in de toekomst dat we ooit met apparaatjes kunnen rondlopen die on-the-fly gesproken tekst voor je vertalen zodat je idd geen andere taal meer hoeft te leren, maar op zich blijft het leren van een taal nog erg nuttig. Ook is het handig, zelfs met vertaling on the fly, om het toch te kennen aangezien je in vertalings-processen vaak nuances gaat missen die uniek zijn voor een bepaalde taal.

Daar is ook al een iPhone app voor, die on the fly van Engels gesproken naar Spaans gesproken vertaald, en visa versa.

Dit zijn van die augmented reality apps die ik echt nuttig vindt, geweldig hoe ze de beelden vrijwel realtime manipuleren met een vertaling, juiste kleursetting etc. Nu uiteraard nog chinees, japans en andere talen die echt niet te ontcijferen zijn als iemand met een Germaanse taal-achtergrond en het staat op m'n iPhone.

edit: Overigens kan je het gratis uit proberen als ik mij niet vergis.

[Reactie gewijzigd door vgroenewold op 17 december 2010 11:08]

Voor chinees heb je al de app Pleco. Met de inapp purchase kan je dan je cam gebruiken voor realtime vertalingen.

Wat een prachtige applicatie! Toen ik de titel las had ik verwacht dat je onderin een apart schermpje de vertaling zou zien. Opzich zou dat al indrukwekkend zijn maar dit is echt helemaal top. Ben wel benieuwd hoe het werkt met tekst op minder egale (kwa kleuren) oppervlakken.

Dit is dan ook een applicatie die echt interessant is voor borden etc zoals in het filmpje ook te zien is. Die hebben meestal een egale kleur.

Kan Google zijn vertaaldienst niet in apps ontwikkelen icm ocr?

is er: google goggles albeit niet geheel hetzelfde.

Ik vind het er nogal ongeloofwaardig uit zien, en totdat ik een filmpje zie dat niet in de studio opgenomen en bewerkt is....

OCR, prima dat kan. Maar ook meteen de vertaalde woorden in de juiste kleur (voorgrond / achtergrond) en lettertype terugzetten? Daar heeft PHotoshop al moeite mee, en dat zou een iPhone even realtime doen?

Heb geen iPhone, maar dit lijkt mij praktisch onmogelijk.

Het zijn egale kleuren achtergronden die ze in het voorbeeld hebben, dat zou dus prima te doen zijn. Ik vraag me ook af hoe het met een 'plaatjes achtergrond' zal gaan werken.

Het werkt gewoon, heb het net getest met een boekomslag, een productverpakking en een geprint A4tje: de woorden op het oppervlak worden voor je ogen vervangen (in de demo-versie door de letters om te draaien).

En nog een applicatie die de mensen luier maakt. In de toekomst zit er een apparaat om je nek zodat als je met iemand praat het insta vertaald wordt, des te minder redenen om gewoon een keer een taal te leren.

Net zoals gps de mensen laat vergeten hoe we kaart moeten lezen, en hun orientatievermogen verliezen.

En de rekenmachine: de mensen kunnen niet meer hoofdrekenen.

Nee dit is juist een goed ding. Het verminderd taalbarrieres, en dat kan enkel maar als positief worden aanzien.

Dit lijkt me alleen nuttig in het buitenland, waar je je momenteel nog scheel betaalt voor mobiel internet. Zodra dat verandert wordt het pas interessant.
@Herko_ter_Horst: Je hebt helemaal gelijk Ik dacht in de video gelezen te hebben dat het via internet of je eigen netwerk ging.
In dat geval is het ineens een stuk interessanter. Mijn eerste associatie is overeenkomstig met de reactie hierboven: de universal translator van Star Trek.
Nu nog wachten op een Android-versie.

[Reactie gewijzigd door fridiot op 17 december 2010 12:07]

Gelukkig heb je geen internetverbinding nodig hiervoor.