Sign Translator: PDA vertaalt borden en bewegwijzering

Elke toerist zal het herkennen, verkeersborden en andere aanwijzingen in een taal die je niet kan lezen. Voor je het weet heb je de verkeerde afslag genomen of iets gedaan wat eigenlijk verboden is. Een nieuw stukje software genaamd Sign Translator kan vanaf nu helpen. De tool draait op een handheld en kan teksten op verkeersborden in allerlei vreemde talen lezen en vertalen naar het Engels. Maak een foto van het verkeersbord met de ingebouwde digitale camera in je PDA. De software herkent de tekst in de foto en vertaalt deze in seconden naar het Engels. De Sign Translator gebruikt een drietal technieken om tot de vertaling te komen:

The system is based on three technologies: automatic detection, optical character recognition and language translation. Using a hierarchical three-layer framework, the detection system identifies the text from the jumble of the surrounding scenery. After the first layer detects possible text regions, the second layer sorts information such as color and shape to narrow the selection.

The third layer performs layout analysis using complex algorithms to achieve a high detection rate. After the detection process is complete, OCR goes into action. "Once the system has located the sign, it has to be able to recognize what the text is," Yang said. In the third stage, the recognition results are ready for translation.

De tekstherkenning van de Sign Translator is met 92 procent behoorlijk succesvol, de vertalingen gaan echter maar voor 30 procent goed, hieraan moet nog gewerkt worden voordat de software bruikbaar is voor de toerist. Het team van ontwikkelaars wil een combinatie van twee technieken gaan gebruiken om dit percentage hoger te krijgen: Example-Based Machine Translation (EBMT), wat gebruik maakt van voorbeelden en Statistical-based Machine Translation (SMT) wat gebruik maakt van statische analyse. De laatste techniek kan ook een deel van een woord herkennen, iets wat de eerste techniek niet lukt.

Reacties (32)

[PowerFlower]

Vreemd dat die vertaling zoveel problemen oplevert. 30% vind ik niet veel, gegeven het feit dat de informatie op de meeste borden vrij standaard is ("bedankt en tot ziens", "uitgang", "de directie is niet aansprakelijk", en dan nog een hele reeks plaatsnamen in combinatie met wegwijzen: "Amsterdam 2km" etc.). Het is niet alsof je een heel boek grammaticaal correct hoeft te vertalen; zelfs geen zinnen.

Op <a href="\\"http://www.is.cs.cmu.edu/signtranslation/\" target="_blank">de website van dit project</a> zeggen ze dat een van de problemen is, dat er maar een paar woorden op zo'n bord staan; en dat dat soort korte termen nogal ambigu kunnen zijn (omdat je geen context hebt zijn ze moeilijk te interpreteren). Juist bij borden lijkt me dat onzin (vanwege het toch vrij beperkte repertoire aan standaardteksten)-- maar misschien moeten ze daarvoor ook wat meer van de visuele context gebruiken (bijv. de kleur van de borden). Zodat het gele bord "Kijk uit" niet verward wordt met het blauwe bordje "uitkijk"

[kodak]

Zoals je aan de afbeelding bij het artikel kunt zien gaat het niet alleen om het vertalen/uitleggen van verkeersborden. Het doel is meer om borden te herkennen en dan de betekenis in de taal van de gebruiker in beeld te plaatsen. Daarbij is 30% nog een heel goede score als je bedenkt dat veel van de borden niet officieel zijn en dus bijna allemaal afwijken in grootte, vorm, lettertype ed. Chinees is daarbij zo erg verschillend van Engels dat het heel erg lastig is om er goede vertaal software voor te schrijven. Het repetoir aan te gebruiken teksten is zelfs heel erg veel groter dan in het Engels. Wat dat betreft is Chinees meer een gevoels taal. En probeer dat maar eens bij -niet verkeersborden- goed om te zetten naar de juiste betekenis. Dan heb je erg weinig aan de kleur van het bord alleen zonder de omgeving te herkennen.

[PowerFlower]

Daarbij is 30% nog een heel goede score als je bedenkt dat veel van de borden niet officieel zijn en dus bijna allemaal afwijken in grootte, vorm, lettertype ed.

Sterker nog: de karakter herkenning zit zelfs op 92 procent. Dat vind ik juist het verbluffende, ik zou denken dat dat enorm moeilijk was en dus vrijwel onmogelijk! Gegeven ook de problemen die ze op hun website aangeven een hele prestatie (lage resolutie van de foto's; vreemde hoeken e.d.). Maar vervolgens blijkt de vertaling het probleem, die gaat maar in 30% van de gevallen goed.

Wat dat betreft is Chinees meer een gevoels taal. En probeer dat maar eens bij -niet verkeersborden- goed om te zetten naar de juiste betekenis. Dan heb je erg weinig aan de kleur van het bord alleen zonder de omgeving te herkennen.

Zo letterlijk bedoelde ik het ook niet - met kleur bedoelde ik een deel van de visuele context. Ik spreek geen woord Chinees en kan het ook niet lezen, maar toch zie ik op dat plaatje vrijwel meteen dat de tekst op de binnenkant van de deur naar buiten zit. En mijn eerste gok voor de vertaling zou dan ook zijn: "bedankt en tot ziens". Laat dat nou net zijn wat er staat...

Kortom, ik bedoel te zeggen dat de tekst op borden, ook als het niet om verkeersborden gaat, toch een vrij beperkt repertoire heeft. Kijk maar eens om je heen in kantoren, scholen, stations. Waarschijnlijk is er maar iets van 5% echt "vreemde", ongebruikelijke teksten. Dus waarom, als eerst de karakters met 92% zekerheid herkend worden, is de vertaling maar 30% zeker?


/edit: @ wasntme: niet alleen op mn voorbeeld letten-- het aantal teksten op bordjes is echt heel beperkt.

[wasntme]

JIJ ziet dat dat bordje aan de binnenkant van de deur zit, dus kan je er wel uithalen dat het zoiets als 'tot ziens' is.

Maar de software heeft alleen de mogelijkheid de tekst eruit te filteren. Die ziet niet waar dat bordje nou zit, dus kan die ook moeilijk gaan voorspellen (wat jij dus doet) wat er ongeveer zou moeten staan.

Wat dat betreft is dus 30% wel een redelijke score

[Anoniem: 66857]

Ja en daar komt nog 'ns bij dat er aan 'Amsterdam 2 km' niet zo heel veel te vertalen valt.

Vooropgesteld dat je een taal spreekt die in het geschrevene een afgeleide van het romeins alfabet aanhoudt...en vooropgesteld dat je het ook naar die taal wil vertalen.

Ja, bij software moet je de eisen altijd duidelijk omschrijven.

[Anoniem: 43216]

ik zie het al voor me. op de snelweg. bovenop de rem. fotootje schieten. 'Nee Jan, we moeten toch nog ff rechtdoor'

even serieus: dit lijkt me een geweldig stukje techniek als het echt werkt. eindelijk eens een pda toepassing waar we echt wat aan hebben ( ipv al die nep-agenda's voor zogenaamd drukke businessventjes.)

[kodak]

Dan bouwen ze dat ding straks standaard maar in de auto. Terwijl je rijdt worden de borden automatisch gedetecteerd en de betekenis in beeld gezet naast de foto ervan.
Ook heel handig voor de NL automobilist in eigen land: velen weten van de helft van de borden de juiste betekenis niet eens meer.

[Expander]

Misschien is het wel mogelijk.

Maar in mijn visie is dit inbouwen in een auto omslachtig. Het is beter verkeersinformatie direct in de computer te stoppen (middels cd-rom/nieuwe techniek), dan via een verkeersbord.

Op onbekende kleine en particuliere weggetjes kan dit toch zeker zijn diensten bewijzen. Duurt nog wel even voordat ieder bord, tijdens het rijden gelezen en vertaald wordt, maar toch.

[ErA]

The future is now.

Dit zijn inderdaad echt uitvindingen waar je wat aan hebt. Uitvindingen die potentieel bieden. En die vertalingen ok daar kan nog aan gesleuteld worden. Ik denk zelf dat dat ook nog wel even duurt. Er zijn vele vertaal machines ook op internet en geen van alle is nog instaat om grammaticaal correct te vertalen. Als dat nou ook nog eens zo zou zijn zou het allemaal helemaal perfect zijn.

Want hieruit onstaat mischien ook wel het systeem dat iemand italiaans tegen je praat en dat het automatisch wordt vertaald via je pda en dan met een oortje hoor je het in het nederlands.
Woei

[zork]

Maar ik denk dat die grammatica niet zo'n probleem zal bieden, aangezien verkeersborden ed niet zo'n complexe structuren bevatten! Een flinke tekst kan voor een babbelvisje best wel wat moeite opleveren ja

[LiMy]

een pda zoals deze is idd goedkoper dan een GPS sysje, (dit is in principe hetzelfde, je zoekt de weg, en met informatie kom je er)

voordeel tov GPS: als een roadmap nog niet ge-updated is, heb je er toch geen last van, met GPS wel.

[PowerFlower]

GPS voor een PDA is denk ik ongeveer even duur als een cameraatje voor een PDA. Daar hoef je het niet voor te doen. Alleen: ik denk dat je met een GPS systeem niet het bordje "uitgang" zult vinden, of "hamburgers" (en dan wordt het toch weer Chinees eten!)

[Anoniem: 63396]

Volgens mij is het helemaal niet hetzelfde. GPS is makkelijk op de snelweg. Dit systeem is makkelijk in een gebouw.

[BOOTZ]

dit lijkt me idd erg handig. ben wel vaker in het buitenland, en met mijn talenkennis is dat niet altijd even handig enzo

[creative8500]

ROFL Ik vertel mijn zusje (11) net over deze vinding, en ze wilde meteen weten wat zo'n PDA kost - zo kan ze volgend jaar op de middelbare school foto's van proefwerken maken, om dan de vertaalfunctie eroverheen gooien

[Fairy]

Ik vraag me echter wel af of de resolutie van de cameraatjes in de PDA's wel groot genoeg is om de chinese tekens op een juiste manier te kunnen ontcijferen. De afbeelding laat een voldoende belichte foto zien maar bij de chinees is het meestal donker en op sommige plaatsen staan de borden in het donker.

Hoe zal dit opgelost gaan worden? flitsen lijkt me erg onhandig, nightvision met infrarood

[Anoniem: 58296]

Het zou natuurlijk handig werken als je bv insteld datje in china zit. Dan moet de pda enkel in chinees denken dus geen rekening houden met pakweg frans.

[Anoniem: 23081]

[een mod op Sign Translator]
Je ziet een flitspaal en je neemt een foto van dat ding

Recognition:
flitspaal

Translation:
smerig ding, verlaag uw snelheid om een boete te voorkomen...
[/een mod op Sign Translator]

[Who Am I?]

Haha kzie et al voor me lings van het stuur zo'n vertaalding, rechts van het stuur een GPS wegwijzer, op de stoel naast me een laptop aangesloten op intternet via de satelliet en als voorruit een Gigantisch plasmascherm aangesloten op de supercomp met rijsimulator.

Waar gaat dit heen man

[wacco]

Maak je daar maar geen zorgen over, daar zorgt de automatische piloot wel voor

[RobT]

Waarheen weet ik niet, maar hopelijk hebben ze daar wel spellingcorrectors die het behoorlijk doen.