Google brengt app uit om foto's te scannen

De app heet in Nederlandse stores overigens Fotoscan.

Er is al tijden een zee van slechte scan apps, deze vertrouwen helaas veelal op een enkele foto. Uiteraard zijn de kwaliteit van je telefooncamera en de lichtomstandigheden zeer belangrijk maar Google's nieuwe aanpak geeft mij al wat meer vertrouwen. Toch voor permanente opslag ga ik wel een avondje achter de echte scanner zitten hoor


Google Play Store:
https://play.google.com/s...droid.apps.photos.scanner

Apple AppStore
http://appsto.re/nl/QpiEfb.i

[Reactie gewijzigd door martijn86 op 15 november 2016 20:07]

Research paper met de achterliggende techniek waar deze app op gebaseerd is:

https://sites.google.com/site/obstructionfreephotography/

In dit onderzoek laten ze zien dat ze met deze techniek een occluded image kunnen processen naar een image waar de occludor (zoals een hek, of een glare/reflection) weg gehaald kan worden.

Hoe dit werkt in een versimpelde notendop voor glare removal:

Er wordt een foto gemaakt van de gehele foto, dit is de referentie foto. Daarna worden er foto's gemaakt op een aantal andere plekken, de glare die op de foto valt, zit bij die foto's op een andere plek.

Vervolgens gaan ze de foto's van verschillende plekken met elkaar alignen, zodat ze goed vergeleken kunnen worden. Dit doen ze door feature points uit de foto's te halen. Dit zijn punten op de foto waar er een groot verschil zit in contrast tussen pixels, deze zijn op alle foto's makkelijk te detecteren. Afhankelijk van de foto en het type bewerking, worden er zo een 500-4000 feature points geselecteerd.

Omdat alle deelfoto's vaak net onder een andere hoek genomen zijn, moeten ze opgesplitst worden in kleine delen. Deze delen zijn makkelijker met elkaar te mappen door ze een beetje te verschuiven en tilten.

Als dit allemaal aligned is tussen de deelfoto's (aan de hand van de feature points) worden alle delen vergeleken. Als de pixels in een deel hetzelfde zijn, is er geen glare, als er een groter stuk lichter is, is er waarschijnlijk sprake van glare. Op deze manier kunnen ze bepalen op welke plekken er een reflectie op gevallen is en kunnen ze dit teniet doen door de goede delen bij elkaar te kiezen.

Naast dat ze hebben laten zien dat dit werkt voor glare removal, werkt het dus ook voor het opschonen van occluded images (bijvoorbeeld voor het verwijderen van een hek voor een gebouwd, hiervoor moet je wel meer foto's van de scene maken, net zoals in deze foto app). Dit laatste kost nog wel veel meer processing power, maar wie weet komt dat ooit ook wel in een app terecht.

[Reactie gewijzigd door Reynouts op 15 november 2016 22:34]