Door Jeroen Horlings

Redacteur

Smartphonecamera wordt steeds beter

Hoe ai en deep learning beelden perfectioneren

07-12-2019 • 06:00

167

Singlepage-opmaak

Smartphone vs. traditionele camera

Compactcamera's zijn zo goed als uitgestorven en de voornaamste groei in de cameramarkt komt uit het high-end segment. Dslr's, maar vooral systeemcamera's, bieden extra's waar een smartphone technisch gezien niet aan kan tippen, zoals verwisselbare lenzen en een grote sensor. Daarmee zijn optische effecten mogelijk die met de kleine lens of lenzen van een smartphone simpelweg onmogelijk zijn. Hetzelfde geldt voor de grote sensor; deze biedt meer ruimte voor pixels en dus een beduidend hogere resolutie met meer scherpte en detail, een lager ruisniveau en een groter dynamisch bereik.

Simulatie via software

Een smartphone heeft echter een belangrijke troef: software. De optische effecten kunnen ook in software worden geëmuleerd. Het bekendste voorbeeld is kunstmatige achtergrondonscherpte in de portretstand. De meeste smartphones gebruiken hiervoor diepte-informatie van een tweede camera. De techniek zag het levenslicht in 2014 met de HTC M8, maar brak in 2016 definitief door toen smartphones steeds vaker meer dan één camera kregen. In het prille beginstadium was het effect nog wel van echt te onderscheiden, maar met iedere nieuwe camera-iteratie wordt het realistischer, met betere overgangen en met een realistisch ogend, gradueel verloop van de onscherpte naarmate de afstand toeneemt.

Ook andere lenseffecten kunnen via software worden nagemaakt. Denk bijvoorbeeld aan split focus diopter, levensechte bokeh en tilt-shift. In de Toy Story films werden dergelijke effecten softwarematig gecreëerd met behulp van virtuele lenzen. Voor Toy Story 4 werden Cooke-lenzen, inclusief hun imperfecties, nagebootst en vervolgens met behulp van raytracing toegepast. Datzelfde gebeurt in smartphones en games, al wordt daarvoor dan geen raytracing gebruikt, maar worden simpelweg de effecten nagebootst. Op die manier wordt het beperkte dynamisch bereik van de kleine sensor kunstmatig opgeschroefd. Door verschillende foto's te maken en de belichting samen te voegen, wordt in de portretmodus kunstmatige onscherpte toegevoegd en kun je op recente modellen in de nachtmodus gewoon uit de hand fotograferen met een lange sluitertijd.

Smartphones proberen natuurkundige kwaliteitsverschillen met 'echte' camera's dus via software te compenseren en niet zonder succes. Zelfs toen smartphones nog slechts een enkele lens hadden en dus niet, of althans niet echt, konden zoomen, fotografeerden consumenten al steeds vaker met hun telefoon, omdat die veel gemakkelijker mee te nemen en altijd bij de hand is. Een spiegelreflex- of systeemcamera bood een veel betere kwaliteit, maar dat was blijkbaar geen doorslaggevend argument.

Vervolgens zijn smartphones zich verder gaan ontwikkelen, waardoor de klassieke nadelen ten opzichte van reguliere camera's zijn afgenomen. Zo zijn de nieuwste smartphones voorzien van drie tot vijf lenzen met verschillende brandpuntsafstanden. Niet kunnen zoomen is daarmee verleden tijd, al kun je erover discussiëren of dit wel echte 'zoom' is. Dankzij de innovaties op sensor- en chipgebied is het nu mogelijk om enorme hoeveelheden megapixels op een kleine sensoroppervlakte te plaatsen zonder dat dit tot een enorme hoeveelheid elektronische ruis leidt. Door 48, 64 of 108 megapixels te gebruiken met quad-Bayer-filter op relatief grote sensors levert het opsplitsen van 1 naar 4 pixels geen extra ruis op als de resolutie wordt teruggerekend naar een lagere resolutie, zoals 12 of 27 megapixel. En door verschillende beelden te maken in plaats van een enkele foto en deze slim te combineren is het nu mogelijk om met enkele seconden uit de hand te fotograferen, iets wat tien jaar terug nog ondenkbaar was.

Er is nog een andere verklaring voor de flinke inhaalslag van smartphonecamera's in de afgelopen jaren. Dit jaar lijken er zo'n 15 miljoen camera's verkocht te gaan worden, tegenover 1,5 miljard smartphones in 2018. Dat betekent dat smartphonebedrijven inmiddels veel grotere r&d-afdelingen hebben dan de klassieke camerafabrikanten. Het is dus niet vreemd dat daar de meeste innovatie vandaan komt. Cameramakers hebben niet de schaal voor grote software- en elektronicateams zoals Apple en Google die hebben.

Echte camera's

Hoe zit het met de traditionele camera's? Ondanks de grote stappen bij smartphones blijft de kwaliteit van spiegelreflex- en systeemcamera's beter. Foto's zijn over het algemeen scherper en tonen meer details en minder ruis, voornamelijk dankzij de grote sensor. Bij dergelijke camera's zien we wel innovaties, zoals oogautofocus, maar zeker op het vlak van softwarematige beeldoptimalisatie gaat het veel langzamer dan bij smartphones. Bovendien zijn camerafabrikanten over het algemeen wat conservatief, zowel bij het doorvoeren van grote veranderingen als bij het optimaliseren van de gemaakte beelden. Daar zit een gedachte achter, want het uitgangspunt was tot nu toe altijd dat de gemaakte beelden er zo realistisch mogelijk uit moeten zien. Compactcamera's hadden er vroeger een handje van om de kleuren op te peppen en extra te verscherpen, zodat beelden uit de camera er goed uitzagen, maar bij spiegelreflex- en systeemcamera's was het uitgangspunt tot nu toe altijd dat foto's er zo puur mogelijk uit moesten zien.

Hierdoor wordt het verschil tussen de resultaten van smartphones en die van deze camera's steeds groter en moet je als camerabezitter steeds meer je best doen om dezelfde geoptimaliseerde resultaten te halen als met een smartphone. Voor gevorderde amateurs en professionals is dat geen probleem. Zij weten welk resultaat ze beogen en stellen de sluitertijd-, iso- en diafragmawaarde daarop af. En het liefst fotograferen ze in raw, waarmee niet alleen de best mogelijke beeldkwaliteit wordt opgeslagen, maar waarbij de bewerkingsruimte ook het grootst is. Voor minder ervaren fotografen wordt de lat steeds een stukje hoger gelegd. Een nachtfoto uit de hand maken is tegenwoordig met een smartphone een stukje gemakkelijker en sneller dan met een spiegelreflex, en op Instagram-niveau is het verschil soms amper zichtbaar. Toch werken camerafabrikanten ook aan het gebruik van kunstmatige intelligentie, voor de jpeg-beelden althans.

Sony camera AISony camera AI

Twee slides uit een Sony-presentatie over de rol van kunstmatige intelligentie in zijn camera's