Door Jeroen Horlings

Redacteur

Smartphonecamera wordt steeds beter

Hoe ai en deep learning beelden perfectioneren

Ai, machinelearning en deep fusion

Omdat de fysieke mogelijkheden voor de grootte van sensor en lens nu eenmaal beperkt zijn bij smartphones, zullen ze nooit de beeldkwaliteit van een professionele camera kunnen halen. Ook niet als de lenzen nóg lichtsterker worden en de sensors groter. Een logisch gevolg is dus dat fabrikanten dit 'oplossen' met behulp van software.

Een klassieke hdr op basis van drie foto's: onderbelicht, normaal en overbelicht

Hdr, ai, en deep fusion

Voor zaken als het optimaliseren van de belichting werkt dat in de basis heel simpel. Al sinds enkele jaren gebruiken smartphones hdr, high dynamic range, om de belichting van foto's te optimaliseren. In plaats van een enkele foto worden er dan op de achtergrond bijvoorbeeld drie foto's gemaakt: bracketing. Eén foto is standaard belicht, een tweede overbelicht en een derde onderbelicht. Vervolgens worden die foto's samengevoegd met behulp van tonemapping, met een meer evenredige belichting als resultaat. Je ziet daardoor meer details in donkere delen en hebt minder snel last van uitgebeten objecten, zoals de zon.

Tegelijk gebeurt er nog meer, want drie foto's maken in plaats van één leidt ook tot verschillen en mogelijke beeldfouten. Denk aan een iets afwijkende uitsnede doordat uit de hand wordt gefotografeerd, maar ook aan bewegende objecten, zoals voetgangers, fietsers en auto's. Bij de eerste hdr-implementaties werden de drie foto's letterlijk samengevoegd. De afwijkende uitsnede werd gecorrigeerd, waarbij de beelden werden uitgelijnd door ze als het ware over elkaar heen te leggen. Er was wel kans op 'ghosting', oftewel bewegende elementen die er vaag uitzagen. Niet alleen bij verkeer, maar ook bijvoorbeeld door bewegende boomtakken. Tegenwoordig worden de beelden meestal slimmer samengevoegd door er een als basis te kiezen en daarin details van de andere beelden te verwerken.

Bovendien beperken high-end smartphones zich niet meer tot drie beelden, maar wordt er een hele reeks vastgelegd. Als we deep fusion van de Apple 11-serie als voorbeeld nemen, dan gebeurt er het volgende. Iedere keer als je op de ontspanknop drukt, worden er negen foto's gemaakt. Vier daarvan worden al doorlopend vastgelegd voordat je op de knop drukt en na de hoofdfoto worden nogmaals vier extra foto's gemaakt: in totaal dus negen stuks. Google Pixels en high-end Huawei-toestellen doen iets vergelijkbaars. Na het maken van de foto worden de beelden geanalyseerd, waarbij op pixelniveau de beste details worden geselecteerd. De scherpte wordt vervolgens geoptimaliseerd en de ruis wordt lokaal gereduceerd. Daarbij wordt rekening gehouden met egale segmenten en delen met veel detail. Egale delen, zoals luchten, zien er daardoor al snel strak uit, terwijl details in andere delen behouden blijven.

De 'nachtmodus' werkt op een vergelijkbare manier bij high-end smartphones. Als de camera detecteert dat het donker is en er langere sluitertijden dan normaal nodig zijn, wordt de nachtmodus geactiveerd. De eerste vier foto's worden dan gemaakt met vrij korte sluitertijden. Die beelden zijn vrij donker, maar bevriezen wel beweging en tonen de werkelijke kleuren doordat er geen ruisreductie wordt toegepast. Daarna maakt de camera een foto met een vrij lange sluitertijd om voldoende details vast te leggen. Vervolgens worden de beelden met de meeste details van de reeks korte sluitertijden samengevoegd. Door het samenvoegen van verschillende beelden ontstaat op zichzelf al een synthetische foto met een langere sluitertijd.

Deze methode is vergelijkbaar met 'stacking', waarbij bijvoorbeeld bij astrofotografie honderden foto's worden samengevoegd, waarbij uiteindelijk een foto met een extreem lange sluitertijd ontstaat, inclusief stersporen. Deze synthetische foto wordt vervolgens weer slim gecombineerd met de daadwerkelijke foto met lange sluitertijd, die bijvoorbeeld vooral voor luchten en lichten wordt gebruikt. Google doet sinds de Pixel 3 iets vergelijkbaars, maar dan op basis van vijftien foto's die na het indrukken van de ontspanknop worden vastgelegd. De Pixels detecteren ook beweging van objecten en kiezen in dat geval een kortere sluitertijd.

Het idee om foto's samen te voegen om zo een langere sluitertijd te realiseren, lijkt wat op stacking zoals dat bij astrofotografie wordt toegepast

In het geval van Apples deep fusion worden de vers geschoten beelden in vier stappen geanalyseerd en bewerkt. In iedere stap wordt gekeken naar een bepaald detailniveau. Dat begint bij egale delen zoals de lucht of donkere schaduwpartijen, en in de laatste stap is aandacht voor delen met bijzonder veel detail, zoals gezichten, haar en bijvoorbeeld wollen truien. Ook kan selectief informatie worden gebruikt van de verschillende beelden, bijvoorbeeld scherpe details uit het ene beeld, en beeldinformatie over de kleuren en helderheid uit een ander. Deze slimme bewerking heeft ten opzichte van vroeger ten minste twee positieve effecten. Ten eerste wordt ruisreductie niet op de hele foto toegepast, waardoor over de hele linie details verdwijnen. Ten tweede zien foto's er door de lokale verscherping gedetailleerder uit dan je zou verwachten met de desbetreffende resolutie. In het geval van Apple werkt de nachtmodus overigens alleen in combinatie met de groothoeklens, ook in de telestand, waarbij dan simpelweg 2x digitaal wordt 'ingezoomd'.

Oversampling

Steeds meer smartphones worden voorzien van sensors met een enorm aantal megapixels: 48 tot 108. Dat begon allemaal met de Nokia 808 PureView in 2012 en de latere Lumia 1020. Het idee achter zo'n overdaad aan pixels is oversampling. De ruwe resolutie wordt niet voor het eindresultaat gebruikt, maar via pixelbinning teruggerekend naar een lagere resolutie. Smartphones met een 48-megapixelsensor, zoals de Xiaomi Mi A3, OnePlus 7 of Samsung A80, leveren uiteindelijk een 12-megapixelfoto af. Een factor vier verschil dus. Het is ook mogelijk om de volledige resolutie te gebruiken, maar de foto zal er minder goed uitzien dan de 12-megapixelvariant die optimaal is bewerkt. Het verkleinen van de resolutie door middel van pixelbinning resulteert namelijk in minder ruis en een betere belichting.

Exact dezelfde truc wordt toegepast bij de Isocell Bright HMX-sensor die in de Xiaomi Mi Note 10 te vinden is en medeontwikkeld werd door Samsung. De 108-megapixelresolutie levert een 27-megapixelfoto op. De methode verschilt overigens wel wat van het uitgangspunt dat Nokia destijds hanteerde. Weliswaar wordt er een, voor een smartphone, relatief grote sensor gebruikt, het gebruikte kleurenfilter is anders dan een traditioneel filter. Het 'quad-Bayer'-kleurenfilter gebruikt blokken van 2x2 pixels die dezelfde kleur licht opvangen, terwijl de blokken bij een traditioneel filter gespreid zijn (zie de afbeelding hieronder). Het voordeel van deze 'opstelling' is dat de sensor in één keer twee afzonderlijke foto's kan maken met verschillende belichtingen. Daardoor kan een hdr-foto worden gemaakt zonder deels bewogen delen. Het nadeel is dat de ruwe resolutie, 48 of 108 megapixel, minder details bevat dan je normaliter zou verwachten, eveneens door het afwijkende filter.

Quad-Bayer (links) versus regulier kleurenfilter. Beeld: Sony

Machinelearning en onderwerpherkenning

Tot slot gebruiken smartphones steeds meer kunstmatige intelligentie in de cameramodus, waarbij wordt geprobeerd om het primaire onderwerp of de situatie te herkennen, en de instellingen en bewerkingen daarop af te stemmen. Op die manier kunnen zaken als de witbalans, scherpte, kleuren, textuur en ruis op het onderwerp of de situatie worden afgestemd. Een gezicht of wollige trui wordt bijvoorbeeld extra verscherpt, op egale luchten en schaduwpartijen wordt beduidend meer ruisreductie toegepast en in de nachtstand wordt voorkomen dat foto's te geel worden door kunstlicht. Doordat er verschillende foto's worden gemaakt, vaak op verschillende brandpuntsafstanden, is het zelfs mogelijk een uitsnede te maken als een persoon in de horizontale stand wordt gefotografeerd. In de portretmodus wordt kunstmatige achtergrondonscherpte toegevoegd op basis van diepte-informatie, wat behalve met personen ook steeds beter werkt met huisdieren en objecten.


Google Pixel 7 Sony WH-1000XM5 Apple iPhone 14 Samsung Galaxy Watch5, 44mm Sonic Frontiers Samsung Galaxy Z Fold4 Insta360 X3 Nintendo Switch Lite

Tweakers is samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer onderdeel van DPG Media B.V.
Alle rechten voorbehouden © 1998 - 2022 Hosting door True

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee