/i/1340180126.png?f=imagenormal)
Het is een stille revolutie in slow-motion: de camerasensors in telefoons worden steeds groter én krijgen steeds meer pixels. Ga maar na: in 2018 was de Huawei P20 Pro de eerste telefoon met een grote camerasensor in jaren. De 40-megapixelsensor met een oppervlak van zo'n 40 vierkante millimeter maakte indruk met zijn goede foto's bij weinig licht.
Het was niet voor het eerst dat een telefoon een grote sensor meekreeg. Nokia had het al gedaan in 2012 met de 808 Pureview en in 2013 met de Lumia 1020, maar toen gebeurde er daarna niets. Nu wel: de sensorfabrikanten, vooral Sony en Samsung, bleken al snel brood te zien in de grotere camerasensors.
:strip_exif()/i/2001948629.jpeg?f=thumblarge)
sensor: Huawei P20 Pro uit 2018
Waar zelfs de duurste telefoons tot 2018 veelal camerasensors hadden van maximaal 25 vierkante millimeter, zijn alleen de allergoedkoopste telefoons nu uitgerust met zulke kleine sensors bij de primaire camera. Budgettelefoons houden het vaak bij een sensor van 30 vierkante millimeter, maar sommige high-end telefoons komen tot 70 vierkante millimeter.
Grotere sensors resulteren in een betere lichtopbrengst en dus betere foto's, dus dat klinkt als vooruitgang voor iedereen. De vraag is nu wat de volgende stappen zijn. Door te kijken naar de plannen van sensorfabrikanten en processorontwerpers kunnen we zien wat er gaat gebeuren met de hardware van smartphonecamera's. Wat gaan we kunnen met onze smartphones?
Dit verhaal gaat over de hardware, maar er is uiteraard nog een andere kant van dit verhaal: de software. Smartphones gebruiken steeds meer kunstmatige intelligentie in de cameramodus, waarbij wordt geprobeerd om het primaire onderwerp of de situatie te herkennen, en de instellingen en bewerkingen daarop af te stemmen. Op die manier kunnen zaken als de witbalans, scherpte, kleuren, textuur en ruis op het onderwerp of de situatie worden afgestemd. Daar hadden we het vorig jaar al over en dat heeft zich doorgezet, met onder meer Apples ProRAW-formaat voor fotografie en Googles 'portrait lighting' bij nabewerking van foto's. In een volgend verhaal duiken we daar dieper in. Algoritmes zullen ook een rol gaan spelen bij de stap naar camera's achter het scherm. Fotograferen door de schermlagen heen heeft zijn eigen grote uitdagingen bij beeldverwerking.
:strip_exif()/i/2004077938.jpeg?f=imagenormal)
Grotere sensors en kleinere pixels
Als de stap naar grotere sensors je niet is opgevallen, dan komt dat door de manier waarop smartphonemakers dat aanprijzen. De bekende sensor van 30 vierkante millimeter heet op de specsheet vaak een 1/2"-sensor van 48 megapixels. Dat fabrikanten dol zijn op zoveel mogelijk megapixels, blijkt ook uit die camerasensors: er is een 64-megapixelsensor van rond 38 vierkante millimeter en er zijn 108-megapixelsensors van tegen 70 vierkante millimeter.
:fill(white):strip_exif()/i/2004077934.jpeg?f=imagemedium)
Dat deze hoge resoluties mogelijk zijn op kleine sensors, komt door de verkleining van de pixels. Waar jarenlang een pixel minimaal 1,0 bij 1,0 micron groot was, is dat nu 0,8x0,8 micron of zelfs 0,7x0,7 micron. Daardoor passen er meer pixels op dezelfde sensor. Maar als pixels steeds dichter op elkaar gepropt worden, kan dat leiden tot problemen zoals crosstalk. Het signaal van een circuit kan dan ongewenst gemixt worden met dat van andere circuits, wat leidt tot verstoringen tussen naburige pixels. En dat kan weer een negatieve invloed hebben op de beeldkwaliteit, zoals ruis. Sensormakers hebben daarvoor een oplossing bedacht, deep trench isolation. Aangrenzende circuits worden dan geïsoleerd door een soort muur waardoor interferentie minder snel optreedt.
De volgende stap hierin is, logischerwijs, nóg kleinere pixels. Samsung richt zich op het maken van sensors met pixels van 0,6 micron groot, zo blijkt uit een presentatie op het eigen Investors Forum. Die moeten sensors met hogere resoluties mogelijk maken en dus sensors die informatie uit nog meer pixels combineren.
Smartphones hebben per definitie beperkte ruimte voor camera's. Niet alleen in de lengte en de breedte, maar ook in de dikte; daardoor is het niet mogelijk om veel grotere camera's te maken die in dezelfde telefoons passen. Hoe groter de sensor, hoe groter de lens die daarvoor geplaatst moet worden.
In plaats daarvan zijn kleinere pixels een goed alternatief. Daardoor zijn hogere resoluties mogelijk en daarmee de mogelijkheid om de informatie voor één pixel op de camera te verzamelen uit meer pixels. De huidige 48- en 64-megapixelsensors gebruiken vier pixels om de informatie te verzamelen voor 1 pixel, bij de 108-megapixelsensors gaat het al om negen pixels. Met hogere resoluties kan dat omhoog naar bijvoorbeeld 16 of 25 pixels voor 1 pixel op de foto. Het idee van dit concept is dat je de extra pixels dus niet gebruikt om foto's met een hogere resolutie te produceren, maar de fotokwaliteit op een kleinere resolutie verbetert, middels slimme algoritmen die ruis reduceren en scherpte accentueren.
Het hoge aantal pixels zorgt ook voor betere beeldkwaliteit bij gebruik van digitale zoom, omdat er veel meer pixels overblijven na het croppen dan bij sensors met een lage resolutie. De beeldkwaliteit per pixel neemt wel af, omdat er steeds minder pixels gecombineerd kunnen worden.
Voor het verwerken van al die pixels zijn ook krachtigere processors nodig. Camerasensors hebben wel eigen dram die als buffer kan dienen, zoals we vorig jaar bespraken, maar nog altijd is er geavanceerde software nodig om uit de beelden van de sensor een foto samen te stellen of een video te bakken. Het is niet voor niets dat een chipontwerper als Qualcomm daar veel aandacht aan besteedde tijdens de recente presentatie van de Snapdragon 888; de drievoudige image signal processor moet het mogelijk maken om 2,7 gigapixels aan informatie te verwerken per seconde. Dat is in de huidige Snapdragon 865 2,0 gigapixels per seconde.
Laten we even een rekenvoorbeeld nemen: een fictieve 192-megapixelsensor die informatie uit 16 pixels combineert voor 1 pixel op een 12-megapixelfoto, hoe groot zou die zijn?
Camerasensors met kleinere pixels | Samsung HM1 | Fictieve 192MP-sensor | Fictieve 300MP-sensor |
Pixelgrootte | 0,8x0,8 micron | 0,6x0,6 micron | 0,6x0,6 micron |
Bayer-layout voor 12MP-foto | 3x3 | 4x4 | 5x5 |
Pixelgrootte pixel op 12MP-foto | 2,4x2,4 micron | 2,4x2,4 micron | 3,0x3,0 micron |
Sensorresolutie | 12000x9000 pixels | 16000x12000 pixels | 20000x15000 pixels |
Fotoresolutie (12MP) | 4000x3000 pixels | 4000x3000 pixels | 4000x3000 pixels |
Sensoroppervlakte | 69 vierkante millimeter | 69 vierkante millimeter | 108 vierkante millimeter |
Met de nu al bestaande techniek om pixels te maken van 0,6 micron is het dus mogelijk om een 192-megapixelsensor te maken die precies even groot is als de Samsung HM1-sensor uit onder meer de Galaxy S20 Ultra. Een fictieve 300-megapixelsensor, waarbij 25 pixels de informatie voor 1 pixel leveren op een 12-megapixelfoto, is wel echt fors groter. Het is de vraag of bij dergelijke sensoren 12-megapixels dan nog wel de norm zijn. Het is bijvoorbeeld ook mogelijk om de beeldinformatie van 16 pixels te gebruiken om een 18,75-megapixelfoto te produceren.
De grote camerasensoren zijn vrijwel altijd voor de primaire camera. Die hoge resoluties zijn mede om 8k-video mogelijk te maken; 8k-video's zijn 7640x4320 pixels en dat is dus al 33 megapixels in 16:9-verhouding. Dat is de reden dat bijvoorbeeld de Samsung Galaxy S20 naast de primaire 12-megapixelcamera een 64-megapixelcamera heeft.
Niet iedereen is dol op de grote sensors met hoge resoluties. Apple heeft in al zijn telefoons van dit jaar louter 12-megapixelsensors gebruikt. De iPhone 12 Pro Max heeft weliswaar een grotere sensor - rond 35 vierkante millimeter - maar dat heeft Apple bereikt door grotere pixels te gebruiken van 1,8 micron. Google houdt al jaren vast aan dezelfde camerasensors voor zijn smartphones en bereikt daarmee ook goede resultaten. De hoge resoluties lijken op dit moment dus niet nodig om aan de top te blijven van de smartphonemarkt op cameragebied.
Andere ontwikkelingen
De primaire camera is belangrijk, maar een smartphone heeft doorgaans meer camera's. De telefoonmarkt lijkt het erover eens te zijn dat de tweede camera een camera met ultragroothoeklens moet zijn. Immers: vanaf de primaire camera kun je wel croppen om in te zoomen en met slimme upscalingalgoritmes ziet dat er beter uit dan voorheen. Maar uitzoomen vanaf de primaire camera kan alleen als er een camera met ultragroothoeklens is.
Als een telefoon twee cameralenzen aan de achterkant heeft, is die tweede dus vaak een camera met ultragroothoeklens, zoals op de Google Pixel 5 en Apple iPhone 12 mini. Ook op goedkopere telefoons zit zo'n lens vaak, want het hoeft niet duur te zijn: een kleine sensor met een wijde lens volstaat. Het ontwerp vereist vaak ook geen aanpassingen, want de brandpuntsafstand is altijd minder lang dan bij de primaire camera; een telefoon hoeft nooit dikker te worden vanwege de camera met ultragroothoeklens.
- Absolute aantallen
- Procenten
Van alle telefoons met twee camera's of meer, dit jaar alleen al meer dan 450 modellen, heeft meer dan 70 procent een camera met ultragroothoeklens. Dat was een paar jaar geleden wel anders, want toen waren camera's met ultragroothoeklenzen zeldzaam. LG begon ermee op de G5 uit 2015.
Voor wie zich afvraagt wat de overige camera's, los van tele, voor functies hebben: in veel gevallen gaat het om dieptesensors voor portretfoto's. Dat concept bestaat al sinds de HTC One M8 uit 2014 en is nu vooral in gebruik bij goedkope telefoons; het gaat namelijk om kleine sensors met lage resoluties en dat is goedkoop in te bouwen. De afgelopen anderhalf jaar zien we ook steeds meer macrocamera's.
Wat gaat er nog meer kunnen met smartphonecamera's? Een camera die sinds twee jaar in sommige telefoons opduikt is de time-of-flightsensor. Dat is een camera met infraroodzender; hij stuurt infraroodsignalen uit en meet hoe lang het duurt voor die terugkomen. Zo is het mogelijk de afstand tot objecten te meten.
Apple gebruikt dat in de iPhone 12 Pro-modellen voor scherpstellen in het donker en uiteraard zijn er grote beloftes van AR-toepassingen, maar al met al lijken veel smartphonemakers nog niet zeker wat ze aanmoeten met die tof-sensor. Oppo had hem twee jaar geleden op een telefoon, maar hij keerde daarna niet terug. Samsung zette hem op de Note 10+, S20+ en S20 Ultra, maar liet hem weer weg op de Note 20 Ultra om plaats te maken voor laserautofocus.
Behalve de tof-sensor kunnen smartphones wellicht ook gebruik gaan maken van DVS: Dynamic Vision Sensing. Dat is de techniek, waarbij een camera geen frames opslaat voor een foto of video, maar waarbij de software het verschil in lichtopbrengst per pixel doorgeeft. Dat maakt van DVS een relatief lichte toepassing met een korte vertraging. Daardoor is het mogelijk om snelbewegende objecten te registreren.
DVS kan in smartphones gebruikt worden voor bijvoorbeeld het registreren van commando's via handgebaren, een beetje zoals Google voor ogen had met de Soli-sensor in zijn Pixel 4-smartphone. Dan zou DVS aan de voorkant van telefoons moeten zitten. Soli werkt met een 60GHz-radar. Ook is het mogelijk om met DVS snel iemand te detecteren om bijvoorbeeld de camera een seintje te geven een foto te maken of een slow-motionvideo te starten. Die detectie verloopt via DVS sneller dan via een gewone camera.
Een andere nieuwe camera hebben we dit jaar al gezien: de infraroodcamera. Die zit op de OnePlus 8 Pro en de fabrikant noemt het een 'kleurenfiltercamera'. Die camera heeft geen of een beperkt infraroodfilter, waardoor hij bijvoorbeeld door bepaalde zaken heen kan kijken, zoals afstandsbedieningen. Wat je daaraan hebt? Samsung denkt aan voedsel sorteren of detecteren hoe vol een verpakking in de koelkast nog is.
:strip_exif()/i/2003591230.jpeg?f=imagenormal)
Wat er ook aan zit te komen is de 'microscoopcamera' in de aankomende Oppo Find X3 Pro. Het is nog afwachten of het gaat om een gimmick of een echt nuttige toevoeging, maar interessant is het op papier wel. Het is een 3-megapixelmacrocamera en die biedt tot 25x vergroting. Hij is bovendien voorzien van ledjes rondom de lens, om een object van heel dichtbij te kunnen belichten. Die moet zo dienen als een 'microscoop'. Macrocamera's zitten veel vaker op telefoons, maar het zou voor het eerst zijn dat een telefoon deze mate van vergroting biedt. Dat kan leuke beelden opleveren die je normaal niet met een smartphone kunt maken.
Tot slot
In de nabije toekomst lijkt de kans groot dat de 192-megapixelcamera's eraan zitten te komen. Deze was nu nog fictief, maar huidige isp's in socs hebben al ondersteuning voor het maken van foto's tot 200 megapixels. Dat is nutteloos als er geen camerasensors verschijnen die daar gebruik van maken.
Sowieso zijn camera's met hoge resoluties een blijvertje - al is het alleen maar voor de grotere sensors en de mogelijkheid om te filmen in 8k, iets dat komende jaren vermoedelijk alleen maar belangrijker zal worden. De kans dat een telefoon straks steevast meerdere grote camera's heeft met veel pixels lijkt groot, zeker als de camera met ultragroothoeklens in de toekomst wellicht ook in 8k moet kunnen filmen.
Daarnaast zijn er nog mogelijkheden voor wat we 'niche-camera's' zullen noemen. Macro-camera's waren er al en tof-sensors ook, maar er is een kans dat daar DVS, kleurenfiltercamera's en microscoopcamera's bij kunnen komen. Het is de vraag welke van die camera's een blijvertje zullen blijken.