Door Jeroen Horlings

Redacteur

Smartphonecamera wordt steeds beter

Hoe ai en deep learning beelden perfectioneren

Chip- en sensorontwikkelingen

Alle technieken op de vorige pagina hebben iets gemeen; ze verwerken veel meer data dan simpelweg het Bayer-grid uitlezen en comprimeren. Dit is mogelijk door ruim tien jaar ontwikkelingen in smartphoneprocessors. Het is deels te danken aan steeds kleinere productieprocedés, waardoor we nu over meer dan 10 miljard transistors in een smartphone-soc kunnen beschikken.

Maar de grootste revolutie heeft misschien wel plaatsgevonden in de manier waarop we die transistors inzetten. In tegenstelling tot bijvoorbeeld AMD’s Matisse-die, waarop elke transistor wordt ingezet om acht zo snel mogelijke Zen2 cpu-cores mogelijk te maken, zijn smartphone-soc's veel diverser. De naam zegt het ook al: system-on-a-chip, wat duidt op een compleet computersysteem in plaats van enkel een cpu. Naast twee of drie verschillende formaten cpu-kernen zijn er namelijk ook gpu's, isp's, dsp's en sinds kort ook npu's aanwezig, die respectievelijk worden ingezet om 3d-beelden, sensordata, audiodata en neurale data te bewerken. En hoewel deze niet allemaal in eerste instantie zijn ontwikkeld om foto’s en video’s mee te verbeteren, gaan fabrikanten ze daar wel voor gebruiken.

Sensorontwikkelingen

Enigszins onbekend is het feit dat beeldsensors net als processors op cmos-processen worden gemaakt. Hierdoor zou je misschien denken dat Moore’s law ook op sensors van toepassing is. Dat is helaas niet het geval. Waar processors primair uit transistors bestaan, is bij beeldsensors de fotogevoelige laag het grootste onderdeel en die heeft weinig baat bij de verbeterde proceseigenschappen. In de praktijk worden dus relatief oude processen ingezet voor de productie van camerasensors, omdat deze een stuk goedkoper zijn dan de splinternieuwe finfet-processen die de 14nm- en 10nm-nodes gebruiken, laat staan euv, of extreme ultraviolet lithography.

Dat moet ook wel, want een fullframesensor meet 36 bij 24 millimeter (864mm²) en zou daarmee onbetaalbaar zijn op een modern proces. Ter vergelijking: de Nvidia GV100 is 815mm² en de Intel XCC-die is 694mm². Volledig werkende chips van beide kosten meer dan 10.000 euro. Bovendien kun je bij een cpu of gpu nog een paar cores uitschakelen als er fouten in zitten, maar niemand accepteert een fotosensor met dode pixels. In de praktijk worden moderne sensors dus op 65nm- tot 28nm-nodes geproduceerd. Samsung heeft echter in oktober op IEDM 2019 een presentatie gegeven waarin het aangaf voor zijn high-end smartphonesensors met 100+ megapixels onderzoek te doen naar het gebruik van 14nm-finfet. Ook fd-soi wordt onderzocht voor zowel de sensors zelf als de 'logica' daarachter.

Deze procedés zijn belangrijk, want high-end sensors bestaan al lang niet meer uit slechts één chip. Tot een jaar of tien geleden hadden sensors niet echt een optimaal ontwerp doordat slechts een gedeelte van de beschikbare oppervlakte als fotogevoelig vlak werd ingericht en daarmee licht kon opvangen. De rest daaromheen was aansturende logica. Wel werden microlenzen gebruikt om zoveel mogelijk licht op de fotogevoelige laag te krijgen, maar dat lukte nooit helemaal. Op grote fullframesensors met tientallen vierkante micrometers oppervlakte per pixels was dat geen heel groot probleem, maar voor kleine smartphonesensors nam het een zeer significant deel van de toch al kleine sensoroppervlakte in beslag.

Sony introduceerde daarop een nieuwe reeks sensors onder de Exmor R-merknaam. Niet de voorkant van de chip, waar tot dan toe ook alle aansturende logica zit, maar de achterkant werd belicht. De fotogevoelige laag werd dus verplaatst naar de achterkant, lees: onderkant, van de chip. Dit werd een chip die we nu kennen als backside illuminated (bsi-) sensor en werd al snel de standaard voor kleine sensors dankzij de hogere lichtgevoeligheid en lagere ruis.

Het verschil tussen een traditionele cmos-sensor en een bsi-cmos-sensor (beeld: Sony)

Meerdere beelden en dram

Een andere belangrijke ontwikkeling van de afgelopen jaren, die nu handig van pas komt voor het maken en verwerken van verschillende foto's voor een beter eindresultaat, is de integratie van dram-buffergeheugen in de sensor. De oorspronkelijke aanleiding bestond uit camera's als de Phantom v2640, die 12.500 frames per seconde in 1080p-resolutie kan vastleggen. De v2640 kan dit maar liefst 7,9 seconden lang, wat neerkomt op honderdduizend frames, waarvan het afspelen op 24fps meer dan een uur in beslag zou nemen. De truc om die gigantische hoeveelheid data te verwerken, is relatief simpel. De camera heeft 72 tot 288GB ram aan boord. De data wordt dus niet meteen verwerkt, opgepoetst of gecodeerd, maar in een gigantische rambuffer bewaard om vervolgens op een computer verder te worden behandeld.

Smartphonefabrikanten zagen een kans zich te onderscheiden met een ingebouwde slowmotionmodus en ontwikkelden een sensor die uit drie lagen bestond: een fotogevoelige bsi-sensor, een dram-die met werkgeheugen en een logic-die met alle structuren die nodig waren om de analoge data verwerkbaar te maken voor de soc. Dit heet ook wel stacked sensor en opnieuw was Sony de eerste fabrikant die hiermee kwam. Sindsdien bieden de meeste smartphones een fraaie slowmotionfunctie, waarbij het aantal frames per seconde bij de topmodellen oploopt tot 1000 of meer. Het voordeel van deze ontwikkeling was dat de dram-buffer voor slow motion voor meer doeleinden kan worden ingezet. Er kan gewoon een bepaalde hoeveelheid sensordata van willekeurige samenstelling in worden gegooid. De enige beperking is de uitleessnelheid van de sensor en die is vaak vele malen hoger dan wat de processor zelf aankan. Dat is precies wat al die hdr- en deepfusiontechnieken nodig hebben. Ze zijn allemaal gebaseerd op het combineren van beelden, soms van gelijke aard, maar soms ook met verschillende sluitertijden of isostanden.

Doorsnede van een stacked sensor

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee