Een nieuwe dimensie voor smartphones - De opkomst van tof-sensors

tof

Digitimes meldde eerder deze week dat Android-fabrikanten kijken naar de mogelijkheid om dTOF-sensors in hun telefoons te zetten: direct time-of-flight sensors. De goed ingevoerde smartphonenerd zal denken: huh? Zet Samsung sinds twee jaar niet af en toe tof-sensors op hun telefoons? En dat is ook zo. Maar dat zijn ándere tof-sensors dan die Digitimes hier bedoelt.

Een nieuw soort sensor in een telefoon - dat vinden we natuurlijk altijd reuze interessant. En dus is het hoog tijd om dieper in deze ontwikkeling te duiken: wat zijn tof-sensors, welke vormen zijn er en wat kunnen we ermee?

Tof-sensors meten de afstand tot objecten in beeld door time-of-flight, letterlijk vliegtijd. Dat gebeurt in de basis door een infraroodsignaal uit te sturen en op te vangen. Door signalen in veel verschillende richtingen uit te zenden en dat vaak te doen, kan software met die informatie een 3d-beeld opbouwen van de omgeving. Vervolgens is dat 3d-beeld weer te gebruiken voor andere toepassingen.

Tof-sensors zijn nu in gebruik voor twee zaken: het helpen van een reguliere camera door bijvoorbeeld in het donker te focussen en voor augmented reality, het plaatsen van virtuele objecten in het camerabeeld van de echte wereld.

Indirecte tof-sensors

De berekening van diepte is mogelijk, doordat er een constante is: de lichtsnelheid. Die is bijna 300.000 kilometer per seconde en dus doet een infraroodsignaal er 330 picoseconden over om een meter ver te komen - en uiteraard 330 picoseconden om weer terug te komen. Dat is vrij kort: een miljard picoseconden staat gelijk aan een milliseconde.

Het vereist dat tof-sensors tijd ongelofelijk nauwkeurig kunnen berekenen, maar dan heb je ook wat: duurt een signaal er 1320 picoseconden over om terug te komen? Dan is het object twee meter ver weg. Nu is 1320 picoseconden een ongelofelijke kleine hoeveelheid tijd.

Er zijn twee manieren om de metingen te verrichten. De tof-sensor die in gebruik is bij Android-telefoons tot nu toe is de indirecte tof-sensor, of iTOF. Die zit onder meer in de Oppo RX17 Pro, Honor View 20 van Huawei, Samsung Galaxy S10 5G, Note 10+ en S20-telefoons.

Die tof-sensors gebruiken een techniek die faseverschuiving meet. Dat gebeurt door een cmos-sensor met pixels van rond 10 micron groot - veel grotere pixels met een veel lagere resolutie dan gewone camera's - te gebruiken met twee condensators. Een kloksignaal genereert een blokgolf en stuurt zo een lichtbron aan, een infraroodzender. De condensatoren ontvangen met dezelfde frequentie het kloksignaal als de lichtbron. Licht van de infraroodzender reflecteert op een object en bereikt daarna de pixel, en wordt als lading in de condensator opgeslagen. Het verschil in ladingen van de condensatoren komt overeen met de verschuiving in fase van de blokgolf, door de afstand die het licht heeft afgelegd van lichtbron naar het object en terug.

De directe tof-sensor

De andere manier is de directe tof-sensor, dTOF. Dat is wat Apple LiDAR noemt in zijn iPad Pro en iPhone 12 Pro. Het werkt met een sensor van Sony met een SPAD-array. Dat lijkt op een traditionele cmos-sensor, maar kan een enkele foton waarnemen.

De Apple-apparaten hebben een laser verdeeld over een grid van 9x64 pixels - een vertical cavity surface-emitting lasers of VCSEL - en elk punt op de grid correspondeert met een pixel op de SPAD-array; de hardware bepaalt aan de hand van hoe lang de straal onderweg is geweest hoe ver een object van de camera verwijderd is. Daarom heet het direct - het leidt de time-of-flight niet af aan iets anders, maar het meet die direct.

Het voordeel van een directe tof-sensor is dat er minder software achteraf nodig is: de interpretatie van de input is minder moeilijk. De hardware maken bleek dan wél weer lastiger, want de iPad Pro van vorig jaar was het eerste consumentenproduct met zo'n directe tof-sensor aan boord.

Bron: SystemPlus

Diepte meten op andere manieren

Software interpreteert hoe de reflectie van puntjes eruitziet

Er zijn meer manieren om diepte te meten met een camera dan time-of-flight. Neem nu 3d-gezichtsherkenning, bekend geworden van Apples Face ID op de iPhone X en nieuwer. Dat is geen time-of-flight, maar werkt met structured light: een VCSEL projecteert 30.000 puntjes en een camera kijkt hoe de reflectie van die puntjes terugkomen. Aan de hand van de vervorming kan de software berekenen wat de vorm is van het oppervlak. Dat gebruikt Apple bij Face ID om de vorm van gezichtskenmerken in kaart te brengen en te gebruiken voor authenticatie.

Die techniek leunt meer op software dan tof-sensors. Immers, de software interpreteert het beeld, maar de inschatting van diepte is niet meer dan een inschatting, geen meting. Met de interpretatie van het beeld komt er een 3d-vorm van het gezicht in beeld. Als die matcht met de opgeslagen vorm van het gezicht, dan ontgrendelt de telefoon. De 3d-gezichtsherkenning van andere merken, nog maar beperkt in gebruik, werken net zo.

Een oudere vorm van 3d waarnemen met 2d-camera's is stereobeeld: een camerasysteem gebruikt dan twee camera's en bekijkt in hoeverre een object is verschoven ten opzichte van de achtergrond om de afstand te bepalen. Dit is een veel grovere methode, maar werkt natuurlijk wel.

Dat kan natuurlijk met een secundaire camera die wel in gebruik is, zoals een camera met telelens. Veel goedkopere telefoons gebruiken een aparte, kleine en goedkope sensor daarvoor, iets dat vaak als 'dieptesensor' op de specsheet verschijnt. Ook kan het met een enkele camera: de software gebruikt dan de handbewegingen van gebruikers om meerdere beelden op te slaan en te vergelijken.

Portretmodus op de Poco F2 Pro, voorzien van kleine 'gewone' camera als dieptesensor

Toepassingen van diepte

Het is tekenend voor de tijdsgeest dat het idee van dieptemetingen op smartphones begon met 3D in 2011, met de LG Optimus 3D en HTC Evo 3D. Die konden 3d-beeldmateriaal opnemen dat je terug kon zien op het stereoscopische 3d-scherm van die apparaten. De 3d-telefoons verdwenen samen met de rest van de 3d-hype al snel naar de graftombe van gimmicks.

Maar HTC kwam in 2014 met een nieuwe vorm: de One M8 beschikte over Duo Camera. Naast de primaire camera heeft de telefoon een monochrome 2-megapixelsensor om diepte op te slaan. HTC gebruikt die voor diverse functies, zoals het verleggen van de focus achteraf en het kunnen selecteren van objecten in een foto om bijvoorbeeld apart bewerkingen op te doen met kleur of contrast. Ook maakt dit het kopiëren en plakken van objecten en personen uit de ene foto mogelijk, om ze in een andere foto te zetten.

Dat werkte allemaal wel, maar net niet helemaal lekker, zo bleek uit de review. De volgende stap zette Huawei, een grote vernieuwer op smartphonecameragebied van de afgelopen jaren. Die gebruikte het om bij het nemen van de foto al het 'diafragma' te wijzigen in de Honor 6 Plus.

Apple bedacht met de iPhone 7 Plus de functie die wellicht het bekendste is geworden: de portretmodus, om achter objecten of mensen de achtergrond te vervagen, zoals een dslr zou doen. Die functie verscheen daarna op vrijwel elke andere smartphone.

Vorig jaar kwam Apple ook met een toepassing voor de tof-sensor van de iPhone 12 Pro: autofocus in het donker. Door de informatie van de tof-sensor te gebruiken, stellen de camera's scherp in het donker. Omdat het werkt met infrarood, is dat niet zichtbaar met het blote oog. Dit is natuurlijk geen nieuw idee: laser-autofocus werkt precies zo en zit sinds de LG G3 uit 2013 op sommige telefoons.

Dat maakt natuurlijk ook portretfoto's in het donker mogelijk: de tof-sensor kan daarbij de info verzamelen over welk gedeelte van de foto een object of persoon in de voorgrond is, terwijl de primaire camera de daadwerkelijke foto neemt.

Andere toepassingen zijn uiteraard het domein van augmented reality. Een tof-sensor kan de omgeving scannen en vervolgens kan de software die scan gebruiken om virtuele elementen daaroverheen te leggen. Onder meer TikTok en Snapchat gebruiken dat. In het eerste TikTok-effect dat gebruik maakt van de tof-sensor is te zien dat confetti voor en achter de persoon langs gaat en op de grond en op de bank blijven liggen.

Google en Apple maken augmented reality mogelijk met en ARCore en ARKit en doen dat al jaren. Behalve leuke video-effecten op sociale media zijn de daadwerkelijke nuttige toepassingen nog gering. Natuurlijk zijn er apps om zaken op te meten, meubels virtueel in je kamer te zetten en om spelletjes te spelen, maar veel verder dan dat is het ecosysteem nog niet ontwikkeld.

Effect op TikTok dat gebruik maakt van tof-sensor iPhone 12 Pro

Tot slot

Tof-sensors vormen een toffe techniek die nog op zoek is naar een probleem om op te lossen. Focussen in het donker? Kon al. Betere augmented reality? Dat is vooralsnog interessant voor een relatief kleine groep mensen.

De plaatsing van de tof-sensor in de iPad Pro en de iPhone 12 Pro zorgt wel voor vernieuwde aandacht voor de scanner. Samsung zette hem bijvoorbeeld wel op de Galaxy S20 Ultra, niet op de nieuwere Note 20 Ultra - maar als Apple iets doet, gaat elke Android-fabrikant ernaar kijken.

Bovendien heeft Apple een nieuwe variant van een tof-sensor gebruikt: een directe time-of-flightsensor. De benodigde componenten zijn dus in massaproductie en komen vermoedelijk snel ook voor andere bedrijven beschikbaar.

Maar niet alles dat Apple introduceert blijft ook plakken: 3D Touch heeft het niet gehaald en ook Face ID kan op weinig navolging rekenen, ook al houdt Apple er nog altijd aan vast. De komende jaren zijn een soort open sollicitatie: toffe hardware zoekt nuttige toepassing waar veel mensen wat aan hebben. Wie biedt?

Reacties (20)

[RayNbow]

Een oudere vorm van 3d waarnemen met 2d-camera's is stereobeeld: een camerasysteem gebruikt dan twee camera's en bekijkt in hoeverre een object is verschoven ten opzichte van de achtergrond om de afstand te bepalen. Dit is een veel grovere methode, maar werkt natuurlijk wel.

In welk opzicht is het gebruik van twee 2D-beelden een grovere methode? Dit is namelijk een van de manieren hoe wij normaal gesproken diepte ervaren. Als je de relatieve oriëntering tussen de twee camera's kent en je neemt een bepaald voorwerp in beide beelden waar, dan beschik je over twee lichtstralen die elkaar horen te snijden. Je kunt dus dan ook de 3D-positie ten opzichte van de twee camera's bepalen.

[gaskabouter]

Dat is niet helemaal waar hoor. Je ogen stellen scherp op verschillende dekken van een object en maken op die manier een 3D schatting. Zeg maar het verband tussen afstand en de spanning op je lens die je nodig hebt om scherp te stellen.

Mensen die helemaal geen diepte zien, zoals ik, doen het 2d zoals jij beschrijft. Geen handicap doorgaans maar piloot kan je er niet mee worden.

Edit het is overigens wel hoe het "Timmermansoog" werkt. Iets relateren waarvan je de grootte en afstand ongeveer kent.

[Reactie gewijzigd door gaskabouter op 24 juli 2024 00:10]

[RayNbow]

Dat is niet helemaal waar hoor. Je ogen stellen scherp op verschillende dekken van een object en maken op die manier een 3D schatting. Zeg maar het verband tussen afstand en de spanning op je lens die je nodig hebt om scherp te stellen.

Dat is om scherp te stellen, en dat is ook een clue voor diepte. Een andere clue voor diepte is hoeveelheid detail: van voorwerpen die dichtbij staan zul je meer details zien dan een voorwerp dat verder weg staat. Al deze clues, inclusief de informatie uit twee beelden (linker- en rechteroog), worden door je hersenen gebruikt om diepte te ervaren.

Mensen die helemaal geen diepte zien, zoals ik, doen het 2d zoals jij beschrijft.

Misschien was mijn beschrijving niet geheel duidelijk, maar ik poogde te beschrijven hoe men diepte ziet m.b.v. twee 2D-beelden. Als ik achter een stereoscherm zit en ik zet een 3D-bril op, dan krijgt m'n linkeroog een ander 2D-beeld binnen dan m'n rechteroog. M'n hersenen proberen vervolgens overeenkomstige punten tussen de twee verschillende beelden die m'n ogen zien te vinden en op basis van de x-parallax diepte te reconstrueren.

[gaskabouter]

Nee je gebruikt het scherp stellen om diepte te bepalen. Je oog meet letterlijk hoever iets ongeveer weg is. Dat is ook de reden dat sommige mensen misselijk worden van 2d gesimuleerde 3d beelden. Maar zoals gezegd het effect is zwak dus hebben niet veel mensen er last van een is het tijdelijk ITT zeeziekte bijvoorbeeld

[RayNbow]

Nee je gebruikt het scherp stellen om diepte te bepalen.

Nee, dat is een van de mogelijke clues. Het scherp stellen is in de eerste plaats nodig omdat onze ogen geen pinhole camera's zijn. Als een pupil wijd openstaat, dan zijn alleen voorwerpen op een bepaalde afstand scherp.

Als het scherp stellen de enige clue zou zijn geweest, zou het betekenen dat ik geen diepte kan zien in een stereoscopisch beeld.

Zie verder ook dit stuk uit een dictaat over fotogrammetrie:

5 Stereoscopisch waarnemen en meten
5.1 Natuurlijk ruimtelijk zien

Voor het visueel waarnemen van diepte en het schatten van afstanden heeft de mens een groot aantal methoden ontwikkeld. Deze onderscheiden we in monoscopische en stereoscopische methoden. Ook door monoscopische waarneming (dus met één oog) zijn er al veel aanwijzingen te vinden waaruit iets over de diepte van de waargenomen scene valt af te leiden. Hierbij valt te denken aan de relatieve afmetingen van objecten, de gedeeltelijke verdekking van objecten door andere objecten (die dus dichterbij staan), schaduwen en verschillen in focussering van het oog om objecten op verschillende afstanden scherp te kunnen zien.

Deze monoscopische methoden geven een globale indruk van de diepte en zijn vooral geschikt voor het inschatten van relatieve afstanden. Voor nauwkeurigere schattingen is stereoscopische waarneming noodzakelijk (figuur 5.1). Hierbij zijn beide ogen gefocusseerd op hetzelfde punt (het fixatiepunt). De optische assen van de ogen convergeren naar dat punt en snijden elkaar onder de zgn. parallactische hoek. In figuur 5.1 worden de objecten A en B met verschillende parallactische hoeken waargenomen. De hersens associeren deze hoeken en hoekverschillen automatisch en onbewust met afstanden en afstandsverschillen.

Het vermogen van de mens om veranderingen in een parallactische hoek, en daarmee in een afstand, waar te nemen is verrassend goed. De resolutie van deze hoekwaarneming varieert van persoon tot persoon, maar ligt voor de meesten bij ongeveer 5 boogseconden. Een enkeling heeft zelfs een oplossend vermogen van 1 boogseconde. Dit betekent dat de stereoscopie zeer waardevol is voor een nauwkeurige dieptemeting.

[gaskabouter]

Je pupil heeft vrijwel niets met scherpte te maken. Daar heb je een lens voor. En het verhaal hierboven is precies wat ik zeg.

[RayNbow]

Tuurlijk heeft de pupil wel iets met scherpte te maken. Het is in feite een diafragma en bepaalt je DoF en hoeveel licht er binnenkomt. Mijn punt was dat omdat je ogen geen pinhole camera's zijn, dat je dus een lens nodig hebt, niet dat je lens nodig hebt om diepte te kunnen bepalen.

Verder geeft het geciteerde verhaal hierboven juist aan dat monoscopisch scherpstellen slechts een van de manieren zijn om diepte te kunnen inschatten. Het verhaal hierboven geeft ook aan dat stereoscopisch kijken (dus diepte afleiden uit de twee verschillende 2D beelden van je twee verschillende ogen) juist de manier is om nauwkeurig diepte te kunnen zien.

[Gumball]

De ToF sensor op mijn Huawei p30 pro doet.... Helemaal niks. De portretten zien er prima uit hoor, maar als ik de ToF sensor afdek met mijn vinger, ziet de foto er exact gelijk uit.

[Cihan1988]

Zelfde zag ik dus bij de Iphone 12 pro max

[Cihan1988]

Heb toevallig laatst nog een video gekeken waarin fotos worden vergeleken die met en zonder tof sensors zijn gemaakt. Het ging om een iphone 12 pro max. Bizar genoeg waren er amper/geen verschillen in de fotos. Maar als je de verkoop praatjes van fabrikanten moet geloven zijn deze sensors van groot belang bij het diepte herkenning van de cameras.

[Reactie gewijzigd door Cihan1988 op 24 juli 2024 00:10]

[SpiceWorm]

Holografische / volumetrische video lijkt mij mogelijk met deze sensoren.

Er zijn talloze fabrikanten die een soort van holografisch display aanbieden (bijv het bedrijf looking glass).

[Reactie gewijzigd door SpiceWorm op 24 juli 2024 00:10]

[GekkePrutser]

En inmiddels worden ze er alweer uitgehaald. De S20 Ultra had hem nog, de Note 20 Ultra al niet meer. Die heeft weer een 'ouderwetse' laser autofocus. Best jammer want dit is mooie techniek.

[xsive]

The first mobile phone to employ such technology is the LG G3, released in early 2014.

En mijn budget "flagship" LG G8S heeft het ook en biedt er air gestures mee, niet meer dan een gimmick overigens.

[dwilmer]

Niet helemaal on-topic, maar de berekeningen met lichtsnelheid zitten er een factor 10 naast: licht legt een meter af in ongeveer 3.3 nanoseconden, niet 0.33ns (of 330 picoseconden).

[Mushroomician]

De berekening van diepte is mogelijk, doordat er een constante is: de lichtsnelheid. Die is bijna 300.000 kilometer per seconde en dus doet een infraroodsignaal er 330 picoseconden over om een meter ver te komen - en uiteraard 330 picoseconden om weer terug te komen.

Correctie: Niemand weet wat de snelheid van het licht is in één richting. We weten alleen de snelheid heen én terug (roundtrip), wat betekent dat de heenreis mogelijk langer duurt dan de terugreis, of andersom.
In de praktijk maakt dat helemaal niets uit. De effecten zijn onmeetbaar. Deze roundtrip snelheid is ook wat telt voor de werking van de sensoren.
Leesvoer: https://en.m.wikipedia.org/wiki/One-way_speed_of_light

[Reactie gewijzigd door Mushroomician op 24 juli 2024 00:10]

[Ferux]

HTC One M8 had ook al een portretmodus, da's geen uitvinding van Apple. M'n Samsung S6 had dat ook al eerder met 1 camera en dat werkte tamelijk goed.

[Generaal Pep]

Flagg, dit is hartstikke gave technologie man! Super interessant om over te lezen!

[teacup]

Tof-sensors vormen een toffe techniek die nog op zoek is naar een probleem om op te lossen.

Dat de techniek gaaf is, dat kan ik wel met je eens zijn. Als die komt met een toepassing die een enabler is om met die smartphone iets nieuws te doen dan is het mij wel vroeg genoeg.

Het grenst aan whataboutism om met andere functionaliteiten te komen. Maar waarom niet al beschikbare sensortechniek en bijbehorende toepassingen toevoegen? En waarom is die voor de hand liggende stap nog niet gezet?

Het zou heel handig kunnen zijn, en de toepassingen ervoor zullen als paddestoelen uit de grond komen. Maak van je smartphone een half weerstation, of een probe om luchtkwaliteit mee te meten, voor velen actueel genoeg. Luchtvochtigheid, luchtdruk, temperatuur zouden in de package van een smartphone zijn weg te werken. Smartwatches gaan nu al op deze ontwikkeling de smartphone voor. Er zijn al wel niche producten, en sommige merken stoeien (Honor) ermee maar maak zoiets nu eens mainstream en meer betaalbaar. Moedigt gelijk de ontwikkeling van andere sensortechniek aan.

Een nieuw leven voor de smartphone is om naast of in plaats van de smartwatch de rol van een draagbare sensorarray aan te nemen. Waarom die ontwikkeling er niet komt? Vinden te weinig mensen dat interessant? Misschien. Al denk ik dat die interesse met de toepassingen er vanzelf wel komt. Misschien verkleinen al die sensoren onze afhankelijkheid van het internet, omdat de smartphone zijn informatie zelf wel verzameld. Een sensor om AR te stutten vergroot daarentegen die afhankelijkheid van webtoepassingen weer, want de content moet ergens vandaan komen. Gevalletje business model?

[koffieprutser]

Mwah, je smartphone heeft al een barometer waarschijnlijk. Probleem met het gebruik van de telefoon als weerstation is dat je hem in je zak hebt of onder je kussen of in je zweterige handjes. Die weerstations die je kan kopen voor thuis hebben niet voor niets een sensor die je buiten plaatst.