Digitimes: alle iPhones in 2021 hebben tof-sensor

Apple zou al zijn iPhones in 2021 willen voorzien van een time-of-flight-sensor aan de achterkant, naast een TrueDepth-camera aan de voorkant. Dat claimt de Taiwanese krant Digitimes. Apple zou een driejarig contract hebben gesloten met cameramaker Sony.

Behalve Apple willen fabrikanten van Android-telefoons ook meer tof-sensors gaan gebruiken, meldt Digitimes. Apple heeft de tof-sensor op zijn iPhone 12 Pro-modellen gezet en op de iPad Pro van vorig jaar. Samsung, Huawei en OPPO gebruikten ook al tof-sensors op sommige telefoons, maar een dergelijke sensor zit nu nog op een kleine minderheid van de smartphones. Apple duidt zijn tof-sensors aan als lidar. Een tof-sensor zendt infraroodsignalen uit en een infraroodcamera vangt de teruggekaatste infraroodsignalen weer op, waarna software de afstand tot objecten berekent aan de hand van de tijd die verstreken is tussen het versturen en ontvangen van het signaal.

Het ligt voor de hand dat Apple een AR-product ook uitrust met een tof-sensor om de omgeving te scannen. Zo'n AR-bril of -headset zou in 2021 uitkomen. Apple is al jaren bezig met augmented reality. Zo zit ARKit op alle iPhones en iPads die iOS 13 of hoger kunnen draaien. De TrueDepth-camera van Face ID, die op veel Apple-telefoons zit sinds de iPhone X in 2017, is geen tof-sensor; het ziet diepte af aan de vorm van de geprojecteerde infraroodpuntjes op iemands gezicht, maar meet niet de time-of-flight.

Er gaan al jaren geruchten over een AR-headset of AR-bril van Apple. De eerste versie zou voor locatiegegevens en internetverbinding leunen op de iPhone van een gebruiker. Apple zegt al jaren veel interesse te hebben in augmented reality, maar maakte tot nu toe alleen software daarvoor.

IPhone 12 Pro met tof-sensor

Reacties (51)

Hier wat meer informatie van Samsung (in de S20+ /Ultra zit namelijk al een tof-sensor @arnoudwokke ):

What is ToF camera technology on Galaxy and how does it work?

The DepthVision Camera is a Time of Flight (ToF) camera on newer Galaxy phones including Galaxy S20+ and S20 Ultra that can judge depth and distance to take your photography to new levels.

It uses the known speed of light to measure distance, effectively counting the amount of time it takes for a reflected beam of light to return to the camera sensor. This smartphone ToF Camera is used with Live focus video and Quick Measure, letting you add more creative flair and get information in a way you've never seen before.

In the case of Live focus video, you're now able to blur out the background in real time as you take a video, adding a brand new vibe to your movies. You can even swap between foreground and background focus with ease, to switch up the focus with a tap.

With Quick Measure, the camera acts as a 3D camera, judging width, height, area, volume, and more when you put an object in frame. Quick Measure is a preloaded app, so open it up and put an object in focus to get a real-time measurement right on your screen.

Bron: https://www.samsung.com/global/galaxy/what-is/tof-camera/

[Reactie gewijzigd door CyberMania op 5 januari 2021 08:52]

Er zit toch ook al een (vorm van een) tof-sensor in de iPhones aan de schermzijde in verband met FaceID. Dat is in principe gewoon een tof-sensor maar de verwerking wordt niet gebruikt om afstanden te meten maar een 3D-map van een gezicht op te bouwen. Feitelijk meet je dus wel afstanden om die 3D-map op te bouwen.

De nauwkeurigheid en het bereik van deze sensor zal wellicht wat verder liggen.

Er zit toch ook al een (vorm van een) tof-sensor in de iPhones aan de schermzijde in verband met FaceID. Dat is in principe gewoon een tof-sensor maar de verwerking wordt niet gebruikt om afstanden te meten maar een 3D-map van een gezicht op te bouwen. Feitelijk meet je dus wel afstanden om die 3D-map op te bouwen.

Dat meet diepte, maar dat maakt het geen TOF sensor

Het werkt met een projectie van stipjes die groter worden naarmate ze verder zitten, en met het opgevangen beeld van die stipjes (die in grote verschillen afhankelijk van de afstand) kan je dan diepte/berekenen...

Niks met Time of Flight te maken, mijn arm en been kunnen ook diepte meten en zijn ook geen TOF sensor.

[Reactie gewijzigd door watercoolertje op 5 januari 2021 09:09]

Inderdaad je hebt in consumenten producten twee oplossingen pattern projection en time-of-flight (TOF).

Bij Time Of flight geeft een infrarood LED een korte licht pulse. Een paar nanoseconde na het begin van de flits (b.v. 6ns) worden de pixels op de infrarood camera sensor gesloten. Het licht van de LED die op objecten die verder dan 1 meter weg staan is meer dan 6ns onderweg dus die zijn zwart in beeld. Bij objecten die op 0.5 meter staan is de halve lichtpuls al binnen dus grijs, en licht gereflecteerd van objecten dichtbij is al helemaal binnen dus wit.

Het voordeel van TOF is dus dat je direct diepte meet en dus niet CPU intensief. Nadeel is alleen dat het resultaat altijd ruizig blijft, vanwege de extreem korte elektronische sluitertijden, zelfs na middeling van veel beelden. Ook zal een zwarte stip op kleding altijd verderweg lijken dan een witte stip. Nauwkeurigheid is daarom hooguit 1 centimeter.

Je hebt ook pattern projection waarbij de positie in beeld van geprojecteerd stippen of lijnen iets zeggen over de afstand naarr het object. Het nadeel van deze methode is dat het terug rekenen van geprojecteerde stippen/lijnen vaak erg veel rekenkracht vraagt. Maar het voordeel is dat je met langere sluitertijden kan werken en minder gevoelig bent voor een zwarte of wite stip op kleding dus nauwkeurigheid is vaak een paar millimeter.

Zo werkte de ToF camera van Kinect. Een elektronische shutter is eenvoudiger dan een pulse detector in elke pixel.

Er word overigens ook een meting gedaan met continu belichting, zodat je achtergrond verlichting en helderheid van het object kunt compenseren.

[Reactie gewijzigd door Pinkys Brain op 5 januari 2021 16:11]

Het werkt met een projectie van stipjes die groter worden naarmate ze verder zitten, en met het opgevangen beeld van die stipjes (die in grote verschillen afhankelijk van de afstand) kan je dan diepte/berekenen...

Zijn stipjes dichterbij dan niet juist groter?

Nee kleiner kan je zelf testen met een lamp.
Of een V tekenen onder is de sensor en hoe verder je weg gaat (naar boven dus}) van de sensor de stippen groter worden(en andersom dus kleiner)

Ooh zo, nice dat wist ik niet.

Apple heeft al een iPhone (12 Pro) welke LIDAR aan boord heeft, een technologie welke accurater is dan een TOF. LIDAR en TOF worden momenteel voor hetzelfde gebruikt, er zijn alleen functioneel een paar verschillen in hoe ze dat doen.

Hier kan je een goede vergelijking zien tussen beide: https://www.makeuseof.com/tof-and-lidar-difference/

Bedankt voor de heldere toelichting. Dat de werking in deze mate verschilt kon ik zo snel niet terugvinden.

Feitelijk meet je dus nog steeds inderdaad afstand, maar op basis van goniometrie in plaats van tof.
Je lijkt me erg veel te weten over dit onderwerp, daarom de volgende vraag, kunnen ze op basis van de vervorming van die stipjes dan ook kromming van een oppervlak in kaart brengen?

Grappige is overigens dat die FaceID vaak LIDAR wordt genoemd, wat toch wel degelijk een term is uit de tof-techniek. (term time of travel zou volgens mij overigens beter passen, maar goed)

[Reactie gewijzigd door EwickeD op 5 januari 2021 10:10]

Hier wat meer informatie van Samsung (in de S20+ /Ultra zit namelijk al een tof-sensor @arnoudwokke ):

Ehh in de iPhone 12 pro dus ook, wordt zelfs genoemd in het artikel.

Het gaat toch ok de uitleg?

De uitleg gaat vooral over de Samsung implementatie, en is dus in weze irrelevant. Alles wat relevant is wordt al genoemd in het artikel van Wokke.

Er zijn genoeg mensen die geen idee hebben wat het is (daarom ook gebruikers-vragen, ondanks het artikel de basis aangeeft) en dan kan je het uitleggen maar voorbeelden spreken veel meer...

Het is dus juist wel relevant om te weten wat z'n sensor KAN, of dat ook toegepast gaat worden (of 3de) de sensor mogen aanspreken in eigen software is natuurlijk maar de vraag, maar het maakt wel duidelijker wat een TOF sensor is en wat voor mogelijkheden het kan bieden.

[Reactie gewijzigd door watercoolertje op 5 januari 2021 09:29]

Nee het gaat niet ok die uitleg. Het doet uitschijnen dat de iPhone veel minder kan dan waar ie toe in staat is. Je kan de volledige uitleg over LIDAR volledig in het Nederlands op de Apple website van Apple vinden dus waarom een irrelevante uitleg over de beperkte toepassingen die Samsung heeft?

Ja klopt

Ehh in de iPhone 12 pro dus ook, wordt zelfs genoemd in het artikel.

Eigenlijk heeft de iPhone 12 Pro geen TOF sensor, zie mijn reactie hier net boven.

Maar je hebt gelijk in die zin dat het voor de eindgebruiker niets uitmaakt momenteel welke sensor er juist gebruikt wordt.

[Reactie gewijzigd door oscar oscar op 5 januari 2021 09:55]

Door het woordje 'al' wek je de suggestie dat ze nog niet in Apple producten zitten. Waarschijnlijk reageer je op "Behalve Apple willen fabrikanten van Android-telefoons ook meer tof-sensors gaan gebruiken". Een uitleg over ToF sensor vanuit de huidige Apple implementatie was wellicht logischer geweest.

Bijvoorbeeld: https://www.apple.com/nl/...ackpad-support-in-ipados/

[Reactie gewijzigd door Shaflic op 5 januari 2021 10:20]

En waarom is dit nu juist beter dan bv. zo'n laser autofocus die al jaren in diverse telefoons zit?

Als ik de beschrijving van zo'n laserwerking lees, lijkt dat heel veel weg te hebben van zo'n Tof-sensor. Is dit een en hetzelfde ding, is het compleet anders, of hoe zit dit juist?
Het lijkt mij in ieder geval veel van dezelfde dingen te kunnen doen.

En hoe zit dat met donkere situaties met weinig licht? Werkt zo'n tof-sensor dan ook nog goed?

Ken je de digitale afstandsmeters waarbij mensen in de bouw of interieurdesign in één keer kunnen aflezen hoe groot een ruimte is? De laser autofocus van LG werkt in principe hetzelfde. Op het moment wanneer je een foto wil maken zendt de module naast de camera meerdere infrarood signalen uit die op het te fotograferen object weerkaatsen. Deze signalen zijn geheel veilig, in tegenstelling tot de goedkope laserpennen die oogschade kunnen aanrichten.

De telefoon meet de tijdsduur van het moment van zenden tot het moment dat de terug gekaatste stralen de telefoon weer bereikt om de afstand tot een object te meten. Hierdoor weet de telefoon waar het focuspunt van de camera moet liggen. Dit alles gebeurt allemaal in een fractie van een seconde. Om preciezer te zijn: de LG doet er welgeteld 0,276 seconde over voordat de locatie bepaald is.

bron: https://blog.phonehouse.n...nl/nieuws/laser-autofocus

[Reactie gewijzigd door Techprice op 5 januari 2021 12:39]

Manier waarop is bij beide wel wat anders. Zie YT: https://www.youtube.com/watch?v=FOxxqVzDaaA (~4min)

Wat is een tof sensor?

Dat vroeg ik me ook al af. Time of Flight sensor is het. Iets om afstand te meten volgens mijn zeer korte zoektocht.
Daarnaast waarom duid Apple hun tof sensor aan als lidar?
Blijkbaar omdat lidar een speciale variant van tof is.

The advantage of ToF over LiDAR is that ToF requires less specialized equipment so that it can be used with smaller and less expensive devices. The benefit of LiDAR comes from the ease with which a computer can read a point cloud compared to a depth map.

[Reactie gewijzigd door acemoo op 5 januari 2021 08:39]

Apple doet dat omdat LiDAR een beter buzzword is. Het verschil is miniem en het 'point-cloud' vs 'depthmap' principe is geen onderscheidende factor aangezien de ene en de andere met een simpele rekensom verwisselbaar zijn. Een depth map is in essentie een foto met in plaats van kleuren afstandswaardes (welke vaak dan weer als kleuren worden weergegeven). Een pointcloud is een lijst van punten met 3D locatie. Als je wat parameters van je sensor kent kan je dat 1:1 omrekenen.

Maw, een pointcloud en een dieptekaart is puur een software keuze en niet een eigenschap van de sensor.

Om het echte verschil te benoemen:
Lidar is op basis van laserpunten, (heel veel punten over je hele field of view), TOF is daarentegen op basis van een pulserende lichtbron welke in een keer je hele field of view belicht.
Eenvoudig gezegd, met een lidar wordt in principe met een laserpointer op heel veel punten in je gezichtsveld heel kort een puntje belicht en gecheckt hoe ver dat van je af is. met TOF wordt een hele korte tijd met een zaklamp geschenen en gekeken hoe lang het duurt voordat je licht weer terug is in de sensor.

Beide hebben voor en nadelen, Lidar kan beter functioneren in een lichte omgeving en heeft over het algemeen een hogere precisie. TOF is sneller en goedkoper te maken omdat Lidar vooralsnog alleen met bewegende delen te maken is.

Apple is gewoon preciezer, LiDAR is een ToF sensor, maar niet elke ToF sensor is een LiDAR. Het verschil in implementatie enkel als marketing buzzword afdoen is een beetje te kort door de bocht.

De termen worden traditioneel met willekeur gebruikt, of je nou een lange puls integreert of de aankomst tijd van een korte puls detecteert ... kan allebei LiDAR of ToF genoemd worden, hangt van de stemming van de onderzoeker af.

Maar ik twijfel of Apple echt in elke pixel de aankomsttijd van een zeer korte puls detecteerd. Dit is waarschijnlijk nog steeds dezelfde technologie als in Kinect v2 ... Of je het nou ToF of LiDAR noemt.

Ik moest het ook even opzoeken, maar dat is een Time-of-flight sensor. Daarmee kan je dus diepte bepalen door de tijd dat een laser erover doet om terug in de sensor te komen. Het was wel handig geweest om die afkorting een keer voluit getypt te hebben in het artikel.

[Reactie gewijzigd door reneflo op 5 januari 2021 08:37]

Het hoeft geen laser licht te zijn. Het kan ook met "gewoon" licht. Maar om ons mensen niet te irriteren word doorgaans infrarood licht gebruikt.

Ik vraag t mij ook af, tof iig!

Lezon!

Ook mijn eerste gedachte. Kan ik uiteraard googlen en dan kom ik op een Time of Flight sensor uit, die ook diepte kan waarnemen en zo een 3d beeld maakt. Zou wel nuttig zijn om dat toe te voegen aan het artikel..

Dat hadden ze wellicht kunnen toevoegen aan het artikel. Zie https://nl.wikipedia.org/wiki/Time-of-flightcamera voor meer informatie over de camera.

Time of flight, door onzichtbaar licht uit te zenden kunnen ze zien hoe snel dat is terug gekaatst en dus de afstand meten/berekenen.

Die info kan je combineren met een gemaakte foto om bijv. Beter de achtergrond te blurren. Wel is dat op een veel lagere resolutie dan een normale foto dus niet super precies.

Gebruik het daar overigens nooit voor, maar wel om in het pikke donker zonder gebruik van lampen/licht toch te zien waar ik loop op het scherm

https://www.xda-developer...0-5g-see-in-the-dark/amp/

[Reactie gewijzigd door watercoolertje op 5 januari 2021 08:41]

Uit het artikel zelf:

De TrueDepth-camera van Face ID, die op veel Apple-telefoons zit sinds de iPhone X in 2017, is geen tof-sensor; het ziet diepte af aan de vorm van de geprojecteerde infraroodpuntjes op iemands gezicht, maar meet niet de time-of-flight.

Maar ik moet toegeven dat ik er eerst ook overheen las, en daarvoor ook niet had geraden waar "tof" voor zou kunnen staan.

Time of Flight
Radar met licht, soort van Lidar.

[Reactie gewijzigd door kid1988 op 5 januari 2021 08:38]

TOF is LIDAR

De LiDAR-scanner bepaalt de absolute diepte door te meten hoelang onzichtbare lichtstralen onderweg zijn van zender naar voorwerp en daarna weer terug naar de ontvanger. LiDAR maakt gebruik van de diepteframeworks van iOS 14 om talloze gegevens die het complete gezichtsveld van de camera overspannen te verzamelen in hoge resolutie. De stralen pulseren in nanoseconden om zo de omgeving continu op te meten en de dieptekaart steeds specifieker in te vullen. Een echte gamechanger voor AR.

LiDAR bepaalt razendsnel welke opper­vlakken zich in de ruimte bevinden. AR-apps kunnen dus onmiddellijk aan de slag om de situatie te analyseren en jou een unieke AR-ervaring te bieden.

Aan de hand van een gedetailleerde weergave van alle opper­vlakken in een ruimte zorgt LiDAR dat AR-elementen precies daar verschijnen waar je ze in het echt zou verwachten. Of dat nu op de rand van je zetel is, de rugleuning van een stoel of je rommelige bureau. Dit maakt AR-apps veel intelligenter. Stel bijvoorbeeld dat er een landschap op je woonkamer wordt geprojecteerd. Dan groeit het gras alleen op de vloer, precies tot aan je meubels. Alles past zich aan de ruimte aan.


Dankzij de preciezere dieptekaart begrijpt iPhone 12 Pro ook welke voorwerpen zich vóór andere bevinden. Als een AR-personage over je oprit rent, loopt hij dus tussen je auto en een boom door. Het is zo realistisch dat je er compleet in opgaat.

Dankzij LiDAR is er nu nog meer mogelijk met het pro-camera­systeem, bijvoorbeeld tot zes keer sneller scherpstellen bij weinig licht. Met de groothoek­camera maak je dankzij het hoge detailniveau van de LiDAR-dieptekaart ook portretten in de Nachtmodus. En ook bij weinig licht kan de Neural Engine je onderwerp nu haarscherp weergeven tegen een prachtig vervaagde achter­grond.

Bron: https://www.apple.com/benl/iphone-12-pro/

Ik blijf het verbazingwekkend vinden dat relatief goedkope sensoren zo precies de tijd kunnen meten om obv lichtsnelheid de afstand in centimeters te kunnen bepalen.

"Any sufficiently advanced technology is indistinguishable from magic." – Arthur C Clarke

Heb test fotos gekeken met en zonder Lidar. Resultaat was dat er geen verschil in zit. Op dit moment is Lidar niet meer dan een sterk verkoop verhaal.

Er is een app waarmee je een ruimte nauwkeurig kan meten mbv de Lidar sensor van een iPhone 12 Pro. Dat werkt best aardig. Echter alleen de plattegrond (muur) in 2D.

Het is dan ook helemaal geen functie voor het maken van betere foto's.

Hoezo de diepte wordt toch gemeten met tussen de objecten?

Het helpt hooguit bij de autofocus, maar de resulterende foto blijft het zelfde.

Bij dit soort berichten krijg ik Cyberpunk ideetjes. Stel dat iedereen straks een TOF sensor heeft en leuk effecten gaat proberen in bijvoorbeeld hun huiskamer of overige ruimtes. Al die gescande data met gps nauwkeurige locaties zou dan een enorme kaart in 3d mogen kunnen genereren. Wel eens waar niet volledig compleet, maar ik denk dat je een aardig eind kan komen!

Met de TOF sensor leuk-effecten proberen? Nee, het is niet een apparaat die meet hoe tof je bent.

Ja TOF een tof sensor.
Maar kan je ook uitleggen wat het is en wat het doet?
Kom vaak artikelen tegen waarin iets wordt duidelijk gemaakt, maar niet uitgelegd wat het is/kan.

Ja TOF tof een tof TOF sensor.

Aynway boven je reactie kan je het antwoord vinden, je was niet de enige met die vraag.

Verkeerde plek...

[Reactie gewijzigd door watercoolertje op 5 januari 2021 09:07]

Apple duidt zijn tof-sensors aan als lidar.

Echt waar? LiDAR?
Dus kan ik iPhone met tof sensors mijn tuin (met hoge gras) laten scannen op uitgestorven "mieren beschavingen"?

Ik vind het erg TOF dat het komt! :-p

Je kunt een oude iPhone ook aan de buitenkant van je auto plakken zodat deze doormiddel van lidar achtige techniek zelf kan rijden. Ik weet niet zo goed wat ik van dit item moet vinden.