Snapchat brengt tool uit om gebruik te maken van tof-sensor iPhone 12 Pro

Snap heeft Lens Studio 3.2 uitgebracht, de eerste versie van de software om Lens-software te maken voor Snapchat die gebruik kan maken van de tof-sensor in de iPhone 12 Pro-telefoons en de iPad Pro van eerder dit jaar.

Dankzij de tof-sensor kan de software de betekenis en geometrie van oppervlakken bepalen, zegt Snapchat. Daardoor kan een Lens in Snapchat interacties aangaan met objecten in het camerabeeld van de telefoon, zoals tafels en muren.

Snap toont voorbeelden van Lens-software, waarbij planten op muren en op tafels kunnen groeien en objecten kunnen verdwijnen achter andere objecten. Lens is een AR-toepassing die draait binnen Snapchat en ontwikkelaars kunnen Lens Studio gebruiken om die te maken.

Een Lens gemaakt met Lens Studio 3.2 is de eerste die gebruik kan maken van de tof-sensor in de iPhone 12 Pro-modellen, die Apple dinsdag presenteerde. Apple duidt die zelf aan als LiDAR-sensor. Ontwikkelaars kunnen Snapchat ook openen op de iPad Pro van eerder dit jaar, die ook een tof-sensor heeft.

Reacties (45)

[Steefph]

Misschien niet voor iedereen gelijk duidelijk

Een Time-of-flightcamera of ToF-camera is een camerasysteem dat naast lengte en breedte ook diepte in beeld waarneemt, welke wordt berekend door middel van de reistijd die licht gebruikt. Zo vormt de camera geen tweedimensionaal beeld maar een driedimensionaal beeld.
https://nl.wikipedia.org/wiki/Time-of-flightcamera

[berchtold]

Inderdaad. Wordt ook wel Lidar genoemd.

[Loy]

Volgens mij niet. Een Lidar heeft typisch een of meerdere lasers die rond scannen, waarvan de reflectie gemeten word. Door het scannen is er vaak een mechanisch element en dus niet handig is een telefoon en duur.
Een Time-of-flight camera is AFAIK puur optisch: 1 flits gaat uit voor het hele beeld en zo wordt voor het hele beeld ineens diepte gemeten.

[Verwijderd]

Klopt, Apple’s sensor is een Lidar, werkt wezenlijk anders dan de Android Tof sensors.

Edit: is hier het nodige over te lezen: https://www.eetimes.com/b...ad-pro-11s-lidar-scanner/

[Reactie gewijzigd door Verwijderd op 25 juli 2024 18:04]

[Verwijderd]

Het klopt dat het andere technieken zijn, maar iPhones hebben geen ToF sensor, die gebruiken Lidar om diepte te meten.

Een beetje gek dat Tweakers het zo neer zet. Een ToF sensor zoals in veel Android smartphones hebben ze namelijk niet, en in plaats daarvan wordt er Lidar gebruikt. Uiteindelijk hebben ze hetzelfde nut, diepte toevoegen, maar het zijn niet dezelfde sensoren.

[berchtold]

Overal noemen ze het anders Lidar. Ook op apples eigen site.

[mjz2cool]

En Lidar wordt gebruikt om afstand tot een object te meten met laserpulsen. Die hoeven niet rond te scannen. Puur optisch. Bij zelfrijdende auto's bijvoorbeeld wordt er wel gescanned.

[cariolive23]

De afkorting LIDAR wordt zowel voor laser als ander licht gebruikt. Quote van Wikipedia:

The term lidar was originally a portmanteau of light and radar. It is now also used as an acronym of "light detection and ranging" and "laser imaging, detection, and ranging".

[Mynx]

De Lidar is hier in een Belgie een superflitser, heb er nog nachtmerries van.

[polord1]

Ik heb ff stukje gelezen, geweldig techniek.
5 meter is 70 nanoseconden geleden.
Ik realiseer nu dat alles wat we zien verleden tijd is.
Net sterren die lichtjaren Van ons af staan.
Ok mss draai ik een beetje door lol

[Reactie gewijzigd door polord1 op 3 augustus 2024 01:42]

[ashwin911]

Licht reist ook trager door glas of plastic dan door lucht. Dus mensen die een bril of lenzen dragen zien de werkelijkheid met nog meer vertraging. Brillen dragers hebben dus een hogere latency.

[steveman]

Sterker nog, ik heb sneller dan het licht gefietst.

[batjes]

https://www.youtube.com/watch?v=BTOODPf-iuc
mindfuck soms

[TheNightbringer]

Dat is eigenlijk best wel tof.

[Distrax1988]

Ja ben alleen benieuwd waar dit heen gaat, we zien nu al vaak fotos bewerkt en op een mooie locatie, dit kan er nog eens voor zorgen dat de omgeving ook bewerkt gaat worden, nog meer nep voor de jeugd.

[WhatsappHack]

Ik ben eigenlijk meer benieuwd naar wat Lens Studio is.

[Sebazzz]

Hiermee kan je zelf Snapchat overlays maken door middel van 3D modellen. Daarnaast heeft Snapchat ook een applicatie voor Windows waarmee je je webcam een overlay kan geven.

[Steefph]

Daar staat dan wel weer een linkje naar in het artikel

[lonewolf2nd]

Thanks dit had in het artikel zelf geplaats kunnen worden.
Ik had geen idee wat een ToF sensor was.

[TitusV]

Hier ook een zeer goede paper over ToF voor een iets meer in-depth uitleg: https://www.melexis.com/e...ote-time-of-flight-basics

[Mynx]

.

[Reactie gewijzigd door Mynx op 3 augustus 2024 01:42]

[Fossielvrij]

Ook al lijken 3D-ToF en lidar sensoren qua werkingsprincipe op elkaar.

De lidar methode is nauwkeuriger omdat deze daadwerkelijk een ‘puntsgewijze diepte kaart’ maakt.

3D-ToF sensoren maken op basis van 1 ‘flits’ een diepte kaart waarbij je meer last van ‘ruis’ hebt.

Door de sensor van Apple een ToF-sensor te noemen doet de auteur de techniek dus iets tekort.

Meer info: https://ios.gadgethacks.c...-for-smartphones-0280778/

[Reactie gewijzigd door Fossielvrij op 3 augustus 2024 01:42]

[arnoudwokke]

Dank voor je reactie, heel verhelderend artikel in de link

Voor mijn begrip: de tof-sensor in de iPad Pro en iPhone 12 Pro werken dus door razend snel 'te draaien' (vooral het uitgestuurde infraroodlicht dus), maar wat is het verschil dan als je op redelijke snelheid die ene flits achter elkaar kan uitsturen en opvangen om beelden te maken? Dat kan bijvoorbeeld met een app als deze https://play.google.com/s....tofviewer&hl=en_US&gl=US

En weet je absoluut zeker dat alle andere tof-sensors op andere telefoons gelijk zijn of is dat een aanname? Want er kan, naar ik aanneem, ook nog verschil zitten in de 'resolutie' van de scanner (die van de iPad Pro is volgens mij 64x48 pixels, 0,03MP met 10 micron per pixel). De tof-sensor van de iPad Pro is volgens de makers van Halide juist heel erg onnauwkeurig - als in: je kan alleen dingen ter grootte van meubels in kaart brengen, maar niets kleiners.

[Fossielvrij]

Allereerst: Mijn kennis reikte niet veel verder dan het gelinkte artikel. ‘Absoluut zeker’ weet ik eigenlijk niks

Met betere nauwkeurigheid bedoelde ik de ‘afstandsmeting’, niet de resolutie.

Een betere afstandmeting lijkt me bijvoorbeeld relevant voor het snel kunnen autofocussen in donkere omstandigheden.

Voor zover ik het goed begrijp heb je met een ‘flitsende’ tof (een sensor die goedkoper is en veelal toegepast wordt), een minder goede afstandsmeting vanwege ‘ruis’.

PS In algemene zin vind ik de term lidar in deze context geschikter dan het veelomvattende begrip ToF.

[Steefph]

Tsja, je zou ook ToF in dit geval een verzamelnaam kunnen noemen

Bedankt voor de link. Ik vind dit filmpje wel duidelijk aangeven hoe de Apple methode werkt
https://mobile.twitter.co...or-smartphones-0280778%2f

[Fossielvrij]

Ja daar heb je natuurlijk gelijk in. Ik vind dat er wel onderscheid gemaakt mag worden om verwarring te voorkomen.

Radar is bijvoorbeeld ook een ToF sensor.

[brasov]

Grappig hoe Snapchat zo geoptimaliseerd wordt voor iOS, maar hoe Android hopeloos achter blijft. Voor zover ik weet werken de zoom camera's op de S20 nog niet met Snapchat.

[Rohit]

Ik snap ook niet hoe fucking moeilijk het kan zijn om fatsoenlijke fotos te maken met Android toestellen i.c.m. Snapchat... Zwaar kansloos..

[Bomberman71]

Je kunt onmogelijk voor alle devices in Android een optimale app maken.
Dus wat krijg je, een app die overal 'redelijk tot mischien Goed' op werkt.
Werkt dus zeker niet geweldig en dat is onmogelijk (kosten baat).
Op de iphone praat je maar over minder als een dozijn toestellen waarvan het meeste onderling gelijk is, kortom het optimaliseren is veel sneller, goedkoper en dus rendabel.

[Ventieldopje]

Plus de API is onderling gelijk. Je hebt niet tig fabrikanten die bovenop Android zelf nog wat moeten knutselen om hun cameras optimaal te gebruiken. Vervolgens moet die app ontwikkelaar die API weer specifiek gaan implementeren en zo blijf je bezig voor ieder apparaat

[Bomberman71]

Ja precies, het is gewoon VEEL gedoe en dat gaan de meesten niet doen.

[Rohit]

En waarom kunne andere apps dat wel dan? Facebook, messenger, Instagram en alle andere tig camera apps?? Beetje vreemd..

[Bomberman71]

Die doen dat ook niet allemaal even optimaal hoor.
Wellicht meer funds en wat meer effort maar bijv. instagram op Android komt niet in de buurt van die op IOS.
FB is wel degelijk wat beter maar zal te maken met meer effort/funds.

[SgtElPotato]

Dat is het nadeel van Android. Het is zo gigantisch versplinterd dat het optimaliseren en het introduceren van nieuwe functies een dingetje is. Bij iOS heb je dat probleem niet en is de nieuwe ARKit dan ook vrij snel geïmplementeerd.

Om die reden zie je ook vaak dat dezelfde apps op het iOS platform beter geoptimaliseerd is en beter / sneller werkt.

[Soulful]

heb een samsung galaxy s10e bij release gehaald en kon pas na 6 maanden normaal snapchatten...

[SgtElPotato]

Als heel simpel voorbeeld pakken we de social media apps ( FB, IG, Snap etc ). De uploaden en laten de media in hogere kwaliteit zien op een iPhone dan op een Android.

Voor iOS hoef je niet veel rekening te houden met de hatdware, dat is allemaal niet zo spannend. Bij Android moet dat tot op een zeker niveau wel, er zijn hinderden zo niet duizenden verschillende apparaten met verschillende configuraties. Daarnaast implementeert iedere fabrikant weer hun eigen software etc. Dat maakt het ontwikkelen niet makkelijker

[Menesis]

Dit is gewoon een functie in Apple’s ARKit API?
Iedereen kan dit makkelijk implementeren.
https://developer.apple.c...ith_a_reconstructed_scene
(Classify real world objects)

Maar goed, leuk dat Snapchat dit ook gebruikt.

[John Doos]

Maar wat ik dan mis is, waarom nu pas?
Er zijn toch ook andere toestellen met een TOF camera?
Worden die ook ondersteund vanaf nu?
Werden die al ondersteund?
Exclusive voor Apple?

[Menesis]

omdat Apple een mooie API heeft die ook de object herkenning doet. Oftelwel, Apple heeft het harde werk gedaan en apps op iOS kunnen daar nu van profiteren.

https://developer.apple.c...ith_a_reconstructed_scene

[Reactie gewijzigd door Menesis op 3 augustus 2024 01:42]

[Systemlord Max]

Ik ben vooral geinteresseerd naar de mogelijkheden om objecten te scannen voor CAD gebruik, tot op heden heb ik daar nog geen app voor gevonden. 3D handscanners soals isense zijn compleet nuttenloos, hopelijk kunnen we deze verwachten in de komende tijd, als deze techniek daarvoor geschikt is.

Edit: Zojuist gelezen dat de resolutie van de diepte senser veelste laag is om dingen te scannen die klein zijn of veel details hebben (een kamer met meubels gaat prima een vaas in detail niet). Jammer maar het zal wel een kwestie van tijd zijn voordat het nauwkeuriger is.

[Reactie gewijzigd door Systemlord Max op 3 augustus 2024 01:42]

[SgtElPotato]

Deze app kun je gebruiken om met de TrueDepth camera 3D objecten te scannen. Ook hier is de resolutie niet super hoog maar er kan soms wel bruikbare info uitkomen qua 3D object.

https://apps.apple.com/nl...can-anything/id1444183458

[Reactie gewijzigd door SgtElPotato op 3 augustus 2024 01:42]

[FuZZbaLL]

Dacht dat Google Tango ook lidar gebruikte, maar blijkt niet het geval.

https://news.ycombinator.com/item?id=7789969

[Reactie gewijzigd door FuZZbaLL op 3 augustus 2024 01:42]

[carpcatcher]

ik heb liever dat ze eens gebruik gaan maken van de groothoek en telelens....

[m1999]

Leuk, die nieuwe functies steeds voor Apple only. En wanneer gaan ze eens implementeren dat je betere foto's kan maken in Android? En van lens kan wisselen? Ik zou het wel leuk vinden als ik kan filmen of fotograferen met mijn wide angle ipv native camera