Qualcomm verwerkt techniek voor actieve dieptecamera in komende high-end socs

Qualcomm heeft bekendgemaakt dat de image signal processor voor toekomstige high-end socs in staat is om dieptebeelden te verwerken. De techniek kan ingezet worden om bijvoorbeeld bediening met handen in vr-games mogelijk te maken.

De techniek is onderdeel van het Spectra Module Program, dat Qualcomm vorig jaar bij de introductie van zijn Snapdragon 835 introduceerde. Dit stelt fabrikanten in staat om cameramodules te maken die direct aansluiten op de mogelijkheden van de isp.

Qualcomm maakt nu details bekend over de Spectra-isp die het in zijn nieuwe high-end soc gaat stoppen, waarvan de naam nog niet bekend is. De processor kan overweg met drie nieuwe modules: voor het uitvoeren van irisscans, voor passieve dieptemeting en voor actieve dieptemeting.

Actieve dieptemeting is de meest vernieuwende functionaliteit; die werkt op basis van infraroodlicht. Door een patroon van duizenden puntjes te projecteren en met een infraroodsensor de afwijkingen in de puntjes te bekijken, kan een dieptekaart gemaakt worden. Dit werkt realtime en zo is het bijvoorbeeld mogelijk om de positie van handen waar te nemen, of om snel een 3d-model van een object te maken. In een demonstratiefilmpje toont Qualcomm dat de dieptekaart ook vanuit andere hoeken bekeken kan worden.

Omdat het systeem voor actieve dieptemeting gebruikmaakt van infrarood licht, werkt het ook in situaties met weinig omgevingslicht. Passieve dieptemeting gebeurt met twee camera's, die ieder het beeld onder een iets andere hoek waarnemen, waarna de afstand berekend kan worden. Soortgelijke techniek wordt nu al in sommige smartphones gebuikt om een scherptediepte-effect na te bootsen. De irisscans zullen uitgevoerd worden met frontcamera's, zoals bijvoorbeeld Samsung dat al doet met zijn Galaxy S8-toestellen.

Wanneer Qualcomm de opvolger van de Snapdragon 835-soc uitbrengt is nog niet bekend. Waarschijnlijk gaat de chipmaker de komende maanden meer informatie naar buiten brengen over de verschillende aspecten ervan.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (37)

[PPie]

Nadeel van zo'n infrarood systeem is hoger energieverbruik, hogere kosten en niet echt goed werken buiten in zonlicht, omdat de zon veel sterker is dan het infraroodledje op je telefoon.
Linkje: https://medium.com/super-...alternatives-af8871889d6a
Volgens de schrijver van deze post zullen AR dingen juist naar een enkele, optische camera gaan, gebruik makend van de versnellingsmeters van de telefoon.
Quote:

Monocular VIO is the most accurate lowest power, lowest cost solution

(Je kunt zelfs gebruik maken van het trillen van de hand van de gebruiker om daarmee je meerdere standpunten te krijgen voor de input)

Prijs van het systeem en low power zijn beide belangrijk voor grote marktpenetratie:
Kijkend naar de prijs van de gemiddelde Android telefoon zal een sensor van zeg $10 gekoppeld aan een high end SoC niet te verkopen zijn.
Low power: Als je de diepte camera niet aan kunt zetten omdat dan de accu leegloopt werkt het ook niet. Denk aan Pokemon Go en het vele gebruik van powerbanks...

[kidde]

Het gaat waarschijnlijk om een SPAD met ToF, die meet enkele (!) fotonen, dus zeer weinig energie nodig. Het hele artikel waar u naar linkt staat bol met talloze berekeningen en correcties die nodig zijn voor vio/ ARKit, klinkt zeer reken intensief (dubbel integreren, corrigeren CPU En DSP nodig?) dus kost juist veel meer vermogen. Werkt ook niet als de camera stil op tafel ligt of in het donker, SPAD wel.

SPAD ToF is 60x zo nauwkeurig als de ARKit waar u naar linkt (5mm op 30m ipv 1%), een MCU is genoeg voor de verwerking, slechts 5mW, haalt 1000Hz en zit al in de iPhone 7 (en ook 8 als we de rumoer en geloven). Wel duurder misschien dus vooral voor auto's bio-identificatie (kijkt of het gezicht nog leeft dus geen masker is, belangrijk voor betalen met gezicht) en hogere segmemt foons.

Uitleg(pdf): http://ens.ewi.tudelft.nl/pubs/charbon12icecs_kumar.pdf
Iphone 7 (stm): http://www.techinsights.c...-the-starship-enterprise/
IPhone 8 (stm): http://www.eetimes.com/document.asp
5mW (stm): http://www.st.com/resource/en/datasheet/vl6180x.pdf

[PPie]

SPAD voor AR in het donker is wat weinig 'AR', niet?
Als 'weinig energie' 5 mW is, dan vind ik het nogal veel. Als je ziet dat GPS ongeveer 10 mW kost en dat al als te veel gezien wordt om veel te gebruiken...
Er is ook een enorm verschil tussen afstandsmeting voor een selfie of in de vrije ruimte.
De STM sensor waar je naar linkt is (zie je datasheet) meet slechts goed tot 10 cm, met een 1 punts meting.
Dat is iets heel anders dan een (zeg 1000 x 1000) matrix, met een afstand van (zoals je claimt) 30 meter.
Dat zal significant meer energie kosten.

[SpiceWorm]

Ik denk juist dat de enige manier die naar marktadoptie zal leiden is een robuuste, nauwkeurige manier ipv een low cost in elkaar gehacked iets met heel veel ruis. Er is in high end telefoons echt 10$ beschikbaar voor high end functies als dit - zeker weten als het goed werkt. Dan heb je een killer feature op je telefoon. Voor pokemon-go koopt iedereen toch ook alsnog een powerbank? Dat heeft de hype niet in de weg gestaan.

Ik voorzie hiermee ook een vliegende start voor virtual reality porno.

[PPie]

Er is in high end telefoons echt 10$ beschikbaar

Klopt. Probleem is dat het marktaandeel van 'high end' bij Android teleurstellend laag is.

[totaalgeenhard]

Stel je eens voor hoe dit zich gaat evolueren.

Over jaartje of 10 zal resolutie veel hoger zijn en maak je 3d foto's die je zo naar je 3d printer kunt door sturen.

[jaapstobbe]

Een jaartje of 10? Kijk eens naar 2007 en besef eens hoeveel er toen nog niet was qua techniek (iphone 1 was net uit). Zo'n evolutie gaat echt wel sneller dan dat. Moet echter wel een commercieel belang aanzitten natuurlijk.

[Verwijderd]

Ik vind eerlijk gezegd de evolutie waar jij het over hebt heel erg tegen vallen. Wat kunnen foons van nu meer dan een iPhone van rond 2007? Het is allemaal wat gestroomlijnder, je hebt dingen zoals siri, maar wat is daar het vernieuwende evolutionaire aan? Computers idem dito, wat sneller, wat meer grafisch, maar de achterliggende werking is nog niet veel anders dan van computers van 40 jaar geleden.

[Ayporos]

uh... als ik het aantal flops aan rekenkracht, gedeeld door het volume (van de computer) en de stroomconsumptie, van mijn eigen PC vergelijk met de krachtigste computer van 40 jaar geleden dan komt daar toch een vrij eng hoog getal uit hoor....

Dus jij bent prima tevreden met een 60GB hdd?... ik vind het toch wel fijn hoor dat we vandaag de dag als consument gewoon een 6TB hdd kunnen kopen in hetzelfde formaat. dat is toch een factor 100 meer datadichtheid.. voor nagenoeg hetzelfde stroomverbruik

[Reactie gewijzigd door Ayporos op 23 juli 2024 01:16]

[totaalgeenhard]

Ik ben van generatie CP/M / *-Dos.
Qua productiviteit (inclusief mijzelf) kan ik niet stellen dat we nu dankzij die snelheid, graphics, gui etc... beter af zijn.

Wat je vroeger in WP 4.2 + Lotus 1,2,3 in een uurtje deed heb je nu veel meer tijd voor nodig.
Dus qua functionaliteit worden we alleen maar "dommer" gehouden en verder van de techniek.

Ondertussen hebben we niet door dat wij betalen voor de luiheid van programmeurs & bedrijven.
Het is niet zozeer dat wij die geheugen en snelheid nodig hebben. Hoe rustig was Hercules niet voor je ogen? En hoe leuk waren die games in CGA ?

[Grrrrrene]

Nouja, games zijn nu net een gebied waar ik het niet met je eens ben dat het niet beter is geworden. Ik denk wel dat het plezier aan spelletjes niet veranderd is. Ik speel bijvoorbeeld nog best graag Transport Tycoon (OpenTTD), terwijl die graphics tegenwoordig toch "echt niet meer kunnen". Qua WP *.* heb je gelijk dat het vroeger net zo goed ging, maar toen waren er ook heel wat die dat allemaal niet snapten en afhaakten. Hoe leg je iemand MS DOS uit? Het is best wel hard core al die text input en zeker niet gebruiksvriendelijk. Je moet gebruiksvriendelijkheid ook niet verwarren met snelheid.

Computers zijn laagdrempelig geworden, voor de massa. Ik vind wel dat software bijzonder groot wordt. Ik weet nog dat ik me altijd verbaasde over een programma als Winamp dat begon als een prima audiospeler, maar later ook video aan kon, cd's kon rippen, etc en zo van een tootje van een paar honderd kB een tool van enkele MB's werd. De eerste versie was 134kB, de laatste versies waren ~16MB. Verder vraag ik me af wat er nou beter wordt aan iedere volgende versie van MS Office. Ja, Excel mocht na 2003 (?) ineens veel meer rijen en kolommen gebruiken, maar verder kan ik me niks herinneren waarvan ik dacht "Yes, eindelijk!". Als ik zie hoe het CAD-pakket waar ik mee werk (Solidworks) iedere versie nieuwe features toevoegt waar ik wellicht 9 van de 10 keer geen gebruik van maak, maar die wel functionaliteit toevoegen die echt nuttig is voor bepaalde markten.

[Reactie gewijzigd door Grrrrrene op 23 juli 2024 01:16]

[batjes]

Het grootste gedeelte van die ~16mb Winamp setup is niet de codebase. Maar plugins (milkdrop e.d.), taalbestanden, skins en codecs.

[Grrrrrene]

Ja, allemaal overbodige baggage die je kunt laten downloaden als iemand het aanvinkt.

[batjes]

Opties brengt mensen in de war, je moet ze niet te veel keuze geven. Gewoon 1 size fits all.

Anyway, er is/was gewoon een Winamp Lite versie van een paar mb.

[Knijper1962]

Compleet off-topic, ik ben ook wat ouder, en het valt mij op, dat vroegah, een stapel in te vullen papier, z'n eigen limitatie met zich meebracht. meer dan 100 in te vullen pagina's , dat was niet zo fijn om mee te geven met iemand. Tegenwoordig is het geen enkel probleem om duizenden pagina's mee te geven. dat is natuurlijk al een hele tijd zo, maar tegenwoordig is alles zo'n beetje onbeperkt qua grootte(Mb's ) het daadwerkelijk invullen van vragenlijsten, met hun controlevragen, kost mij nu aanmerkelijk meer tijd , dan in het begin van het computer, bulletin-board en primitieve e-mail- tijdperk.

[Dark_man]

In 2007 hadden we al 1 TB harddisks, volgens mij zelfs 2 TB ook.

Dus die opslagdichtheid is niet zo hard omhoog gegaan.

Je kan beter SSD's als voorbeeld geven of 3D Xpoint wat veel meer een futuristische techniek is.

[Verwijderd]

Dat zeg ik dus niet. Maar, het is niet zo wereldschokkend hard gegaan de ontwikkelingen op computer en foon gebied. Natuurlijk, sneller, groter, grafisch leuker. Maar dat wat er achter gebeurt is nog steeds die ouderwetse 0/1 techniek.
Nog steeds geen nieuwe techniek voor computer gebruik. Quantum computers, iets echt nieuws/vernieuwend, komt nog steeds niet echt van de grond.
Er zijn grote stappen gezet, maar heel weinig echt nieuw.
En in bepaalde gevallen zijn we er op achteruit gegaan. Vroeger kon men een spel in 16Kb kwijt, of 48Kb. Vroeger beheersten de mensen nog assembler, waardoor de goede programmeurs binnen die beperkte ruimte er veel meer uit halen dan wat er nu gebeurt, slordig ruimteverslindend programmeren, we hebben toch ruimte genoeg.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 01:16]

[Ayporos]

Dat is een beetje een te perfectionistische ideologie die jij daar op nahoud vrees ik...

Die 1/0 techniek werkt zo goed omdat alles te reduceren is tot een optelsom van dualiteiten.
Het enige wat je níet goed kunt uitdrukken met enkel een optelsom van eentjes en nullen zijn multidimensionale getallen, en daar blinken die quantumcomputers dan weer in uit omdat die berusten op een natuurkundig principe/deeltje dat daadwerkelijk in 2 (of meer) dimensies een waarde kan aannemen.
Ik ben het dan ook volledig met je eens dat dát mooi zou zijn als dat doorbreekt..

Jou laatste alinea echter dáár kan ik me totaal niet in vinden. Natuurlijk heb je gelijk, maar het is gewoon niet relevant. Heb je ooit bij een bedrijf gewerkt? of de regering?... alles is een kosten/baten afweging en er wordt altijd een gulden middenweg gevonden voor zo hoog mogelijke kwaliteit versus zo laag mogelijke kost. Als jij een groep van 50 programmeurs 2 jaar lang de tijd geeft om de code van een willekeurig hedendaags spel te optimaliseren zullen ze het ongetwijfeld een stuk efficiënter kunnen maken en dat het minder ruimte in beslag neemt... maar daar heeft een studio noch het geld noch het geduld voor.

Een mooi voorbeeld dat ik altijd aanhaal om te proberen mensen zoals jij wat perspectief bij te brengen zijn (autoweg) snelheidslimieten.
Voor optimale efficiëntie van vervoer wil je zo snel mogelijk.
Voor optimale veiligheid wil je zo langzaam mogelijk.
Deze 2 dingen zijn mutually exclusive, dus er moet een afweging gemaakt worden.
Wél kan er besloten worden om bijvoorbeeld zoveel mogelijk extra variabelen weg te halen (zoals kuilen in de weg, onverlichte wegen, voetgangerstunnels/bruggen ipv. wegoversteekplaatsen etc) maar dat zijn ook dingen die geld kosten. Als een voetgangersbrug 2 aanrijdingen per jaar zou voorkomen maar wél 3 miljoen euro kost om aan te leggen (buiten de materialen en constructie heb je ook vergunningen nodig etc) zou jij het dat waard vinden?.... Je kunt dit bot vinden maar een mensenleven is gewoonweg niet oneindig veel geld waard.. er hangt een redelijk objectief getalletje aan wat in dit soort overwegingen ingevuld word om zo tot een uitkomst te komen.

Hoewel (mijns inziens) het hele universum te reduceren is tot een enorme klomp van dualiteiten is de praktische wereld waar wij in leven niet zwart en wit.. en jou eis voor perfecte code heeft dan ook geen betekenis in de échte wereld.

[Reactie gewijzigd door Ayporos op 23 juli 2024 01:16]

[Verwijderd]

De 0/1 techniek werkt alleen maar zo goed omdat computers nu eenmaal zo snel kunnen "rekenen". Als de computers dezelfde snelheid gehad zouden hebben als 20 jaar geleden, dan zou het er allemaal heel anders uit hebben gezien. De 0/1 techniek is juist zeer inefficiënt juist door dat binaire.
Ik wil helemaal geen perfecte code. Het stukje over programmeren was alleen om aan te geven dat de vooruitgang ook achteruitgang heeft gebracht, in bijvoorbeeld het programmeren.
"Vroeger" ;-) kon men op de zx81 een redelijk functionele tekstverwerker in 1K schrijven, vroeger kon men redelijke spellen of redelijke database programmaas in 16K (ZX Spectrum) schrijven.
En nu weet ik wel, de programmaas van tegenwoordig kunnen 10 keer zo veel, zien er 25 keer zo leuk uit.. Maar er wordt met geheugen gesmeten alsof het niets is. Minstens sloppy programming als je het mij vraagt. En ik weet dat toentertijd een programma door een team van 3 a 4, soms zelfs minder in een veel kortere tijd in elkaar werd gezet.
Maar, dat is wel menselijk, waarom zouden we ons inspannen voor een goed resultaat, als het maar werkzaam is. De gebruikers (wij dus) kopen het evengoed wel. Kijk naar een aantal spellen die de laatste tijd zijn uitgekomen.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 01:16]

[Ayporos]

Heb je zelf wel eens ooit een stukje code geschreven?
No offense, maar het klinkt echt alsof je nog nooit een stukje code hebt geschreven...

Edit: gezien je leeftijd trek ik mijn vorige statement in.
Gewoon een kwestie van nostalgie a la 'vroeger was alles beter'...

[Reactie gewijzigd door Ayporos op 23 juli 2024 01:16]

[Verwijderd]

Gelukkig was vroeger niet alles beter. Maar de kwaliteit van het programmeren was "vroeger" echt wel beter.
Maar gelukkig, iedereen mag daar over denken wat gewild wordt. En als jij de programmeurs van nu betere code af vindt leveren dan de programmeurs uit de tijd van de zx-81, zx spectrum, etc. etc., daar heb jij net zo veel recht op als ik recht heb op de stelling dat de programmeurs van weleer veel betere programmeurs waren.

Oh ja, ik heb in machinetaal, assembler, C++, forth, cobol. lisp etc. etc. geprogrammeerd. Zowel professioneel als uit hobbyisme.Het voordeel van een extra belegen leeftijd.

[Grrrrrene]

Google wil toch de hele wereld mappen in 3D? Die zijn al druk bezig met indoor navigatie, Project Tango... Dat lijkt me (met Android) een krachtige partner die deze technieken graag wil pushen. Ik denk dat het inderdaad veel sneller gaat en het commercieel belang is er al. Ach, en de consument vindt dit ook wel gaaf natuurlijk, er komen vanzelf toepassingen voor VR en 3D printen, twee redelijke hypes van dit moment

[Knijper1962]

Ik wil wel een globe, met superrealistische definitie mogelijkheden. De hele aarde superfijn ge3dprint ( is dat een woord?) dan ga ik met een microscoop kijken op elk stukje dat me interesseert.

[SgtElPotato]

Matter & Form (correct me if i'm wrong) heeft dit al aardig goedkoop op de markt gebracht, alleen het is niet mobiel en de grootte van de spullen is best beperkt. Maar moet je je voorstellen idd dat die techniek in je smartphone zit en je on the fly dat standbeeld kunt scannen en opslaan om hem later in het klein 3d te printen!

[L0we]

Ik denk dat dat veel sneller kan gaan. Als je ziet dat het nu al een resolutie heeft van .1 mm, zou deze techniek daar al prima voor ingezet kunnen worden.

Het is nu vooral dat dit voor een ander doel wordt ontwikkeld, waardoor ik denk dat dit niet de hoogste prio heeft. Maar wie weet hoe de community daar wat mee kan als dit eenmaal in apparaten geleverd gaat worden

[fre0n]

Is dit een soort stripped down versie van lidar techniek?

[Amped]

Soort van.. Bij Lidar gaat het om de afstand van scanner tot object. Zodoende wordt vanuit 1 standpunt het object gescand en wordt een dieptemap opgebouwd.

Deze techniek lijkt een patroon op het object te schijnen waarna de software kijkt wat de onderlinge afstandsverschillen zijn en gaat het dus niet om de afstand van scanner tot object. Dat geeft denk ik veel meer flexibiliteit tijdens het scannen.

Maar zeker weten doe ik niet.

[Alex1995]

Dat infrarood systeem gebruikte de originele kinect ook ! Gaaf dat dat nu al in een telefoon past.

[Leon-B]

dat is best gaaf

[dutchnltweaker]

Wat heeft dit er mee te maken als ik vragen mag?

[Verwijderd]

iPhone 8 heeft op basis van soortgelijke IR 3D gezichtsherkenning aan boord.

Kennelijk heeft Qualcomm hier lucht van gekregen en kondigt nu snel vergelijkbare functionaliteit in toekomstige SoC's aan.

Dit lijkt een beetje op de manier waarop Qualcomm halsoverkop 64 bits implementeerde toen Apple de industry overviel met de 64 bits processor in de iPhone 5s.

Ik zie dus wel een overeenkomst

[Chip5y]

Apple overviel de industrie met 64bit processors? Het was van 2011 al geweten dat dit er aan kwam toen ARM voor het eerst ARMv8 en AArch64 voorstelde (2 jaar voor de A7 dus). Moest je niet weten wat dit is, dat is de instructieset waar Apple's 64bit A7 SoC op gebaseerd was.
https://www.arm.com/about...-the-arm-architecture.php

Iedereen was er al met bezig. Apple was als eerste klaar, wat zeker een verdienste is, maar het overviel de industrie zeker niet. Iedereen wist dat dit er aan kwam.

[Reactie gewijzigd door Chip5y op 23 juli 2024 01:16]

[Verwijderd]

Misschien had ik wat specifieker moeten zijn met 'mobile industry' ipv 'industry', maar Qualcomm was wel degelijk flabbergasted in 2013:
http://www.zdnet.com/arti...-hit-qualcomm-in-the-gut/

[Chip5y]

Niet echt een betrouwbare bron eh. Een 'anonieme medewerker van Qualcomm'. Eigenlijk dus weinig zeggend. Hier heb je een officiële voorstelling van ARM's eigen ARMv8 64bit Cortex cores van 2012 (1 jaar voor de A7 dus). Daarin kan je duidelijk zien dat bedrijven als een HiSilicon, Samsung, ... reeds in het bezit waren van licenties voor ARMv8 en AArch64. Het was mss net iets vroeger als eerst gedacht maar voor geen van die producenten kwam de 64bit mobiele CPU uit de lucht vallen.

http://www.anandtech.com/...rst-64bit-armv8-cpu-cores

P.s.: Plus tegen dan was al bekend dat Nvidia aan een 64bit Denver SoC bezig was.

[Reactie gewijzigd door Chip5y op 23 juli 2024 01:16]

[BikkelZ]

Ik dacht dat het wel ruim bekend was dat Qualcomm de 808 en de 810 met zo veel haast uitbracht na de eerste 64-bit ARM chip van Apple dat ze qua prestaties enorm slecht waren en in weze door de dominante positie van Qualcomm op de markt destijds er voor zorgden dat er veel problematisch telefoons op de markt kwamen? Samsung is mede daardoor ook zijn eigen chips gaan produceren.

Nu komt Apple met AR en biometrische herkenning en moét het ineens ook in de Qualcomm processors zitten terwijl ze feitelijk nog helemaal niks te laten zien hebben. "Een toekomstige processor". Tja.