Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Google Research toont uitdrukkingen vr-brildrager in mixed reality

Door , 13 reacties

Daydream Labs en Google Research experimenteren met technologie om buitenstaanders te tonen wat een persoon met vr-bril in virtual reality ziet, inclusief de gezichtsuitdrukkingen van die persoon. Ze 'verwijderen' bij de mixedreality-weergave de vr-bril.

Volgens Google is het een probleem dat je niet kan zien wat een vr-brildrager ziet en is het ook een obstakel dat meerdere personen in een vr-omgeving elkaars gezichtsexpressie niet kunnen zien. Met avatars kan dat laatste wel, maar Google test met mixed reality om tot een weergave te komen waarbij virtual reality en de werkelijke persoon gecombineerd worden.

De onderzoekers genereren daarvoor met een camera een 3d-model van iemands gezicht, wat minder dan een minuut duurt. Vervolgens bouwen ze een database met uitdrukkingen als kijkrichtingen en oogknipperen door gebruikers naar een bewegend punt op het scherm te laten kijken.

Voor de mixedrealitybeelden neemt een camera simpelweg de gebruiker voor een green screen op, om de weergave van de virtualrealitywereld daarna op de achtergrond te projecteren. Een marker op de headset helpt bij de kalibratie tussen camera en vr-bril. Door deze kalibratie kan het 3d-gezichtsmodel over de vr-bril gelegd worden, ook als de gebruiker zijn hoofd beweegt.

In de HTC Vive die de onderzoekers gebruiken, zijn oogtrackingtechnieken van SMI verwerkt. De informatie van die sensoren wordt gekoppeld met de database met oogbewegingen, waardoor een realtime-representatie van de ogen over de vr-bril gelegd kan worden. Google gebruikt 3d-vision- en machinelearning-technologie om lichtval en andere aanpassingen door te voeren die de weergave natuurlijker maken.

Daydream Labs en Google Research verwachten dat de sociale interactie in vr-omgevingen gaat toenemen. Hun experimenten om de headset minder aanwezig te maken, kan helpen bij natuurlijker weergave van videoconferencing en gaming in vr, zo verwachten ze.

Olaf van Miltenburg

Nieuwsco÷rdinator

22 februari 2017 12:28

13 reacties

Linkedin Google+

Reacties (13)

Wijzig sortering
Ligt het nou aan mij of is dit ongekend nutteloos?

Ik snap dat het misschien ook een proof of concept is, maar toch
Ik vermoed dat je geen ervaring hebt met het gebruik van bijvoorbeeld de vive in een metaverse, echt een heel bijzondere ervaring om een potje tafeltennis te spelen met iemand van overzee. Juist de non-verbale communicatie die over te brengen is met dit systeem maakt het zo`n toffe ervaring, het kunnen aanwijzen/juichen/slaan/aaien etcetc. Ik juich de toevoeging van elke vorm van non-verbale communicatie dan ook toe.

Juist het sociale aspect is wat VR in de toekomst groot gaat maken bij de massa.

[Reactie gewijzigd door MrJoinT op 22 februari 2017 12:41]

Klopt.

Zolang je uit de kluiten gewassen headsets, zoals de HTC Vive, Oculus Rift of de Hololens nodig hebt, blijft er een rem staan op virtuele interactie door de afwezigheid van gezichtsuitdrukkingen.

Ik denk dat dit een goede tussenoplossing is, tot we 'gewone' VR/AR-brillen of lenzen hebben.
De hololens past niet in dit rijtje.
Ja het is redelijk uit de kluiten gewassen , maar doorzichtig.
Zodat je wel de persoon door de bril kan zien.
Al is het meer een persoon met een slechte zonnebril op.

Hier vind ik het meer duidelijk het onderscheid tussen MR en AR
En hololens is veel meer AR, omdat je constant de echte realiteit kan zien
Google maakt hier duidelijk de mix van VR en realiteit, door het importeren van echte omgeving in de VR, iets wat veel minder nodig is bij de hololens omdat deze boven de realiteit projecteert.
Het is niet nutteloos, het stelt mensen in staat een digitale kopie van hun gezicht in software en games te gebruiken wat weer voordelig is voor het personaliseren van onze technologieen die we dagelijks gebruiken. Ik vind dit allemaal prachtig en denk dat we in 10 jaar tijd genoeg data hebben om zowaar kopieen van onszelf te maken. Gaat wel nog wat moeite kosten maar het moet te doen zijn. Voor de genen die het nog steeds nutteloos vinden, denk aan al je accounts waar al je gegevens opstaan want het komt ongeveer neer op ongeveer hetzelfde concept.
Daar zou je virtual reallity niet voor nodig hoeven te hebben. ik speelde 10 jaar geleden al games waarin je een foto kon maken van je eigen gezicht en deze op je poppetje kon plakken.

Ik vind het er persoonlijk maar gaar uit zien.

Wel grappig trouwens dat google beelden vrijgeeft van een gast met een apple watch 8)7
Je onderschat de wereld van zoiets als second life. Laat staan Japanse "natuur" technieken waarbij je elkaar dus ziet zoals je ook echt kijkt (en eruit ziet ;) )
Het is niet nutteloos als je nog op een klassieke manier (2D, youtube) iemand in VR aan het werk wil zien.

Body language (waar iemands ogen naar kijken) is zeker nuttig in een instructie video bvb.

Ik denk bvb ook aan acteurs die feedback kunnen krijgen door een VR bril tijdens green-screen opnamen, dus een stapje verder dan de aanduidingskruisjes.
Als je over alles denkt wat bedacht word, hadden we nu geen virtual reality.

"Want we kunnen toch ook 20 schermen om ons heen zetten?"
Goede vraag, maar nee, ik denk dat het absoluut niet nutteloos is. Ik geloof dat er nooit een serieuze VR markt kan komen zonder deze techniek veel verder te ontwikkelen. VR vraagt om meer dan goede visuele input. Zeker voor sociale VR (wat de enige manier is om de markt open te breken) moeten gezichtsuitdrukkingen en lichaamstaal volledig fotorealistisch overgedragen kunnen worden; wanneer dit niet lukt is dit veel erger voor de immersie dan wat te weinig pixels in je display. Mensen zijn enorm gevoelig voor net-niet-natuurlijke weergave van menselijk gedrag en emotie. Dit bekende fenomeen in de robotica heet de 'uncanny valley'; hoe meer een robot objectief op een mens lijkt, hoe minder menselijk we hem ervaren, totdat je het punt bereikt waarop hij helemaal niet meer van een echt mens te onderscheiden is; pas dan wordt de illusie geloofwaardig. Voor VR geldt ongetwijfeld precies hetzelfde.
Erg gaaf. Dit maakt inderdaad het delen van virtuele ervaringen via mixed reality een stukje aantrekkelijker.
Ik ben echter benieuwd of ze dit ook in virtual reality gaan integreren, door bijv. je avatar je eigen gezicht te geven. Dat zal nog wel wat meer moeite kosten, aangezien er dan een standaard moet komen waar game makers support voor kunnen leveren.

Op dit item kan niet meer gereageerd worden.


Apple iPhone X Google Pixel XL 2 LG W7 Samsung Galaxy S8 Google Pixel 2 Sony Bravia A1 OLED Microsoft Xbox One X Apple iPhone 8

© 1998 - 2017 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Hardware.Info de Persgroep Online Services B.V. Hosting door True

*