De strijd om de metaverse

Voor Epic Games en Roblox is de metaverse dus belangrijk, maar voor Zuckerberg en zijn team ook. Zó belangrijk zelfs dat Facebook, Inc. van naam verandert. Die aankondiging maakte Zuckerberg tijdens de Connect-keynote. Normaal draait deze keynote om nieuwe VR-hardware en -software die het bedrijf dat jaar nog op de markt wil brengen. Concrete producten dus. Tijdens de keynote van donderdag 28 oktober keek Zuckerberg echter vooral naar de toekomst van VR, AR en de metaverse, en hoe deze technieken in de toekomst moeten samenkomen om die metaverse te kunnen verwezenlijken. In plaats van een tiental maanden, keek het bedrijf een tiental jaren vooruit.

Van homespace naar Space Room

Zuckerberg begon zijn metaversepresentatie met een virtuele ruimte: de 'homespace'. Dit is het virtuele huis van een gebruiker, dat in Meta's visie als startruimte voor de metaverse gaat fungeren. Deze homespace kan virtuele onderdelen van je fysieke huis bevatten, maar moet vooral een plek zijn waar een gebruiker zijn of haar fantasie kan loslaten om een eigen, ideaal huis te bedenken. Zie het als het bouwen van een Sims-huis, alleen dan niet voor je zelfbedachte personage, maar voor de virtuele jij.

Na een korte rondleiding kreeg Zuckerberg een bericht van een bevriende gebruiker, die hem vroeg of hij naar de Space Room wilde komen. Zodra Zuckerberg had bepaald hoe zijn avatar er voor anderen moest uitzien, kwam hij in een virtuele ruimte terecht met vier anderen. Deze hadden zelf ook een eigen avatar gekozen. Drie hiervan leken op virtuele versies van henzelf, de vierde zag eruit als een robot.

Deze 'ruimtekamer' was gemaakt door een 'creator'. Hiermee doelde Meta vermoedelijk op onafhankelijke ontwikkelaars en ontwerpers die bepaalde onderdelen van de metaverse zelf kunnen maken. Het vijftal speelde een potje poker, maar intussen bedacht Zuckerberg dat ze nog een speler misten: Naomi. Via Instagram startte hij een spraakoproep, die werd opgenomen door Naomi. Ze liep buiten in de 'echte wereld' op straat. Naomi zag net een AR-graffiti-muurschildering, die met bijvoorbeeld een AR-bril 3d-effecten kreeg. Ze stuurde de 'link' van de muurschildering naar Zuckerberg, die de kunst weer deelde met zijn metaversevrienden. Zo konden Zuckerberg en zijn vrienden om de digitale kunst zweven - ze zaten immers in een ruimtekamer - en naar kunst kijken die een vriendin eerder op straat zag.

Van homespace tot 3d-kunst nam maar een paar minuten in beslag, toch liet Meta zo zien wat de metaverse in zijn ogen zal zijn. Beter gezegd, wat een deel van de metaverse zou kunnen zijn. Er is interactie met verschillende mensen in dezelfde virtuele ruimte, VR en AR gaan een grote rol spelen, en je kunt je eigen avatar samenstellen die door anderen wordt gezien. Ook werd duidelijk dat er verbinding zal zijn met andere apps, in dit voorbeeld Instagram, en dat gebruikers zelf onderdelen van de metaverse kunnen ontwikkelen. Denk maar aan die Space Room en de AR-kunst.

Het gevoel van aanwezig zijn

Wat volgens Zuckerberg echter de 'defining quality' is van de metaverse, is 'the feeling of presence'. Ofwel, het gevoel dat je er daadwerkelijk bent. Je zult gezichtsuitdrukkingen van anderen zien en hun lichaamstaal: subtielere communicatiemethoden die met de huidige technologie moeilijk zijn over te brengen, zegt Meta's ceo. Om dit te kunnen verwezenlijken, zijn die avatars zo belangrijk. Ze zullen niet alleen een virtuele weergave zijn van de gebruiker, zoals profielfoto's dat nu zijn, maar ook de uitdrukkingen en lichaamsbewegingen van een gebruiker weergeven.

Zuckerberg denkt niet dat gebruikers tot één avatar beperkt zullen zijn, maar juist verschillende avatars voor andere doeleinden zullen hebben. Een 'fotorealistische' avatar zul je voor werk gebruiken, terwijl een informelere avatar voor gesprekken met vrienden zal zijn. En die eerder genoemde robotavatar? Die komt weer van pas als je gaat gamen.

Om virtuele avatars realistischer te kunnen maken, werkt Meta aan nieuwe hard- en software. Een voorbeeld is Project Cambria. Dit wordt een 'dure' VR-bril die niet binnen de Quest-lijn gaat vallen en die nieuwe technologie zal bevatten. Met dergelijke niet-Quest-brillen wil Meta technologie zich in de praktijk laten bewijzen en deze functies naarmate ze goedkoper worden, in Quest-brillen verwerken.

Deze bril zal sensoren bevatten die de ogen en gezichtsuitdrukkingen van gebruikers volgen. Deze oogbewegingen en uitdrukkingen kunnen dan weer in de virtuele wereld worden getoond. Stel dat je een vergadering hebt in een VR-omgeving, waarbij je met zes collega's om een ronde tafel zit. Als je in de bril naar een collega rechts van je kijkt, zal de bril dit herkennen en maak je daarmee virtueel oogcontact met je collega. De uitdrukkingensensoren, vermoedelijk camera's, kunnen weer doorgeven hoe je je voelt als je voor het eerst sinds begin 2020 oogcontact maakt met een collega.

Project Cambria moet daarnaast camera's aan de buitenkant krijgen die in hogere resolutie en in kleur mixed-reality-pass-through mogelijk maken. Ofwel, ze kunnen beelden van de fysieke wereld doorgeven. Het idee is dat je aan een bureau kunt zitten waarop pen en papier liggen. In de virtuele wereld werk je op een computer, maar ineens bedenk je dat je iets fysiek wilt opschrijven. Dankzij die mixedrealitybeelden zie je in de virtuele omgeving waar de pen en het papier liggen en kun je ze pakken. Meta spreekt over sensoren met reconstruction-algoritmes die diepte en perspectief kunnen doorgeven. De bril moet volgend jaar verschijnen; het bedrijf gaat dan ook de AR-bril Nazaré tonen.

Project Cambria

Betere avatars en EMG-armbandcontrollers

Naast doorgeven wat de spieren op het gezicht doen, kijkt Meta ook naar hoe de rest van de avatar eruitziet. Het bedrijf wil zowel fotorealistische avatars mogelijk maken als avatars die je naar wens kunt aanpassen. Meta ontwikkelt daarom nieuwe haar-en-huidrenderingstechnieken en -belichtingstechnieken, waarbij gebruikers hoofd- en gezichtshaar kunnen aanpassen. Ook werkt het bedrijf aan technieken die kleren beter simuleren, waarbij je stof realistisch kunt laten bewegen door die aan te raken of door de stof uit te strekken. Meta erkent echter ook dat fotorealistische avatars een risico op misbruik met zich meebrengen. Daarom denkt het bedrijf aan technieken om dit te voorkomen, zoals de blockchain en geauthenticeerde accounts.

Op het vlak van controllers blijkt Meta verder te willen gaan dan de handcontrollers die het bedrijf nu levert. Het denkt dat bij bijvoorbeeld AR-brillen neurale interfaces belangrijk zullen zijn. Specifiek kijkt Meta naar de EMG-input van polsspieren, gecombineerd met contextualised AI. Mensen hebben volgens Meta ongebruikte neuromotor pathways: eenvoudige 'en misschien onmerkbare gebaren'. Sensoren zounden deze neuromotorsignalen kunnen omzetten in virtuele bewegingen in de metaverse.

Hiervoor toont Meta een video waarbij iemand met flinke polsbandjes zijn vinger of hand beweegt en daarmee, door losse letters te selecteren op een menu, tekstberichten kan sturen naar een vriendin. Ook kan deze gebruiker met simpele swipes door een menu navigeren. Meta ziet toekomst in deze techniek en denkt dat gebruikers hier uiteindelijk geavanceerdere handelingen mee kunnen doen, zoals schrijven op een fullsize-virtueel toetsenbord of schieten met pijl en boog. Het gaat nog om experimentele prototypen; wanneer het product te koop moet zijn, is niet bekend.

EMG Facebook Meta metaverse