Microsoft introduceert online AR- en VR-ontwikkelaarsplatform Mesh

Microsoft heeft Mesh geïntroduceerd, een online platform waarmee ontwikkelaars applicaties kunnen maken voor voornamelijk AR- en VR-headsets. Het gaat bij Mesh om applicaties waarbij meerdere mensen in dezelfde digitale omgeving samenwerken.

Mesh werkt met een cross-platform sdk waarbij gebruikers applicaties kunnen ontwikkelen voor AR- en VR-headsets, voor smartphones en voor pc's. De focus ligt wel op de headsets. Het draait bij Mesh om applicaties waarbij meerdere mensen gelijktijdig in een digitale omgeving werken. Daarom heeft Mesh bijvoorbeeld ondersteuning voor avatars, zodat gebruikers kunnen zien waar andere gebruikers staan. Deze avatars hebben een romp, hoofd en handen. De posities van deze lichaamsdelen zijn weer gebaseerd op de posities van de headset en de eventuele controllers van de gebruikers. Later moet het mogelijk zijn om 'fotorealistische holografische mensen' te zien.

Het ontwikkelaarsplatform heeft daarnaast ondersteuning voor spatial maps. Daarmee worden de caches van deelnemende apparaten gedeeld, zodat iedereen dezelfde voorwerpen op dezelfde manier ziet. Microsoft geeft het voorbeeld van meerdere mensen die samen digitaal een auto bouwen. Wanneer een gebruiker dan de vorm en locatie van een auto-onderdeel aanpast, zien de andere gebruikers dit ook. Mesh werkt daarbij met Azure, om ervoor te zorgen dat deze digitale voorwerpen door Azure gerenderd kunnen worden. Het voordeel daarvan is dat de voorwerpen op dezelfde manier gerenderd worden voor alle gebruikers, ongeacht computerkracht.

Microsoft hoopt met Mesh dat gebruikers AR- en VR-brillen meer gaan gebruiken om online met elkaar te gaan samenwerken. Daarom werkt het platform met veel verschillende apparaten, zoals de Microsoft HoloLens, HP Reverb G2 en de Oculus Quest 2. De sdk heeft nu ondersteuning voor Unity, C++ en C#. Later moeten daar Unreal, Babylon en React Native bijkomen.

Het bedrijf mikt met Mesh niet alleen op de zakelijke markt; ook Pokémon GO-ontwikkelaar Niantic experimenteert met Mesh. Microsoft heeft daarnaast zelf twee Mesh-apps ontwikkeld. Met de Microsoft Mesh App kunnen gebruikers Teams-achtige gesprekken houden in een AR- of VR-omgeving en 3D-content uit OneDrive importeren. De tweede Mesh-app AltspaceVR laat gebruikers live virtuele evenementen organiseren. Microsoft belooft Mesh in de komende tijd uit te breiden met meer functies en ondersteunde apparaten, engines en frameworks.

Reacties (33)

[ErwinPeters]

Doet me erg denken aan vrchat. Maar dan een formele oplossing die niet vol met anime girls zit.

[Fluttershy]

Waarom zou je geen vrchat willen met tekenfilmfiguurtjes die ogen en/of borsten zo groot als putdeksels hebben?

[ErwinPeters]

Omdat je vr wilt introduceren in een werkomgeving en serieus genomen wilt worden. Als zakelijke toepassing dus. Toevallig vandaag voorgesteld om te gebruiken als een koffie momentje. Teams leent zich daar niet voor omdat er maar 1 iemand in een groep tegelijk kan praten. In emotioneel belastend werk is een koffiemomentje belangrijk voor de duurzame inzetbaarheid van personeel en wil je op een natuurlijke manier bij iemand kunnen gaan zitten/staan en zo binnen gehoor afstand komen met wie je wil praten en buiten gehoor afstand met wie je niet wilt praten. Deze natuurlijke manier van waarnemen en interacteren maakt dit een uitgelezen vr toepassing, maar in een formele omgeving waar men zwaar, serieus werk doet hoef je niet met anime chicks en cartoon poppetjes aan te komen. Iets neutraals is dan beter.

Teambuilding activiteiten zijn ook uitstekend om in vr te doen.

[Reactie gewijzigd door ErwinPeters op 23 juli 2024 18:34]

[Oakley]

Ik heb toevallig net vorige week een demo gedaan bij het bedrijf Glue. De functionaliteit is ongeveer wat jij beschrijft in je virtuele "koffie momentje" maar kan ook voor sprints of andere meetings gebruikt worden (er is een whiteboard en je kan post-it notes maken met voice-to-text).
Een leuke gimmick is dat je kan kletsen op verschillende locaties, zo is er een eiland waar een schaakbord op staat. Geinig detail is dat je met z'n tweeën het water in kan lopen en onderwater een 1-op-1 gesprek met iemand kan hebben wat de rest weer niet kan horen.

[ErwinPeters]

Oh cool, ga ik eens naar kijken. Dank je wel voor de tip!

[SuperDre]

Sinds wanneer kan er in teams maar 1 persoon tegelijkertijd praten?

En teambuilding is zeker leuk in VR, maar wel prijzig.

[Reactie gewijzigd door SuperDre op 23 juli 2024 18:34]

[ErwinPeters]

Ok, dan ga je door elkaar heen lopen roeptoeteren op teams. Het kan technisch wel maar je hebt er niets aan omdat iedereen op hetzelfde volume gehoord wordt, net als dat je in een vergadering allemaal door elkaar heen praat. Daarom zeg ik, MS Teams, Zoom etc. zijn voor formele samenkomsten die door regels zijn definieerd (meetings, briefings, klaslokaal situaties), en lenen zich relatief slecht voor sociale bijeenkomsten. De kracht van VR (veel zouden het zonder hmd erbij misschien gewoon 3d noemen), is de natuurlijke bepaling van positie in de ruimte om zo te bepalen wie je luider hoort en wie jou luider hoort en met wie je minder interactie behoeft door in de virtuele wereld afstand te nemen met je avatar. Het praktische doel van VR (natuurlijke interactie met de omgeving om deze op en natuurlijke manier waar te kunnen nemen) is op het gebied van audio al bereikt wanneer je zelf het te ontvangen volume van andere sprekers kan reguleren op een manier die in het echt ook werkt (positie in de ruimte veranderen). Op dezelfde manier als in het echt (reality) doe je het in de virtuele wereld (virtual), door volume te reguleren met afstand in plaats van met een slider. In deze casus zou je dus kunnen beargumenteren vanuit een humanities perspectief dat wasd- besturing voor het reguleren van stemvolume al aan die definitie van vr voldoet (ik weet dat er meerdere zijn), je hebt in principe dan alleen een stereo-koptelefoon nodig en een laptop met een conventioneel scherm. Voor een verhoogd gevoel van immersie zou je ook een hmd kunnen gebruiken maar dat is in een audio-vr scenario als dit niet strikt noodzakelijk voor een natuurlijke waarneming en navigatie van de virtuele omgeving waar geluid het meest belangrijkste is.

Je hebt wel gelijk, een hmd zou het relatief duur maken en het laagdrempelige karakter waar vrchat wel over beschikt wegnemen. Ik hoop om die reden dat deze online-omgeving ook gewoon met muis/toetsenbord te navigeren is.

[Reactie gewijzigd door ErwinPeters op 23 juli 2024 18:34]

[CH4OS]

Ok, dan ga je door elkaar heen lopen roeptoeteren op teams.

Ik zie niet hoe dit buiten een videocall anders is of anders werkt? Dus zo raar is het toch niet dat er slechts een persoon tegelijk aan het woord is?

[hans_debruin]

Dat heet "Spatial Audio" als je verder bij iemand vandaan staat, hoor je hem zachter.
Op die manier kun je in een ruimte rondlopen en met mensen praten zonder dat mensen die iets verder weg staan dat hinderlijk horen.

Met Teams werkt dat gewoon niet omdat het volume altijd even hard is. Bij ons hebben we nu afgesproken dat we de "raise hand" functie gebruiken als iemand iets wil zeggen. Door elkaar heen praten geeft chaos.

VR/AR is echt de volgende stap in virtueel vergaderen.

[ErwinPeters]

Het zou een vr-casus zijn omdat participanten, net als in het echt, het volume tussen zichzelf en de andere participanten op een natuurlijke manier regelt door in de virtuele wereld afstand of nabijheid te te kiezen in relatie tot elkaar.

[Reactie gewijzigd door ErwinPeters op 23 juli 2024 18:34]

[sHELL]

Teams leent zich HEEL slecht voor sociale interactie. De mensen die verbaal niet sterk staan gaan in dit soort "verplicht sociaal zijn in een groepsgesprek" kapot aan. Als je in een bedrijf zit waar de baas een "verplicht" sociaal event heeft in een voice applicatie voor dat "koffie momentje" moet je dat DIRECT afschieten.

[CH4OS]

Ik ben iemand die vocaal niet sterk is, maar dergelijke koffiemomentjes altijd wel fijn vindt. Juist omdat ik dan met een aantal teamgenoten ben, die mij ook kennen e.d. Als alleenstaande thuis moeten werken is voor mij écht geen pretje.

[Reactie gewijzigd door CH4OS op 23 juli 2024 18:34]

[SuperDre]

Yep hier hetzelfde.

[djwice]

Teams leent zich daar niet voor omdat er maar 1 iemand in een groep tegelijk kan praten.

Ligt wellicht aan de licentie of cliënt die je gebruikt? Bij ons lijkt het of je gewoon elkaar in de reden kan vallen.

[Reactie gewijzigd door djwice op 23 juli 2024 18:34]

[ErwinPeters]

Dat is ook zo, maar een meeting is niet de sociale dynamiek van een koffie-momentje. De een wil even over zijn kat ouwehoeren en de ander heeft een nieuwe auto gekocht en weer een ander wil echt even ventileren over wat hij nou weer gehoord of gezien heeft tijdens het werk. Tuurlijk is de afspraak bij dergelijk werk dat je elkaar gewoon kan bellen. Er blijft mentaal een drempel bestaan dat iemand doelbewust daarvoor met iemand in een breakoutroom of aan de telefoon gaat hangen. Alles in dergelijke applicaties moet "uitdrukkelijk" en niet "impliciet". De noodzaak tot natuurlijk navigeren en bewegen maakt dit een uitstekende vr-casus.

Voor thuiswerken en anderhalve meter was de dynamiek dat mensen bij dergelijk werk afspraken dat er om 11 en 15 ofzo koffie werd gedronken. Mensen zochten dan hun vaste maatje of groepje op en hebben een natuurlijke, informele interactie. Als je als leidinggevende van zo'n afdeling nu iedereen op teams roept dan doet men even een rondje over hoe de dag gegaan is. Alles wat je dan vertelt dat gooi je dan in de hele groep. Veel mensen vinden het ongemakkelijk of ongepast om voor sommige zaken de aandacht van de hele afdeling te vragen. Het is dan een debriefing en geen koffiemoment. Het voelt geforceert of ongepast om sommige persoonlijke zaken met een hele afdeling te delen.

Teams en veel andere apps zijn gemaakt voor bijeenkomsten met formele regels, niet voor informele samenkomsten zoals bijvoorbeeld een videogame of vrchat. Het belangrijkste is in een informele setting is dat je bij iemand kan gaan staan voor een onderonsje en dat is bij een formele meeting juist niet de bedoeling omdat die regels en de ruimte zijn ingericht om efficient informatie met een groep te delen. Je plaats in de ruimte kunnen bepalen doet enorm veel voor een menselijke interactie en groepjesvorming. Dit is ook de reden dat vergaderingen zittend rond en tafel gebeuren en er bij feestjes vaak door een ruimte kan worden bewogen.

[jdh009]

Daar deed het mij ook aan denken maar dan meer met een Nintendo Mii mix erdoor zonder groot hoofd.
https://en.wikipedia.org/wiki/Mii

[Kaassaus3]

Mischien komt er ar chat dan 😆

[sHELL]

Ik denk VRChat uiteindelijk prima te gebruiken is voor formeel bedrijf recreatie, maar ik zit wel met de vraag of je personeel technisch die stap wel kan nemen. Je zult met een soort van training moeten komen. Tevens is het niet echt af te schermen voor invloeden van buitenaf en zitten nog steeds wat exploits in VRChat die private session hopping mogelijk maken.

[ErwinPeters]

Dat denk ik ook, maar door wat ik benoemde wel lastig te verkopen in bepaalde omgevingen.

[DefaultError]

Zo gaat het er inderdaad uitzien met AR en VR. Tof, Microsoft the future is here. Ben benieuwd naar een “live” voorstelling om dit mee te maken. Zeker handig als je instructies uitgelegd wilt krijgen zonder fysieke aanwezigheid.

Ben druk bezig om het Windows platform op te bouwen en kennis over te dragen aan een nieuwe generatie.

[AmigaWolf]

Zo gaat het er inderdaad uitzien met AR en VR. Tof, Microsoft the future is here. Ben benieuwd naar een “live” voorstelling om dit mee te maken. Zeker handig als je instructies uitgelegd wilt krijgen zonder fysieke aanwezigheid.

Ben druk bezig om het Windows platform op te bouwen en kennis over te dragen aan een nieuwe generatie.

Vind er niks tofs aan, aangezien mensen dan nog minder met elkaar omgaan, steeds minder contacten met andere mensen, is een grote probleem aan het woorden, vooral de laatste jaar.

[jimshatt]

Het idee is toch juist dat mensen wel met elkaar om kunnen gaan ondanks fysieke afstand? Ook zonder pandemie kan dit een voordeel zijn.

Natuurlijk is fysiek contact vooralsnog onmisbaar, maar wie weet wat de toekomst brengt. Wellicht is AR/VR over 10 - 20 jaar zo ver gevorderd dat er nauwelijks onderscheid te maken is. Zeker als we brain-computer interfaces in de mix gooien.

[AmigaWolf]

Het idee is toch juist dat mensen wel met elkaar om kunnen gaan ondanks fysieke afstand? Ook zonder pandemie kan dit een voordeel zijn.

Natuurlijk is fysiek contact vooralsnog onmisbaar, maar wie weet wat de toekomst brengt. Wellicht is AR/VR over 10 - 20 jaar zo ver gevorderd dat er nauwelijks onderscheid te maken is. Zeker als we brain-computer interfaces in de mix gooien.

Ja en dat moeten we echt gaan willen, nee dank je, er is niks meer belangrijks dan echte contact hebben met andere mensen, want we zijn echt de verkeerde kant opgegaan, eenzaamheid en zelfmoord is nog nooit zo erg geworden als de laatste maanden.

[jimshatt]

Dat is dan jouw mening en die mag je hebben. En ik geloof je op het gebied van eenzaamheid en zelfmoord, wat natuurlijk vervelend is.

De tijd zal het leren, maar ik zie het glas liever als half vol.

[DefaultError]

Er is een mogelijkheid om in contact te komen als je je niet gehoord voelt. Mensen die dag en nacht klaar staan en goede moed hebben. 0800-0113

[theduke1989]

Is niet echt soeps dan voor de nieuwe generatie..

[jimshatt]

Hoe bedoel je? Virtuele soep is inderdaad een beetje flauw.

[Menesis]

Het lijkt allemaal enorm op Spatial.io, haast een kopie. Maar Mesh kun je als het goed is ook gebruiken als collaboration manager in je eigen apps.

Dit alles werd vandaag overigens al in een live mixed reality presentatie getoond in AltSpaceVR, dat was erg indrukwekkend. Met Alex Kipman als 3D hologram. James Cameron kwam ook langs en vertelde over zijn deep sea exploration, waarbij zijn onderzeeër als 3D model opdook en een reuzeoctopus door de zaal vloog. Allemaal heel trippy en absoluut de toekomst. Het zal nog even duren maar Teams gaat gelukkig ook iets heel anders worden op den duur

[Reactie gewijzigd door Menesis op 23 juli 2024 18:34]

[DefaultError]

Zelfs als je wel in een ruimte zou kunnen zijn is het nog steeds een beleving! Cheers. Ben Teams aan het testen hoe gebruiksvriendelijk het is. Met hoe weinig middelen is het toegankelijk en vervolgens toepasbaar op het os. Als gebruiker beschik je namelijk niet altijd de skills om deel te nemen aan een digitaal platform.

Platform gebonden usability is nog steeds gaande, dus actueel. Nu we met z’n allen overgeleverd zijn aan en afhankelijk zijn van webinairs.

[djwice]

Teams geluidje. Ik denk dat wordt de meest gebruikte toepassing. Als het betaalbaar is voor thuis. En daarnaast online dating.

De rest ach, ziet er niet echt heel veel beter uit als andere AR, toch?

[Zwaai Haai]

aaah. Dat teams geluidje op 1:42, ik stopte de video omdat ik dacht dat ik door een collega gebeld werd in teams.

[djwice]

[vrmeulen]

Ze kunnen mooie filmpjes maken, dat zeker! Ik ben elke keer enorm enthousiast en zou er zelf ook graag mee aan de slag gaan.

Waar ik wel enorm moe van wordt zijn voorstellingen van technieken die in de nabije toekomst nog lang niet mogelijk zijn. Bijvoorbeeld: elkaar kunnen zien als fotorealistische hologrammen. Dit is nog niet mogelijk zónder een een systeem met bijzonder intelligente 3D camera's/scanners, hetgeen nog uitgevonden dient te worden.

Als je dit in een sci-fi film of serie ziet dan wéét je dat je sci-fi kijkt; dit wekt echter de verwachting dat we elkaar in de nabije toekomst kunnen zien met een Hololens 2 set. Het enige wat vooralsnog mogelijk is is het weergeven van een avatar die de rol van de andere persoon vertolkt, dit was hier alleen te zien in het vliegtuig/aanvliegroute voorbeeld.

Ik zou heel graag een echt voorbeeld zien van een fotorealistische hologram in een live sessie, zoals in dit filmpje veelvuldig wordt gesuggereerd. Heeft iemand al ergens zoiets gezien?