Microsoft en Volkswagen maken HoloLens 2 inzetbaar in bewegende voertuigen

Microsoft en Volkswagen hebben samengewerkt aan algoritmes die de HoloLens 2 beter inzetbaar moeten maken in continu bewegende voertuigen. Dat was voorheen niet mogelijk omdat de sensoren van de AR-headset in de war raakten in bewegende voertuigen.

Uit een blogpost van Microsoft blijkt dat de Duitse autofabrikant in 2015 al aan het onderzoeken was hoe men augmented reality kon inzetten in het autoverkeer. Volkswagen gebruikte hiervoor onder andere de HoloLens-AR-brillen van Microsoft, maar liep tijdens de tests met die bril naar eigen zeggen tegen problemen aan. "Wanneer de AR-bril in een bewegend voertuig werd geplaatst, slaagden de sensoren er niet meer in om de omgeving te tracken en hierdoor verdwenen de hologrammen in het scherm", aldus een medewerker van het bedrijf.

Volkswagen deelde de problemen met het team van Microsoft dat instond voor de ontwikkeling van de Hololens en de twee bedrijven besloten in 2018 om het probleem te onderzoeken en er een oplossing voor te bedenken. De onderzoekers kwamen er op die manier achter dat camera’s in de AR-headset geen beweging konden detecteren in een rijdend voertuig terwijl de interne bewegingssensoren dat wel konden.

Zo ontstond er een discrepantie tussen de gegevens die beide sensoren konden verzamelen, waardoor de bril niet meer goed functioneerde. Er werd vervolgens een algoritme ontwikkeld dat het verschil in meetresultaten van beide sensoren moest verhelpen en dat algoritme werd nadien uitvoerig getest en goed bevonden.

Microsoft lichtte begin 2022 bedrijven in over de vooruitgang die het had gemaakt. Volgens het Amerikaanse bedrijf toonde al enkele maritieme organisaties interesse om de Hololens 2, dankzij de nieuwe technologie, in te zetten in hun maritieme werkomgeving die ook vaak veraf gelegen is. Momenteel werkt de functie volgens Microsoft op grote schepen, maar het bedrijf is naar eigen zeggen druk in de weer om het platform ook compatibel te maken voor het gebruik in bewegende liften, treinen, wagens en andere bewegende omgevingen.

HoloLens 2-hologrammen

Wat vind je van dit artikel?

Geef je mening in het Geachte Redactie-forum.

Door Jay Stout

Redacteur

05-05-2022 • 20:45

33 Linkedin

Reacties (33)

Wijzig sortering
beetje gemiste kans... ze hadden gewoon de route op de weg kunnen projecteren..
Ik heb die vraag wel eens vaker gesteld, en de reden dat dat nog niet 'kan', is omdat je dan 'over' objecten moet tekenen die je juist wel goed moet kunnen zien. Zit er een enorm gat in de weg, wordt net die blauwe lijn van de navigatie er overheen getekend...
Maar dit is sowieso hartstikke illegaal. Je mag niks dat afleidt in je gezichtsveld hebben.

Als een politieagent je hiermee ziet rijden krijg je gewoon meteen een fikse boete onder artikel 5
Je mag een bril dragen in de auto, je mag informatie projecteren op je voorruit. Lijkt mij dat zolang de bril en de informatie je zicht niet teveel belemmeren dat er wettelijk geen probleem is.
Je hololens crasht en opeens zie je niks meer... boem.
De Hololens projecteert een beeld op een glas dat voor je ogen zit. Als de hololens crasht en niets meer zou projecteren, zie je gewoon alsof je door een bril ziet.

Als het daarentegen een blue screen gaat tonen xD
Dat is niet hoe de hololens / AR in het algemeen werkt volgens mij. Die werken met een vrijwel transparant scherm. Ben wel benieuwd naar hoe het vergelijkt met een zonnebril dragen in een tunnel / in de avond.
Waar jij aan denkt is een 'passthrough' VR systeem, dan zou je inderdaad niks meer zien.
Ah, okee, sorry. :)
Klok/klepel. De letterlijke wettekst uit de Regeling Voertuigen art. 5.2.42 luidt
2.
De voorruit en de naast de bestuurderszitplaats aanwezige zijruiten van personenauto’s mogen niet zijn voorzien van onnodige voorwerpen die het uitzicht van de bestuurder belemmeren..
Een tomtom in de hoek valt daar niet onder want belemmert het uitzicht niet, een projectie van informatie (HUD) valt daar ook niet onder want geen voorwerp. En wat jij met jouw bril doet is jouw zaak, dat valt onder het bekende kapstokartikel 5 van het RVV
Artikel 5
Het is een ieder verboden zich zodanig te gedragen dat gevaar op de weg wordt veroorzaakt of kan worden veroorzaakt of dat het verkeer op de weg wordt gehinderd of kan worden gehinderd.
Dus als jouw bril dat wel veroorzaakt mag het niet, maar dat is niet strikt een binair aspect of het 'afleidt' in jouw gezichtsveld.
Ik heb die vraag wel eens vaker gesteld, en de reden dat dat nog niet 'kan', is omdat je dan 'over' objecten moet tekenen die je juist wel goed moet kunnen zien. Zit er een enorm gat in de weg, wordt net die blauwe lijn van de navigatie er overheen getekend...
Niet perse, systeem gaat je wel daarvoor waarschuwen… want het is zijn plicht om mensen levens te redden. En desnoods wat alternatieve routes berekenen om een grote gat uit te wijken.

EN ik ben ook mee eens dat de beelden op wegdek moeten tonen, want het is makkelijker te tonen waar je heen moet. Want anders moet je elke keer naar het scherm kijken… niet echt veilig! Voor de doven kunnen ze pratende autonavigatiesystemen niet horen. Daarom ben ik voorstander voor de beelden op autoweg te tonen.

Ik HOOP dat de autofabrikanten het ook aan gedacht hebben.

[Reactie gewijzigd door DarkAngelX2 op 5 mei 2022 21:32]

Volgens mij wordt vooral ingezet op autonoom rijden. Dan is een hele navigatie interface weer niet nodig. Geen idee hoe dichtbij dat is.
Volledig autonoom rijden duurt nog wel even. Voorlopig mogen we blij zijn met lane assist en adaptive cruise control, maar alle systemen die verder gaan (zoals die van Tesla) gaan nog heel veel tijd nodig hebben tot ze goed genoeg zijn om écht een chauffeur te vervangen
Ja en nee. Het is natuurlijk niet makkelijk om auto's zelfrijdend te maken. Je hebt enerzijds natuurlijk te maken met de hard- en software die daarvoor nodig is. Anderzijds heb je ook te maken met de complexiteit van de omgeving. Er zit hierin een duidelijke wisselwerking.

In Nederland hebben we bijvoorbeeld ervoor gekozen om vrij ingewikkelde belijning aan te brengen op de weg om ook aan te geven welk soort weg het betreft en welke snelheid hier geldt. Andere landen doen dat weer expliciet niet. Dit zorgt er bij mijn auto voor dat deze regelmatig 'miept' over vermeend verlaten van de weg op 60 km wegen of bij fietsstroken. Ook onze 'geniale' spitsstroken stroken niet met wat internationaal gebruikelijk is: de belijning in de de buurt van op- en afritten is verwarrend voor zelfrijdende auto-systemen. Ook de drang om binnen de bebouwde kom wegen te versmallen, bochtradiussen te verkleinen en obstakels aan te brengen is niet bevorderlijk. In Oostenrijk heb je weer heel weinig borden en wordt voorrang geregeld met een simpele streep op de weg.

Hard- en software gaat met sprongen vooruit. Ik was heel tamelijk onder de indruk van Tesla's FSD: zelf een keer mee mogen rijden een jaar geleden. Onder de indruk gegeven de complexiteit in de omgeving.
Volgens mij wordt vooral ingezet op autonoom rijden. Dan is een hele navigatie interface weer niet nodig. Geen idee hoe dichtbij dat is.
navigatiesystemen kunnen nog nuttig zijn want als je iets leuks ziet waarvoor je wilt stoppen en of omrijden, dan geef je een opdracht dat je even ergens naartoe wilt gaan, daarna kan het systeem vorige opdracht vervolgen.
Ja, het idee klopt, maar nu gaat het systeem dus dingen wegnemen van de berijder, waar dat tot nu toe wel aan de berijder overgelaten kon worden. Met andere woorden, het systeem is dan volledig verantwoordelijk voor het spotten en afhandelen van het probleem, en de berijder kan dat niet meer. Best wel een groot verschil natuurlijk, en ook qua wetgeving 20 jaar te vroeg...
[...]
EN ik ben ook mee eens dat de beelden op wegdek moeten tonen, want het is makkelijker te tonen waar je heen moet. Want anders moet je elke keer naar het scherm kijken… niet echt veilig! Voor de doven kunnen ze pratende autonavigatiesystemen niet horen. Daarom ben ik voorstander voor de beelden op autoweg te tonen.
Dit gaat om een projectie in de MS Hololens, dat is dus geen scherm maar zit al in je blikveld. En de Hololens houdt je gehoor gewoon in stand - maar als je al doof bent maakt dat dus niet uit (of begrijp ik je nu verkeerd..).

Ik vind de 3D-projectie op het dashboard juist mooi - en lijnen in je blikveld zouden het systeem juist onveiliger maken, erg lastig rekening houden met overstekende mensen die net achter de lijn zitten. En de blauwe pijl in het midden lijkt mij duidelijk genoeg.
Ik denk net dat projectie op het wegdek veiliger kan zijn dan projectie op het dashboard of een zwevende pijl in de lucht, mits je een aangepaste visualisatie gebruikt.

Ga je heldere objecten tonen, dan kan het inderdaad zijn dat je ongewenst objecten gaat afdekken. Bijkomend, zit je met het probleem dat de focusafstand tot het display anders zal zijn dan de focusafstand tot het wegdek. Dat betekent dat de ogen zich moeten aanpassen als je wisselt tussen virtueel object en wegdek, hetgeen even kan duren (nuja, hetzelfde gebeurt bij het kijken naar gps of snelheidsmeter, en is misschien niet zo een groot probleem).

Hiermee rekening houdend zou je de Hololens kunnen gebruiken om het wegdek/rijvak/... van de af te leggen weg subtiel in te kleuren (bvb door een donkere brede lijn te renderen ipv een heldere smalle lijn. Donkere objecten zijn immers transparant op de Hololens). Op die manier verberg je geen objecten en krijg je ook de hint van de af te leggen weg terwijl je ogen gefocust zijn op het wegdek.
Projectie op het wegdek kan wel als nadeel hebben dat het storend werkt waar het aankomt op het waarnemen van de gehele omgeving, daar heb ik bij info op de voorruit geen last van.
Transparante lijnen, of een dunne.
Het hoeft geen dikke blauwe massieve pijl te zijn.
ze hadden gewoon de route op de weg kunnen projecteren..
Mercedes en Audi zijn daar op het moment mee bezig, nieuwe generatie koplampen die eigenlijk vergelijkbaar zijn met DLP beamers.
Op het moment projecteren ze bepaalde zaken al op de weg, zoals voetganger waarschuwingen ed. in de toekomst zullen er ook navigatiepijlen geprojecteerd kunnen worden.
Duurder dan een HUD, maar zal uiteindelijk wel betaalbaarder worden.
https://www.youtube.com/watch?v=VpFkV1GTwoE
Handig zo midden in je gezichtsveld :P
Ach, dat is geen belemmering, heb het met de huidige HUD in mijn wagen ook, eerst let je erop, daarna is het een nuttig middel die je continu bewust maakt, zonder dat het irritant of hinderlijk is.
Als de blauwe pijl enigszins de realiteit weergeeft maak ik me wel een beetje zorgen. Een motorrijder (ik dus) valt helemaal weg achter die pijl. Ik moet al genoeg bellende/appende/krantlezende/agenda bijwerkende/half-slapende automobilisten/fietsers ontwijken. Ik weet niet hoe veel ik er nog bij kan hebben.
Die blauwe pijl is wel wat slecht gemaakt, een HUD kan natuurlijk nooit zo solid zijn. Er zit altijd transparantie in aangezien het een projectie is. Daarnaast lijkt het me dat je de opacity van de HUD gewoon kan instellen, dat heb ik mij ook (ingesteld voor de night mode omdat de HUD by default best fel kan zijn).
Ik probeerde een bron te vinden, maar bewegende objecten dichtbij verstoren de 'indirecte perceptie' en waargenomen 'flow' (zeg maar mentaal construct van zicht) van objecten die erachter / verder weg bewegen. Daar zijn onze hersens dus ook niet op gebouwd.

Maar de enige oplossing is dan het voorkomen van accomodatie van de ogen naar objecten dichtbij, daar komt de AR headset om de hoek kijken (ipv projectie op de ruit), daarmee kan je het juiste focus 'parallel view' beeld aanbieden, mits eye-tracking.. my oh my.. ik denk dat ik weer even de waarschuwende en voorzienende Black Mirror netflixserie opnieuw ga kijken..

Ik denk dus dat dit voor hulpdiensten / defensie wel nuttig is, maar niet voor burgers / gewone automobilisten.
het is wel slaagden ipv sloegen
Aangepast! Bedankt om dit op te merken :)
Ik kan mij best voorstellen dat dit handig kan zijn bij navigeren maar het zijn en blijven zeker in een doorsnee auto gewoon hulpmiddelen. Mooi voorbeeld vind ik wel op het Youtubekanaal van een Amerikaanse sleepdienst in een berglandschap. Hoe vaak dat mensen daar vertrouwden op hun camera's en vervolgens dan in de greppel naast de weg belanden. Vooral diepte zien in het donker is nogal een punt voor vele camera's dus vertrouw nooit 100% op allerlei elektronische foefjes.
Vandaar dat TESLA een hybrid vorm van herkenning heeft: LIDAR plus pattern recognition in het voertuig zelf. Niet in een 1 of andere bril , die weer extra degrees of freedom heeft.
Ik zie er een hoop rijden tegenwoordig dus hoe bedoel je dat ze niet bruikbaar zijn?
Man dat is een partij oud nieuws. Heb je nog meer ouwe koeien om uit de sloot te halen?
Wij hebben een ID3 met 0 problemen. Waar haal jij deze onzin vandaan?

Op dit item kan niet meer gereageerd worden.


Nintendo Switch (OLED model) Apple iPhone SE (2022) LG G1 Google Pixel 6 Call of Duty: Vanguard Samsung Galaxy S22 Garmin fēnix 7 Nintendo Switch Lite

Tweakers vormt samen met Hardware Info, AutoTrack, Gaspedaal.nl, Nationale Vacaturebank, Intermediair en Independer DPG Online Services B.V.
Alle rechten voorbehouden © 1998 - 2022 Hosting door True

Tweakers maakt gebruik van cookies

Tweakers plaatst functionele en analytische cookies voor het functioneren van de website en het verbeteren van de website-ervaring. Deze cookies zijn noodzakelijk. Om op Tweakers relevantere advertenties te tonen en om ingesloten content van derden te tonen (bijvoorbeeld video's), vragen we je toestemming. Via ingesloten content kunnen derde partijen diensten leveren en verbeteren, bezoekersstatistieken bijhouden, gepersonaliseerde content tonen, gerichte advertenties tonen en gebruikersprofielen opbouwen. Hiervoor worden apparaatgegevens, IP-adres, geolocatie en surfgedrag vastgelegd.

Meer informatie vind je in ons cookiebeleid.

Sluiten

Toestemming beheren

Hieronder kun je per doeleinde of partij toestemming geven of intrekken. Meer informatie vind je in ons cookiebeleid.

Functioneel en analytisch

Deze cookies zijn noodzakelijk voor het functioneren van de website en het verbeteren van de website-ervaring. Klik op het informatie-icoon voor meer informatie. Meer details

janee

    Relevantere advertenties

    Dit beperkt het aantal keer dat dezelfde advertentie getoond wordt (frequency capping) en maakt het mogelijk om binnen Tweakers contextuele advertenties te tonen op basis van pagina's die je hebt bezocht. Meer details

    Tweakers genereert een willekeurige unieke code als identifier. Deze data wordt niet gedeeld met adverteerders of andere derde partijen en je kunt niet buiten Tweakers gevolgd worden. Indien je bent ingelogd, wordt deze identifier gekoppeld aan je account. Indien je niet bent ingelogd, wordt deze identifier gekoppeld aan je sessie die maximaal 4 maanden actief blijft. Je kunt deze toestemming te allen tijde intrekken.

    Ingesloten content van derden

    Deze cookies kunnen door derde partijen geplaatst worden via ingesloten content. Klik op het informatie-icoon voor meer informatie over de verwerkingsdoeleinden. Meer details

    janee