NASA-astronauten gaan met HoloLens werken

NASA en Microsoft werken samen aan een project met de naam Sidekick. Het project maakt gebruik van Microsofts HoloLens om in de toekomst virtuele hulp te gaan bieden aan astronauten die in het International Space Station werken.

De eerste paar augmented-reality-brillen gaan op 28 juni mee met de zevende SpaceX-herbevoorradingsmissie. De directeur van het ISS-programma zegt op de site van de NASA dat 'HoloLens en andere virtuele- en gemixte-realiteitsapparaten' technologieën zijn die mensen nieuwe mogelijkheden geven bij het uitvoeren van taken. Daarnaast is hij van mening dat dergelijke technologie in de toekomst meer autonomie zal geven aan de paar mensen die naar Mars zullen reizen.

Het doel van het Sidekick-project is het geven van ondersteuning aan de bemanning van het ruimtestation wanneer ze het nodig hebben. De extra mogelijkheden kunnen mogelijk de benodigde trainingseisen verminderen en toch de efficiëntie verhogen.

Het gebruik van HoloLens is al getest in het Weightless Wonder-vliegtuig van de NASA, een manier om gewichtsloosheid te simuleren door het vliegtuig in vrije val naar beneden te laten gaan. In het vliegtuig werd onder andere de Remote Expert Mode getest, waarbij via Skype een operator kan meekijken naar wat iemand ziet en zo ondersteuning kan bieden. De operator kan ook tekst en uitleg in beeld brengen, een uitbreiding op de huidige ondersteuning met stem en zoeken in geschreven bronmateriaal.

De andere modus is de Procedure Mode, waarin geen externe operator meekijkt, maar waarbij holografische simulaties over objecten waar het bemanningslid mee bezig is geprojecteerd worden. In het filmpje wordt de bril geactiveerd door een stemcommando: "Sidekick". De Remote Expert Mode zal nog niet getest worden in de komende missie.

Het Sidekick-project is onderdeel van een samenwerking tussen NASA en Microsoft. Eerder dit jaar startten de beide grootmachten al een samenwerking om software te ontwikkelen met de naam OnSight waarbij wetenschappers virtueel op Mars kunnen werken. Sidekick zal ook gebruikt worden tijdens de twintigste Neemo-missie die op 21 juli begint in het onderzees onderzoekslaboratorium Aquarius.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (52)

[Kapitein187]

Interessante ontwikkeling! Ook zeer interessant voor support vanaf de grond. Of hele manuals die gevisualiseerd worden voor de astronaut..

Als toevoeging op de reacties hieronder: Uiteraard als toevoeging, geen vervanging.

En hier nog een interessant artikel van NASA zelf over "Radiation Resistant Computers" (uit 2005 dat wel maar principe blijft hetzelfde) : http://science.nasa.gov/s...at-nasa/2005/18nov_eaftc/

[Reactie gewijzigd door Kapitein187 op 27 juli 2024 04:09]

[DigitalExorcist]

Veel te onbetrouwbaar. Wat als het ding crashed. Heb je nog steeds een papieren manual nodig. Het is niet voor niks dat écht belangrijke systemen van NASA nog steeds op het niveau van een 386-processor werken, of nog erger..

[NeFoRcE]

Klopt helemaal! Check dit artikel maar eens over de Orion, die gebruik maakt van een 12 jaar oude CPU:

http://www.geek.com/scien...rom-the-ibook-g3-1611132/

Niks geen I7 Multihyperultracore. Gewoon ouwe meuk wat werkt.

[DigitalExorcist]

Juist, vanwege de kosmische straling en dergelijken. Maar wat maakt die HoloLens dan wél geschikt? Het is niet bepaald space-grade hardware..

[kluyze]

Omwille van de kosmische straling zoeken ze cpu's die goud in hun package hebben omdat goud beter beschermt tov. andere materialen die klassiek gebruikt worden.

De oude cpu's die gebruikt worden is omdat ze van die dingen weten wat daar mis kan gaan. Welke fouten eventueel kunnen optreden in de cpu om daar de software ook op te voorzien. Als er een onbekende software error optreed omwille van een fout in de cpu is het in de ruimte namelijk niet zo handig om een patch te installeren.

[Reactie gewijzigd door kluyze op 27 juli 2024 04:09]

[DigitalExorcist]

Tja, een 'over the air' update wordt wat lastig in het luchtledige :-)

[Game_overrr]

Wellicht dat de hololens in het pak zit in de helm en daarom minder last heeft van deze straling en radiatie?

[DigitalExorcist]

Ja, buiten (als in "EVA", ruimtewandelingen) mogelijk wel, maar op het ISS zelf zitten ze ook gewoon in T-shirt en lange broek. De straling daar zal dan ook wel meevallen denk ik, maar toch lijkt het me wel een aanslag op de apparatuur.

Niettemin, als je de previews leest/hoort wordt die HoloLens nogal zwaar op je neus na een kwartier. Zal bij gewichtsloosheid wel een voordeel zijn denk ik, echt zwaar zal ie dan niet worden

[Verwijderd]

Niettemin, als je de previews leest/hoort wordt die HoloLens nogal zwaar op je neus na een kwartier. Zal bij gewichtsloosheid wel een voordeel zijn denk ik, echt zwaar zal ie dan niet worden

Nou nee, want een Hololens hoort niet op je neus te rusten. Foutje tweakers.net die je nu overneemt
Het is een band om je hoofd. That's it.

[Kapitein187]

Ik bedoel het ook niet als vervanging, maar als extra. Dat je alleen naar een paneel hoeft te kiijken en je krijgt er info over etc. Veel luchtvaartmaatschappijen hebben bijv. de manuals op een tablet PC. En het is nu nog een testfase maar wellicht in de komende decennia.

[Iblies]

Veel te onbetrouwbaar. Wat als het ding crashed. Heb je nog steeds een papieren manual nodig. Het is niet voor niks dat écht belangrijke systemen van NASA nog steeds op het niveau van een 386-processor werken, of nog erger..

En dat is helemaal geen schande.
Die 386 verbruikt maar 1 hele watt. En in een omgeving waar je moeilijk energie kunt omzetten en moet vertrouwen op energieopslag kan dat voldoende zijn.

Vermoed zelf dat het een grote reclame-campagne is waarbij astronauten even goed in beeld komen met het logo van Windows om bij potentieel 7 miljard mensen duidelijk te maken wat er mogelijk is.

[DigitalExorcist]

Het is mogelijk om te zien hoe het ISS er van binnen uitziet als de muren behangen worden met foutmeldingen

[boner]

sterker nog. Doordat ze zo hoog zitten is de kans op een inslag van een alpha deeltje enorm toegnomen, en bij de kleine transostoren en paden op een chip van tegenwoordig is dat desastreus. De 386 had nog transistoren van 1 tot 1.5 micron. Die konden iets beter tegen een stootje.

[Universal Creations]

Zal het alfadeeltje nog wel door allerlei andere materialen moeten komen voordat het bij de cpu aankomt. En dat kan dus niet. Alfadeeltjes komen eigenlijk al niet door een velletje papier.

[Metallize]

Als ik iig de podcasts hoor van mensen die de Hololens hebben uitgeprobeerd op de E3 , hoor ik er toch gemengde reacties over , waar het zichtbare veld toch heel beperkt is , dus de bruikbaarheid voor in de ISS ?? ... hoeveel heeft microsoft wel niet betaald voor deze duuure reclame ?? niet te denken hoe dat ding zich moet kalibreren in een gewichtloze omgeving ?

Maar iig als een 4k camera werkt in het iss zal zo'n gimmick ook toch wel moeten werken ?

btw voor de geintresseerde: https://youtu.be/KCYQtPdOiJE?t=18m39s

[Reactie gewijzigd door Metallize op 27 juli 2024 04:09]

[DNA_Saint]

Waarom praat iedereen toch over een gimmick? Denk je nou werkelijke dat NASA een gimmick de ruimte in stuurt? Weet je wel hoeveel het kost om 1 kg de ruimte in te sturen.

Daarnaast is het zo dat het zichtbare veld op versie 1 anders was dan versie 2. Mogelijk is dit dus nog in progress.

[monojack]

Als je betaald neemt Nasa alles de ruimte mee in. Dat is ook zijn vraag. Hoeveel heeft MS betaald voor deze reclame.

[Relief2009]

MS heeft niets betaald. Nasa gaat ook met HoloLens werken voor Mars programma

[Verwijderd]

De vraag is eerder of dat zo is. Ik zou zeggen van niet; schitterende techniek voor NASA om mee te werken.

Van die in place film apple reclame weten we dat apple daarvoor betaalt. Om maar een voorbeeld te noemen. Van dit weten we het niet en is er ook geen aanleiding om dat te denken.

[Veneficus]

Zelfs het kleine actieve zichtsveld is al ontzettend nuttig, omdat de meeste EVA's zeer gerichte (reparatie)taken zijn. Daarbij hebben ze echt niet een overlay voor het hele ISS nodig, maar alleen van de componenten waar ze mee bezig zijn.

[ronneman]

Het potentieel van deze bril is echt enorm. Als ze dit concept ook kunnen integreren in de ruimtepakken kunnen ze ook tijdens reparatie missies in de ruimte visuele ondersteuning krijgen van mensen die vele kilometers verderop zitten.

Ook in de medische wereld lijkt me dit een enorme toevoeging. Een dokter die tijdens een operatie patiënt informatie kan zien.

Ook voor de "normale mens". Interactief een IKEA kast in elkaar zetten voor de minder behendige personen

Ik kijk er naar uit!

[RobbieB]

Je snapt dat de locatiebepaling die nodig is (accelerometers/gyroscopen/etc.) in de ruimte nogal wat problemen gaan geven he...

[Mocro_Pimp®]

Een versnellingsopnemer werkt door versnelling te meten. En voor versnelling gelden in gewichtloze toestand nog steeds dezelfde regels. Als een ruimtevaartuig plotseling "stopt", schiet ook daar iedereen tegen de voorgevel.

Ook een gyroscoop werkt in gewichtloze toestand.

[Reactie gewijzigd door Mocro_Pimp® op 27 juli 2024 04:09]

[mrdemc]

In dat geval voorzie ik een vervelend probleem met reizen op lichtsnelheid

[xzaz]

Waarom? Het zal precies zo werken als op aarde.

Nee dat doet het niet. Ze zouden dan de sterren moeten gebruiken om te navigeren zoals vele satellieten doen.

[Reactie gewijzigd door xzaz op 27 juli 2024 04:09]

[Verwijderd]

Het idee is helemaal nog niet zo verkeerd, echter zie ik HoloLens nog niet ver genoeg ontwikkeld zijn om er ook echt gebruik van te maken. Daarvoor is het zichtbare veld nog veel te beperkt.

[drakiesoft]

Wat een flauwe kul. Het is geen beperkt zichtveld. In het zichtveld doet het precies wat het moet doen en er is geen apparaat wat dat beter doet op dit moment. Daarbij, vind je je browser, tv of telefoon ook beperkt? Je moet daar toch ook constant scrollen?

[Verwijderd]

Heb je gezien hoe groot het zichtveld is? Ja, je krijgt een crappy render te zien binnen je zichtveld maar het veld is zo klein dat veel objecten maar half getoond kunnen worden. De illussie wordt snel gebroken hierdoor.

Hetzelfde als wat ook een van de problemen bij de '3d' films is, je krijgt er een kijkdoos effect van.

Browsers, tv of een telefoon vullen het hele scherm en is appels met peren vergelijken.

[drakiesoft]

Je zit er helaas helemaal naast.
Het zichtveld is niet het hele gezichtsveld, maar om het nu beperkt te noemen?
Daarbij wat getoond wordt in dat gezichtsveld is ongeëvenaard. Alleen jij zegt dat het crappy is. Binnen dat gezichtsveld zijn er genoeg usescases te benoemen die zowel als op aarde als in de ruimte perfect zijn voor de hololens. Dus prima geschikt. En daarbij, scrollen op je telefoon vindt je normaal, maar met de hololens je hoofd bewegen vindt je niet normaal. Het is niet optimaal inderdaad, maar prima te doen voor nu. De toekomst wordt het alleen maar beter. Maar nu gebruiken en leren van de mogelijkheden en onmogelijkheden is een must.

[Verwijderd]

Ja, dat noem ik beperkt. Als je kijkt naar de schermgrootte van de lens zelf dan is het al beperkt en nog niet de helft van het oppervlakte wat je technisch gezien beschikbaar hebt.

https://www.thurrott.com/wp-content/uploads/2015/05/demo.jpg

Wanneer je ook nog eens stilstaat bij het feit dat jouw gezichtsveld nog groter is dan het scherm wat ze tonen in die afbeelding wordt de werkbare ruimte nog kleiner. Het is leuk dat de focus in beeld is, maar juist alles daaromheen zou een toegevoegde waarde kunnen hebben om het af te maken. Onbewust zie je enorm veel buiten je focusveld. Net zoals dat je bijvoorbeeld twee monitoren aan een pc aansluit. De ene ben je gefocused op aan het werk, de andere hou je vanuit je ooghoek in de gaten.

Alleen ik vind de beelden tegenvallen? Uhm, nee hoor. De reviews zijn momenteel erg gemixed, en veel negatiever dan de previews. Ik krijg steeds meer het gevoel dat men er vanuit gaat dat het er ook echt uit ziet zoals in het promo filmpje van ze, terwijl ze blij mogen zijn als ze dat over 10 jaar hebben bereikt.

Nee, voor nu vind ik de techniek nog echt te beperkt. Het is een start, maar we zijn er nog lang niet.

[drakiesoft]

De reviews zijn niet gemixed vwb wat getoond wordt. De hologrammen zijn goed, blijven op hun plek in de ruimte. Indrukwekkend dus. Je fov is inderdaad niet maximaal, maar dat is het probleem niet. Je beperkt jezelf als je er een probleem van maakt. Het promofilmpje is gewoon precies zoals het echt is, is al aangegeven alleen mogelijk kleiner fov. Ook een filmpje kan je niet vergelijken omdat de camera waarmee het is opgenomen en het scherm waarop het getoond wordt, beperkt is kwa fov.

Daarbij bij langer gebruik valt het allemaal wel mee geven de meesten aan.
Je kan het vergelijken met een film op tv kijken. Na een poosje zit je midden in de film en valt het niet meer op dat er een plant, lamp en schilderij naast je tv staan.

Daarbij eerst maar eens zelf een hololens opzetten en dan praten we wel verder.

[Verwijderd]

Promotiefilmpje:
https://www.youtube.com/watch?v=aYdB2xBNFek

Hoe het is wanneer je volledig zichtveld zou hebben:
https://www.youtube.com/watch?v=3AADEqLIALk

Als jij daar geen verschil ziet weet ik het ook niet meer. Je doet alsof je hem zelf hebt opgehad, maar dat betwijfel ik eerlijk gezegd.

[Reactie gewijzigd door Verwijderd op 27 juli 2024 04:09]

[drakiesoft]

Ik zie geen verschil, beide indrukwekkend al denk ik dat de fov van de hololens kleiner is dan beide filmpjes.

[Verwijderd]

Ah, dan kunnen we ook direct stoppen Als je daar al geen verschil in kunt zien dan liggen onze eisen/verwachten te ver uit elkaar om een nuttige discussie te houden.

Edit: De field of view is ook kleiner in de praktijk. De ene is een render, post-production filmpje, de andere wordt over het beeld van de camera geprojecteerd en niet wat de lens nu exact toont.

Een filmpje waar echt het beeld van de HoloLens wordt getoond heb ik nog niet kunnen vinden.

[Reactie gewijzigd door Verwijderd op 27 juli 2024 04:09]

[drakiesoft]

Ja dat verschil zie ik wel, niet vwb fov zoals jij dat beweerde.
Vwb het 1e dat is jouw aanname. Misschien is het wel wat je echt ziet. Vwb het 2e zit het misschien het dichts bij wat je met een hololens ook ziet, immers het is een camera met een hololens op. Maar misschien is de camera wel een beperking. Het beeld waar je geen hologrammen ziet, ziet er schokkerig en beperkt/ietwat donker uit. Dit zal je waarschijnlijk niet met een hololens hebben vwb dat schokkerige. Heb wel ergens gelezen dat eea wel iets donkerder is, maar dat de hologrammen uitstekend zijn.

Je zult nog steeds moeten wachten totdat je hem zelf op hebt gedaan vermoed ik om een goed beeld te krijgen.

[trisje]

Ik zie het probleem eigenlijk helemaal niet, maar als je niet een filmpje hebt gezien waart de echte hololens view wordt getoond hoe weet je dan dat de view beperkt is.
ik zie het verschil van volledig zichtveld ook niet echt, en dat komt omdat ik naar een filmpje kijk. Waar dus de beperking al aanwezig is.
en er is geen gezichtsveld aangegeven. Bovendien denk ik niet dat h et een beperking hoeft te zijn, je gezichtsveld is in het echt groter dan de focus die je op een iets hebt. dus het is helemaal niet noodzakelijk

[Verwijderd]

Het gezichtsveld waarin je echt actief zaken doet is maar heel klein.
Het grootste deel van je gezichtsveld is periferie. Je ziet daar wel dingen maar niet de zaken waar je actief mee bezig bent.
Die perifierie heb je nodig om bijvoorbeeld te sporten of autorijden om andere medespelers of medeweggebruikers te detecteren.

Maar voor dedicated tasks bijvoorbeeld reparaties aan apparatuur hebt je de periferie van je gezichtsveld niet nodig.

Net zoals voor het werken met een computer. Met een computerscherm kan je met slechts 15% van je gezichtsveld beschikbaar al prima werken.

[Reyuken]

Ik vraag me af waar die infra-rood leds voor gebruikt worden. Ik zie ze druk knipperen achter het scherm vandaan.

[[eNeRGy]]

Mogelijk de sensoren om je handbeweging te meten?

[BaRF]

Leuk, dan heb je toch een mooie buisinesspartner te pakken Dit kan natuurlijk een goede stap zijn in de richting van een echte HUD in de helmen van astronauten bv, zodat ze bij ruimtewandelingen cruciale info gewoon altijd in het scherm hebben! (zuurstof, naderend ruimteafval, twitterfeeds)

[theduke1989]

Wat maakt dat anders dan bijvoorbeeld een google glass? Wat jij noemt vindt ik absoluut niet hololens waardig.

[DNA_Saint]

Google lens projecteerd alles op jouw glas, zonder dat er bewustzijn is vande omgeving. Hololens heeft dit wel. Die ziet objecten.

[drakiesoft]

Jij en de meekijker kunnen beide aantekening maken. In het luchtledige :-) De aantekeningen blijven zweven bij het object. "Google glass kijkt nu heel beteuterd"

[BaRF]

Ik zeg nergens dat dit beter is dan google glass?

[Verwijderd]

"Het gebruik van HoloLens is al getest in het Weightless Wonder-vliegtuig van de NASA, een manier om gewichtsloosheid te simuleren door het vliegtuig in vrije val naar beneden te laten gaan. "

Weightless Wonder? Volgens mij staat dat ding beter bekend als de Vomit Comet

OT: Mooi dat deze zeer innovatieve techniek gelijk al gebruikt wordt Ik moet zeggen dat ik echt onder de indruk ben van wat MS hier neer heeft weten te zetten.

[jvkollenburg]

Goede reclame voor de Hololens!

[Verwijderd]

Was dit, of iets dergelijks, niet een tijdje geleden uitgetest? (of wat dat alleen een robot arm, wat hier los van staat)

Hoe effectief is een 'sidekick', als er bijvoorbeeld bijgesprongen moet worden op het moment, dat ze bij Mars zijn.
Heeft zoiets dan niet een dusdanige vertraging, dat het echt alleen in noodsituaties praktisch is? (wat vooralsnog genoeg reden is)
Ik heb daadwerkelijk geen idee aan welke vertragingen je moet denken.

Voor mijn gevoel is heen-en-weer praten met bijvoorbeeld Skype dan behoorlijk onhandig en zou je beter met monoloogjes kunnen communiceren.

[FreakGIB]

ik hoor iedereen klagen bij de Hololens over het beperkte zichtveld
maar ik lees ook dat als je de Hololens een tijdje draagt dat het dan minder erg is dan wat het lijkt
je moet misschien wat meer je hoofd bewegen en iets meer afstand houden van een object om het helemaal te kunnen zien.
ik denk dat je het een beetje kan vergelijken met een kleine oude monitor die je misschien vroeger voor je had in vergelijk met je breedbeeld monitor die je nu voor je hebt.
zorgen dat je het object wat je wil zien recht voor je hebt en dan moet het geen probleem zijn.