HoloLens heeft speciaal gemaakte 24-core hpu aan boord

De HoloLens van Microsoft heeft een 24-core holographic processing unit aan boord die speciaal bedoeld is om alle inputs te verwerken. De 28nm-cpu is gebouwd door TSMC en kan volgens Microsoft een teraflop aan berekeningen verwerken.

Microsoft doet de details van de HoloLens uit de doeken bij de Hot Chips-conferentie in Californië, waar The Register bij was. De HoloLens-hpu bestaat uit 24 afzonderlijke dsp's of digital signal processors: elke dsp kan één specifieke taak heel snel uitvoeren, maar geen algemene rekentaken uitvoeren. Een gewone processor heeft algemene rekenkernen die generieke berekeningen kan uitvoeren, maar dat langzamer doet dan speciaal voor een taak geoptimaliseerde hardware. De HoloLens-hpu wordt op 28nm geproduceerd.

De 24 Tensilica-rekenkernen hebben bij elkaar 65 miljoen transistors, 8MB sram en een aparte die bovenop met 1GB ddr3-ram. Elke rekenkern of dsp heeft een andere taak, zoals handgebaren verwerken of de camerafeed uitlezen. De hpu zou dit door de optimalisaties tot 200 maal sneller kunnen volbrengen dan een gewone cpu dat in software zou kunnen. Microsoft heeft zelfs 10 verschillende extra instructies geschreven voor de cores om hun werk verder te versnellen.

Voor zaken als apps is er dan nog een 14nm Intel Atom x86 Cherry Trail-soc die ook 1GB ram tot zijn beschikking heeft. Dit alles zit op een bga-package van 12 bij 12 millimeter. Het stroomverbruik van de hpu zou uit moeten komen op minder dan 10 watt. Of deze specificaties tussen nu en de release niet weer gaan veranderen, is niet zeker. De augmentedreality-headset van Microsoft moet volgend jaar op de markt verschijnen. Sinds maart van dit jaar kunnen ontwikkelaars al aan de gang met de headset.

Beeld: The Register

Reacties (97)

Ik heb er al zelf vrij veel mee gespeeld, gister nog . Vooral het spel Fragments is erg indrukwekkend. Een persoon die naast je in de kamer staat en op je bank gaat zitten is toch heel anders dan een geheel virtuele omgeving.

Zakelijk is natuurlijk een toepassing voor training, maar ook consumenten toepassingen, zoals het inrichten van een keuken(hier loopt in amerika een pilot mee). Daarnaast draaien alle UWP apps er gemakkelijk op en komt de holographic shell naar windows 10.

Als je hem op hebt voelt het als magie hoe hij de spatial awareness heeft(zelfs meerdere kamers gaat goed en hij onthoudt en update de meshes die hij maakt ook, soms zie je een verdwaalde stoel). Het verbaast mij dan ook niets dat de HPU een stuk specialistisch hardware is om dit voor elkaar te krijgen.

Dus stel ik heb een collega in het buitenland. Voor kennisoverdracht is het handig als hij een week naar ons toe komt.

Zou de hololens dat kunnen vervangen zodat hij 's avonds gewoon bij vrouw en kinderen is en 's ochtends met de kinderen kan ontbijten?

Voelt het al echt als pair programming als hij naast je zit via de hololens?

Dan zou ik zo iets wel willen uit proberen met mijn team. Hoe/Met wie kan ik dat regelen?

[Reactie gewijzigd door djwice op 26 augustus 2016 22:18]

Voor dat gevoel is de hardware nog wat beperkt. Plus de bril is nogal een obstakel. Zolang die er is, heeft het geen pluspunten ten opzichte van VR voor dit soort toepassingen.

Het spel waar ik het over had is fragments. Hierin komen virtuele karakters bij je op de bank zitten.

Wij hebben in ons bedrijf ook enkele Hololensen ter beschikking, en ik moet zeggen dat ik de meerwaarde er zeker van in zie.

Mooi voorbeeld is natuurlijk dat je het product verkoopt aan iemand in het buitenland en dat je vanuit beide locaties naar een hologram daarvan kijkt. Exploded views van producten, kleuren etc, maar ook voor puur ICT werkzaamheden kan het interessant zijn natuurlijk!

Ik vindt de Hololens anders ook erg soepel werken voor zijn formaat en stroomverbruik. Het is zeker niet perfect nog maar komt aardig in de buurt. Leuk om nu meer details van de hpu te zien.

Ik ben er nog niet helemaal uit waar de Hololens het beste toepasbaar is. Ik heb al dingen gelezen van organisaties uit NL die ik met een sterk korreltje zout neem Ik ken de limieten inmiddels goed maar ook de sterkte punten. Zakelijk gezien zie ik mogelijkheden maar nog niets wat de kosten rechtvaardigt. Voor gaming vindt ik het echt een super idee en was ik erg verbaasd over de ervaring met de demo apps... en dat waren slechts demo's voor de techniek. Kan je voorstellen wat een goed ontwikkelde game met een verbeterde versie van de Hololens kan doen..... ik kan niet wachten

Ik snap de poging van Microsoft om hem voor de zakelijke markt te ontwikkelen maar ben bang dat dat niet gaat lukken. Voor de gaming / entertainment markt zie ik meer potentie.

Zakelijk kan ik direct enkele toepassingen bedenken.

Stel je eens voor dat je in fabriek rond loopt en naar een elektrische kast kijkt.
De Hololens zou direct per zekering, kabel, PLC alle info kunnen weergeven die je nodig hebt zonder ook enig elektrisch plan te moeten doorzoeken.

Datacenters met eindeloze server rekken. Je zou zo de kast kunnen opendoen en direct kunnen zien welke patch poort naar waar gaat. Welke kabel je moet uittrekken. Wat de server doet, draait, reparatie werken,... .

De informatie stroom zou zo veel meer vereenvoudigd kunnen worden met AR.

De informatie stroom zou zo veel meer vereenvoudigd kunnen worden met AR.

Je bedoelt: deze informatiestroom zou zo veel beter gerepresenteerd kunnen worden met AR. Dat is namelijk wat AR is, een presentatie van data. Maar helaas ken ik nog geen software die deze data kan vergaren (naar een kast kijken, deze herkennen en er alles over weten), maar als dat werkt zou een smartphonemet camera en beeldscherm deze informatie ook kunnen weergeven. Minder efficiënt dan een hololens, dat zeker, maar ik denk dat visualisatie nu niet de grootste uitdaging is.

[Reactie gewijzigd door 84hannes op 23 augustus 2016 15:12]

Hololens is ook niet een product die zijn waarde in het hier en nu heeft, in het hier en nu zijn we hier nog maar net mee bezig en is de ontwikkeling van het product nog volop bezig.
Op het moment dat hololens 'klaar' is en de software gebruiksvriendelijk genoeg is om het te verbinden met (nieuwe) systemen, maar ook vele andere producten, dan begint het pas te komen.

Hololens is gemaakt voor de toekomst, een product die bij de introductie weinig toevoegt, maar na 5-15 jaar niet meer weg te denken is in bepaalde omgevingen.

Wat betreft dit voorbeeld. Stel je voor dat je in zo'n datacenter staat, kabels die een (versimpeld) QR motief heeft met een eigen code die ook in de PC bekend staat, opeens kan je een kabel er uit trekken en precies op je scherm zien waar deze kabel vandaan komt, wat voor verbindingen die heeft en mogelijk zelfs je de informatie stuurt waar die in zou kunnen met welk resultaat. Want als de Hololens weet welke kabel jij vast hebt, en de PC weet waar die zit op aangesloten, kan alle informatie bij elkaar komen op een doodeenvoudige manier.

Maar zo zijn er nog veel meer opties, denk aan je auto, een leek zou relatief basale problemen kunnen oplossen. Auto's hebben steeds meer elektronica, en die elektronica kan aardig aangeven waar het probleem zit. Jij trekt je motorkap open en een hololens kan jou verder vertellen wat je moet door tekst en highlights.

Hebben ze inmiddels al de FOV vergroot? of is dat nog steeds een storend immersie-dodend kleine box midden in je zichtveld?

Voor zakelijke toepassingen zou dat natuurlijk prima kunnen zijn, maar voor 'full imersion' AR gaming is dat toch echt compleet not-done.

We hebben gehad:

• Ghz race
• Cores race
• Gpixel race (camera's in mobieltjes)
• " in diameter race (schermpjes van mobieltjes) ...

FoV race is de toekomst

FoV is een veel kleinere issue dan resolutie (en in geval van hololens: contrast van virtueel plaatje met echte wereld). Ik word een beetje moe van mensen die elkaar napraten over FoV maar nog nooit een VR/AR headset hebben op gehad.

FOV is bij VR wel degelijk cruciaal. Starbreeze 210º FOV is iets waar ik naar uitkijk. Nu heb je het gevoel of je een tunnel in kijkt (of door een duikbril), wat wel degelijk de immersie breekt (in meer en mindere mate afhankelijk van de content).

Ik heb zelf een Rift CV1 en Vive en beiden hebben er last van, op een verschillende manier. Mensenlijke FOV is rond de 210º dus de Starbreeze zou weleens sweetspot kunnen zijn.

Met AR heb ik minder ervaring qua FOV maar ook daar kan ik me voorstellen dat je uiteindelijk een immersive, 210º FOV wil hebben die overeenkomst met hoe we echte wereld ervaren.

Het duikbril effect verpest de immersie enorm, maar de "duikbril" is nog veel kleiner dan mensen denken:
Als je zo'n 10 a 20 graden omlaag kijkt is de vervorming door de lenzen ernstig dat je (zelfs loei grote) tekst niet meer kunt lezen / objecten niet meer goed scherp ziet. Je moet dus wel de hele tijd rond kijken met je hoofd. En je ziet heel duidelijk een raster over je beeld (te lage resolutie) wat ook de immersie verpest.
Er zijn dus nog wel vele grotere problemen op te lossen dan FOV.... En sorry, maar VR beoordelen zonder zelf zo'n ding opgehad te hebben blijf ik napraten vinden.

Heb geen Hololens, wel 2 top VR headsets. FOV is wel degelijk iets waar veel mensen last van hebben, al ben ik het eens dat veel andere problemen meer impact hebben op dit moment op beleving.

Napraten? Hoezo dat dan?

Alle filmpjes en reviews die ik heb gezien omtrent de Hololens illustreren/constateren dat de FOV het meest immersie dodend is.

Ik kan me voorstellen dat de resolutie ook een belangrijk aspect is van immersie/experience maar het contrast?
Bedoel je dat er te weinig contrast is? Dat het contrast van de virtuele weergaven niet conform de ambient contrast is? Dat virtuele objecten teveel 'opvallen' tegen de achtergrond van de 'echte' omgeving?..

Ik zou graag wat voorbeelden/links/plaatjes willen zien die illustreren wat je bedoelt. Niet omdat ik je niet geloof, maar omdat ik oprecht nieuwsgierig ben.

Natuurlijk valt er wat te zeggen voor ervaring vs. speculatie maar om te zeggen dat iemand zijn mening irrelevant is wanneer deze nog nooit een VR/AR headset op heeft gehad is natuurlijk onzin. Er zijn dingen die je pas echt kunt begrijpen/beoordelen als je ze hebt meegemaakt maar er zijn toch ook zat dingen (zoals in dit geval de FoV van de hololens) die je prima kunt beoordelen zonder dat je ze (direct) ervaren hebt.

Software kan altijd ontworpen worden.
Nu is mijn voorbeeld bij grote fabrieken wel zeer relevenant.
Ik werk zelf in zo'n bedrijf en daar zie je dat er veel tijd verloren wordt aan het zoeken van schema's en de vervangstukken.

Je moet het grotere plaatje natuurlijk zien.

Het punt wat 84hannes probeert te maken is dat de Hololens een visualisatietool is die absoluut gebruikt kan worden voor het scenario wat jij schetst. Echter het grote probleem zit hem niet in de visualisatie maar in de beschikbare data. Als deze data namelijk eenvoudig te verkrijgen was dan zouden er nu al tools zijn (dan wel minder duidelijk/mooi als met een hololens) die dit zouden kunnen icm bijvoorbeeld een tablet/smartphone.

Het zoeken naar schema's zal met de komst van de hololens nog steeds moeten, tenzij er iemand is die een slimme tool schrijft die eenvoudig de data/situatie (locatie/foto/video) analyseerd en het juiste schema of data aanlevert.

Software kan altijd ontworpen worden.

Absoluut. Daarom kan dit nu ook al, ook voor de situatie die jij schetst maar dan icm een tablet/smartphone. Het gaat juist om de software. De hololens is helaas geen heilige graal waarmee dit soort tools ineens makkelijk mogelijk zijn.

Begrijp me niet verkeerd, de hololens lijkt me een fantastisch product, maar je moet de waarde hiervan niet overschatten.

Ik was onderlaatst bij een schade bedrijf en die hadden een app waarmee ze mijn kenteken konden scannen, waarna ze een "schematic" kregen en gewoon de onderdelen konden aanklikken die schade hadden. Daarna konden ze met 1 druk op de knop zien of ze dingen in voorraad hadden, of de auto financieel totalloss was, ect. Veel data is er dus nu al, de vraag is dus kan hololens het makkelijker visualiseren of niet?

Een desktop of laptop kan ook heel veel dingen die een smartphone ook kan. Het gaat erom dat de formfactor en UI bepaalde taken makkelijker maakt. Alle techniek is er eigenlijk vooral om alle taken te vergemakkelijken. De hololens en/of andere AR- en VR-producten zullen dit zeker ook doen. Het is een vrij natuurlijke UI, dus het kan zeker het gebruiksgemak verbeteren.

Het is dus een dure labelwriter?
En zit je niet vast? ik bedoel is rondlopen mogelijk? Of was je van plan overal die dingen aan het plafond te hangen?

Hij lijkt draadloos te zijn uit de demo videos en ze lopen er echt met rond dus ik vermoed dat dit dan ook de bedoeling is.

edit: De hololens heeft dus ook een batterij ingebouwd die tot 5.5 uur meegaat.

[Reactie gewijzigd door GoldenBE op 23 augustus 2016 14:51]

Accu...

De Hololens onhoudt 3D maps van de omgeving. Hierdoor kun je deze 3D maps altijd terughalen inclusief alle hologrammen en apps die je aan had. Precies op dezelfde plek.

De Hololens is trouwens untethered en al verkrijgbaar voor devs.

De Hololens is een stand-alone pc. Hij heeft dus niks anders nodig dan eventueel een internetverbinding

Als ik naar een label kijk, kan die mij uitgebreid informatie geven?
De hololens wel en nog veel meer.
En in de toekomst zou de hololens zelfstandig zonder kabel werken.
En tja wat is duur, Tijd verspillen aan omslachtig werken of een apparaat die alle info voor je weergeeft?

De hololens kan nu al 5h op batterij werken hoor

Nu denk je niet ver genoeg.
Stel je voor dat er een stroompanne in de fabriek is.
De technieker kijkt in de kast en kan direct zien wat er defect is.
De hololens zo zo kunnen ingesteld worden dat je met enkele handgebaren de defecte stukken kan markeren en zo automatisch een e-mail verstuurd naar de leverancier of de magazijnier dat hij zij deze stukken moet klaarleggen.

Ik kan zo blijven door gaan natuurlijk.

Maar als baas van een fabriek wil ik wel een visuele inspectie, auditieve, tast en geur inspectie. Kijk een meterkast kan van alles aangeven, maar ik moet een lopende band draaien anders kost me dat 12,000 euro per uur en ik moet er op vertrouwen dat er geen andere zaken aan het smelten zijn of er rare geluiden zijn die je van buiten niet hoort.

Mijn monteur moet die kast in. En niet vertrouwen op een uitdraai, al is het dan op een sexy bril.

Met een AR bril moet je nog altijd ter plaatse gaan. Met mijn voorbeeld wil ik aantonen als de technieker voor de kast staat dat hij letterlijk de stukken kan bestellen met een handgebaar. Zonder naar zijn bureau te lopen en de stukken op te zoeken in de handleiding of op de site van de leverancier.

Exact waar ik aan dacht samen met Ziekenhuizen, R&D en Magazijnen.

offtopic: Hoe is de Hololens in combinatie met tabletop spellen(als daar al iets voor is ) Het lijkt mij voor sommige spellen erg handig om een soort HUD te hebben met daarin wat informatie(wellicht zelfs wat animaties ed).


Ontopic:
Erg interessant om te zien dat ze voor deze weg gekozen hebben, ook goed om te zien dat ze meer informatie over de inhoud vrijgeven.

De Hololens heeft zover bekend niet echt de visie om ingezet te worden voor gaming, het is veel meer bedoelt voor professionele toepassingen zoals voor architecten, werktuigbouwkunde en (game) developers.

Je kan er Minecraft op spelen, maar dan onder een andere naam volgens mij. De Hololens is nergens specifiek voor bedoeld door Microsoft, het ligt aan de developers van apps hoe het gebruikt gaat worden.

Edit: Typfout verbeterd

[Reactie gewijzigd door muvori op 23 augustus 2016 13:43]

Gamen zal absoluut kunnen als er voor ontwikkeld wordt, maar die versie van Minecraft was/is er meer als een proof of concept... de Hololens wordt iig niet zo in de markt gezet, ook niet gezien de pagina bij Microsoft zelf... ze mikken echt op een hoger/professioneel segment, maar daar gaat de prijs ook naar zijn. Voor de prijs die alleen de Hololens moet gaan kosten koop je als een leuk gamesysteem + een van de huidige populaire VR-systemen.

Buiten dat is Hololens ook niet echt een VR systeem, maar veel meer augmented reality.

[Reactie gewijzigd door MicGlou op 23 augustus 2016 14:03]

Ik dacht dat de Hololens voor iets van 700-800 euro op de markt zou komen ongeveer. Kan ook prima gezien de hardware. Dat is toch prima concurrerend, je hebt immers geen extra pc meer nodig Als de resolutie en de kijkhoek flink verbeteren zie ik het zelfs als vervanger van de desktop....... Bluetooth toetsenbord en op de bank heb je een omgeving met oneindig veel monitoren

De 2 games (Fragments en RoboRaid) zijn erg leuk om te spelen en daarmee heb ik me erg vermaakt al. Omdat je opeens in je eigen kamer speelt geeft dat een unieke ervaring. Elke toepassing die een hit wordt zal gebruik moeten maken via die mogelijkheden. In de industrie zijn er zeker een hoop dingen te bedenken waarbij het echt kan helpen en daar zijn we al mee bezig maar dat blijven specifieke oplossingen voor een specifiek probleem.

Heb je de Hololens al zelf op gehad? De beeldgrootte is nogal tegenvallend vergeleken met de filmpjes die je zo mooi kan maken met de Hololens.
Verder inderdaad een impressive apparaat.
Je kamer volhangen met virtuele schermen is dus wel mogelijk, maar alsof je de hele tijd door 2 wc-rolletjes kijkt.

Bedoel je mij? Ik heb hem een tijdje gehad ja.

Als je erop op let is het inderdaad alsof je door een klein gat kijkt en dat is erg irritant. Als je echt ergens mee bezig bent en je concentreert je op het item valt het heel erg mee en merk je niet zoveel van de beperking. Zeker met de game Fragments in een wat donkere kamer merk je goed het verschil. Kijk je gewoon even in het rond is het beeld oppervlakte gewoon erg klein en storend maar ben je met details van een puzzel bezig vergeet je het en merk je het niet meer. Bij een goede game wordt je erin mee gezogen en valt het kleine scherm niet op. Net een beetje als met normaal gamen of een film kijken.

Dan moet je wel superscherp zicht hebben wil je iets op die monitoren kunnen lezen. Het kleine scherm zal beter werken met weinig tekst in leesbare tekst. Bij VR (mogelijk niet vergelijkbaar) valt al veel informatie van het scherm weg. Een film kijken vind ik met VR niet prettig.

Hoe noemen ze het afspelen van video op de Hololens eigenlijk?

Holocast?

Hele goede grap

Voor ontwikkelaars is er al een versie beschikbaar en daar vragen ze $3000,- voor

Ontwikkelaars versies zijn altijd een stuk duurder..... en ook al is de ervaring super leuk, ik ben blij dat hij van de zaak is

Idd, op de hololens pokomon go spelen..

Kartbaan + Hololens = mariokart?

mmh, goed idee Zak technisch gezien prima (indoor dan) alleen ben is de software niet klaar voor het snel bewegen door een grote omgeving. In de toekomst zie ik dit zeker gebeuren.

Je noemt wel gamedevelopers, maar niet de ambitie om daar ingezet te worden?

Microsoft heeft aardig met Unity samengewerkt, en de Minecraft demo toont juist de mogelijkheden daar.

Niet alle genres werken direct in het huidige format maar denk eens aan een rts op je tafel, of een strategy game ansich. Civilization bijvoorbeeld.

Het is natuurlijk maar stap 1, en er is zeker ruimte voor verbetering maar de potentie en intentie is er.

Games developen en of games spelen is totaal niet dezelfde wereld... ik zeg ook niet dat het nooit zal gebeuren, maar het is als je de beschikbare informatie leest niet de visie van Microsoft voor het product.

Pokemon HoloGo natuurlijk!

Tijde geleden was er ergens een artikel over leap. Startups als dergelijke zijn aan het overstappen naar een volledig virtuele desktop (dus je hololens 's pc scherm om daar je werk op te doen). Dit werkt veel efficiënter. Als dat echt zo is dan kan dit grote invloed hebben en erg aantrekkelijk zijn voor de zakelijke markt

Zo heb ik hem ook even gebruikt maar door de lage resolutie en kleine kijkhoek is de ontwikkelaars versie daar niet echt geschikt voor nog. Ook veel tegenlicht is een probleem. Het is zeker iets waarvoor ik hem zou willen kopen want je hebt opeens meerdere tv's (en geen last van wat de vrouw wil kijken dus ) en een groot scherm met whats-app en email ernaast. Het voelt als de toekomst terwijl het al aardig werkt.

Ik werk in vliegtuig onderhoud en er is bij ons al geexperimenteerd met augmented reality om het onderhoud te vergemakkelijken. Weliswaar (nog) niet met hololens, maar via een app op een tablet met behulp van de camera.

Via de app konden onderdelen worden geidentificeerd (partnr etc) en besteld worden.
Tevens konden meteen de juiste manuals naar voren gehaald worden.

Er is nog veel ontwikkeling nodig, maar ik zie zeker potentie.

Klm met de iPads zeker ?

Ja idd.

[troll & flame-bait]
Had zelf liever Surface of Android gezien, maar we wachten af
[/troll & flame-bait]

Zakelijk heeft de Hololens zeer zeker toepassingen. Wat dacht je van kantoorinrichting, als architect, of meer naar de consument: alvast in je nieuwe keuken kunnen rondlopen. De mogelijkheden voor de Hololens zijn oneindig.

Wat ik het allergaafste aan de Hololens vond was voor de educatie. Er zat een programma bij (jij zult hem vast ook getest hebben) waarin je kon zien hoe het menselijk lichaam in elkaar zit met daaraan een quiz.

Of gewoon de rennende hamster op het bureau! Nee, de mogelijkheden zijn echt eindeloos.

Hoe kan er al op ontwikkeld worden als de hardware specificaties nog niet vast staan?

Als je al afspraken maakt over de vorm van het systeem op hoog niveau zoals API's en berichtstandaarden en je hebt een performance goal (wat je op dit punt wss pessimistisch aanhoud als ontwikkelaar) kan je de uitvoering en haalbaarheid van je applicatie best ver verwezenlijken, je kan ook in de tussentijd emuleren. Als je sensor data van te voren opneemt en (sloom en inefficient) omzet in de gewenste output van de DSP chip kan je prima je applicatie draaien op die data om afhandelingsfouten te ontdekken of condities te waar je nog geen ontwerp voor had gemaakt.

Optimalisatie voor performance en energiegebruik wil je vaak pas doen nadat je applicatie correct en feature complete is (tenzij je letterlijk geen tests kan draaien) dit kan ook al wat met prototype hardware, deze prototypes heb je vaak ook al nodig omdat je wat moet user testen. Echte optimalisatie voor performance en energie verbruik kan natuurlijk pas als er een retail versie uitkomt. Natuurlijk blijft er dan een risico aan het einde van de rit waar je bepaalde consessies moet maken aan je ontwerp om het uit te brengen op hoe het echte platform wordt aangeboden maar daar plan je ook een beetje voor. (En in het ergste geval wordt het dus compleet geschrapt.)

De Oculus ging ook door meerde prototypen (Crystal Cove, DK1, DK2), niet alleen voor het hardware ontwerp, maar ook voor de software ontwikkelaars omdat ze moesten testen wat wel of niet werkt in de gebruikerservaring.

Aangezien je niet voor hardware ontwikkeld kan dat prima. De hpu gebruikt Microsoft en informatie die deze oplevert kan je via een api gebruiken. Als de hpu beter wordt wordt jouw info beter maar dat maakt voor het ontwikkelen niet uit. Dat geldt voor de rest ook. Het is niet iets waarop je een grafisch zware game gaat maken waarbij je de hardware optimaal moet gebruiken.

Is het niet juist grafisch zwaar om iets op de juiste manier in de ruimte te 'projecteren'?

Jawel, maar jij als programmeur kent de ruimte niet. Daarom programmeer je dus ook niet voor die ruimte maar met een api die de ruimte wel kent.

Je kunt van de hololens informatie opvragen en hem bepaalde informatie geven. Bijvoorbeeld, detecteer een gezicht, of projecteer een ring om mijn rechter wijsvinger, of projecteer een persoon 3 meter vooruit, behalve als daar een muur voor staat. Dat is de jip en janneke uitleg van de api volgens mij.

Grafisch stellen de hologrammen ook niet zoveel voor. Vergelijk het met Wii graphics bv. Dat rendert je telefoon ook prima. Het bepalen van de juiste zoom / pan en positie edg zodat hij voor jouw gevoel op de vaste plek in de omgeving staat is erg intensief en daarvoor is die hpu speciaal gemaakt. Die analyseert de camera en beweging sensoren zodat hij elke beweging van de bril exact inde virtuele ruimte kan plaatsen. Deze is vrij efficient en werkt verbazend goed. De ruimte analyseren hoeft maar 1 keer ongeacht het aantal objecten dat in de ruimte moet worden geprojecteerd. Zolang te hologrammen niet al te zwaar zijn merk je geen lag of hapering.

De Hololens runtime zal als abstractielaag dienen die details qua hardware verbergt voor de applicaties die erop draaien.

Emulatie. De HPU's zijn alleen voor signaal verwerking, de signalen zelf (handgebaren etc) kan je prima emuleren.

Virtual appliance met api/soap info ofzo.

Sandbox idee.

/oops sandbox ipv sanbox

[Reactie gewijzigd door RutgerM op 23 augustus 2016 16:14]

Ik zou eerder zeggen dat het onduidelijk is of te open voor interpretatie, niet dat het niets betekent. Als je het mij vraagt was een hele omslachtige manier om 'hardware emulatie' te verwoorden.

Dat zou je dan alleen uit het woord "virtual" kunnen halen. Hardware-emulatie heeft weinig met soap en sandboxes te maken, en "api info" is gewoon niks. Een api is ook iets compleet anders dan SOAP. En een appliance is een koelkast.

Het is een woordenbrei van termen die bijna allemaal iets met IT te maken hebben maar bij elkaar niets betekenen.

[Reactie gewijzigd door HooksForFeet op 23 augustus 2016 15:13]

Oja zeker wel. Ik geef daarom ook / aan.

Als je hardware in een VM wil emuleren zit er vaak iets in waar je tegen praat, een api ofzo, welke output geeft welke in de werkelijke wereld bijvoorbeeld 5volt of 10volt uitsturing is.

Er zit geen "api of zo" in waar je tegen praat. Het punt van een emulator is dat je niet door hebt dat je tegen een emulator praat: het besturingssysteem weet niet beter dan dat het op de echte hardware draait. Het is aan de emulator om alle calls naar hardware af te handelen op dezelfde manier als de daadwerkelijke hardware dat zou doen. En nee, dat gaat niet via SOAP calls.

Dat ligt er maar net aan wat het doel is.

Ik heb voldoende wrappers gezien die dit doen, informatie ergens uit trekken of ergens tegenaan praten. Beide technieken kunnen dit voor je verzorgen.

Die wrappers waren vaak om niet het gehele product te hoeven hebben om te testen maar aan je testers niet laten zien wat je vanbinnen doet.

Vrij logisch hoor.

Ik weet niet hoe jij trails van hardware vandaag de dag binnen krijgt maar dat heet een virtual appliance (vaak met 30 dagen gebruik ofzo)

Ik weet niet wat een "trail van hardware" is, maar ik weet wel dat hardware sowieso niet op een emulator draait: hardware wordt juist geëmuleerd...

Je weet dus duidelijk niet wat hardware emuleren is.

Je zou beter kunnen zeggen dat jij nog wat te leren hebt

Laten we het er dan op houden dat we allebei nog wat te leren hebben, want geef toe: dat hele api/soap gebeuren slaat nergens op, dat zijn gewoon termen die je eruit hebt gegooid omdat je ergens een klok hebt horen luiden.

Dat zijn jouw woorden, jij weet niet wat ik dagelijks doe

Wel interessant dat ze er DSP's voor gebruiken. Lijkt me duur om die voor een specifieke taak te ontwikkelen. En wat als je er nog een andere taak op wil doen? Dat gaat dan lastiger. Hoewel de DSP's waarschijnlijk voor video processing zijn ingericht.

Ze zijn dan ook niet compleet "from scratch" hier voor ontwikkeld. De Tensilica cores zijn gewoon een product van Cadence wat als customizable IP op een SoC geintegreerd kan worden. Het biedt de optie voor speciale specifieke aanpassingen voor je applicatie, en Microsoft lijkt dat hier gedaan te hebben met de extra DSP instructies. Wel interessant dat Microsoft blijkbaar echt de hardware zelf ontwikkeld heeft, al zal het misschien een samenwerking met Cadence zijn geweest.

Apart om te zien dat ze daar in de keus voor Cadence hebben gemaakt.

Het is een relatief klein bedrijf met een andere technologie dan de doorsnee bedrijven als x86, ARM, en zelfs supercomputing door oa Nvidia en wat kleinere schaal AMD met hun GPU's.

Wat ook interessant is, is om te zien dat ze met een heel zuinige chip toch even een teraflop produceren die heel gericht kan worden ingezet.


Het zet de deur wijd open voor andere (kleinere) bedrijven. 10 Jaar geleden was ARM meer een niche-speler op de markt bedoeld voor specifieke producten en had je x86 nodig voor normaal werk, vandaag de dag is die onderscheid praktisch niet aanwezig. Je kunt net zo productief zijn op ARM en wordt een mainstream desktop steeds meer niche.
Nu zet Microsoft wel even een aantal grote spelers opzij met een techniek die zuinig is en ook nog eens werkt. En dit lijkt allemaal ver van mijn bed show, maar de grote winst in de komende decennia zit hem in automotive en transport. Die willen allemaal snel en goedkoop een goed werkend systeem hebben dat ook nog eens zuinig is.

Het gaat er om dat ze hier DSP cores kunnen inzetten wat geen volledige general purpose CPUs zijn zoals x86, ARM, SPARC, PowerPC, MIPS, etc etc. Hierdoor kan je een veel hogere performance (en performance per watt!) halen, omdat ze applicatie specifiek zijn. Cadence heeft heel erg veel ervaring (en IP) op het gebied van DSPs, o.a. omdat ze Tensilica hebben gekocht indertijd, dus dat ze daar dan mee in zee gaan is niet zo vreemd. Met 24 ARM cores had je niet genoeg performance gehad voor deze specifieke taken waarschijnlijk. Misschien wel met een 72 core Xeon Phi maar ja, dat was dan weer een enorm heethoofd geweest :-)

Overigens is Cadence niet eens zo'n klein bedrijf. Het is in ieder geval op dit moment meer waard op de beurs dan AMD (al is dat misschien niet zo moeilijk de afgelopen jaren ) Ze zijn ook bekend om hun EDA tools die in de computer/chip industrie volgens mij best veel gebruikt worden.

Het is zeker interessant, want (corrigeer me als ik het verkeerd zeg) met DSP's kan je realtime operaties uitvoeren.. Het is dus niet zo dat bijv. een hand detectie moet wachten op een ander process. Alle bewerkingen duren altijd even lang. Als je genoeg taken definieert en die in hardware omzet, dan kom je ermee uit. Overhead kan je eventueel met een CPU dan nog doen.

"Het stroomverbruik van de hpu zou uit moeten komen op minder dan 10 watt." Dat vindt ik nogal veel voor iets wat je op je hoofd moet dragen. Dus stel je stopt er een 10wh batterij in kun je het alsnog maar een uur gebruiken en daar komt dan nog de overige hardware overheen. Misschien is het handig om de hpu ook naar 14nm of 16nm te verkleinen?

Dit is natuurlijk het eerste ontwerp van de holo lens, en het is voor het eerst dat er ooit zoiets gemaakt is. Ik denk dan ook dat ze nu expres voor 28 nm gegaan zijn, a, dit was goed beschikbaar en het is waarschijnlijk inmiddels goedkoper geworden.
Mocht het project slagen, dat zullen ze zeker een 14 of 10 nm variant maken, en zal er waarschijnlijk nog krachtigere hw toegevoegd worden.


Het is nu trouwens alsnog zo dat je een computer nodig hebt voor het renderen van de virtuele objecten / hologrammen. We hebben hebben het hier toch alleen over signaal verwerking en ander basis functies van de bril ? Of zie ik dat verkeerd ?

[Reactie gewijzigd door holhuizen op 23 augustus 2016 13:33]

Het ding draait Windows 10, er kunnen gewoon Universal Apps voor ontwikkeld worden (en kan je hem dus stand-alone gebruiken). Daarnaast kan hij inderdaad aan een PC gehangen worden.

[Reactie gewijzigd door the_shadow op 23 augustus 2016 13:53]

Beetje 10.8wh weegt tegen 90 gram, gezien het gewicht van Hololens (~600) veel meer verspreid is over je hoofd dan bv de Rift (470 gram?), kan je makkelijk beide kanten nog 90gram extra kwijt.

De nieuwste Li-Metal drone batterijen worden vanaf november gemaakt met een energiedichtheid van 400-500 Wh per kg.
https://dutchitchannel.nl...twee-keer-langer-mee.html
10,8 wh is dan nog maar een batterij van 25 gram (misschien 40 met behuizing).

"Het stroomverbruik van de hpu zou uit moeten komen op minder dan 10 watt." Dat vindt ik nogal veel voor iets wat je op je hoofd moet dragen. Dus stel je stopt er een 10wh batterij in kun je het alsnog maar een uur gebruiken en daar komt dan nog de overige hardware overheen. Misschien is het handig om de hpu ook naar 14nm of 16nm te verkleinen?

We hebben geen enkel idee of dat is als ie die ene terraflop draait (dan zou het ongelofelijk zuinig zijn) of als ie niets doet. Lijkt me dat even afwachten of dit inderdaad een issue is geboden is.

Die verkleining zal er zeker ooit van komen, maar in de tijd dat die hpu gemaakt werd, was 28nm nog steeds de standaard. Dit is dan ook nog maar een prototype, ik verwacht een veel completer eindproduct.

Wat is eigenlijk de doelgroep van Microsoft's Hololens? Wat is Microsoft's visue met de Hololens? Ik heb eerder alleen filmpjes gezien waarbij de Hololens icm Minecraft en een "Smart Home" idee gedemonstreerd werden. Het feit dat ze een chip ontworpen hebben voor de Hololens betekent dat het wel een serieus project is.

Ik heb ook een filmpje gezien waarin design bedrijven de Hololens gebruiken, zo kunnen ze makkelijk aanpassingen maken aan producten die ze aan t ontwerpen zijn.

De doelgroep is dus denk ik voornamelijk bedrijven, met consumenten als bijzaak.

Dat weet Microsoft zelf niet. Microsoft heeft aan developers gevraagd om software te ontwikkelen voor de Hololens en daarbij geen enkele richting aangegeven. De creatieve mind van de developers kunnen hele interessante ideeën opleveren waarbij vanzelf n of meerdere doelgroepen gaan ontstaan...

Ik ben erg nieuwschierig of de Hololens ook Flight Simulator X kan/zal kunnen draaien. Lijkt me enorm leuk om dan in een virtuele cockpit te vliegen, met een set dummy joysticks en knoppen.

Daar is hij veeeeeel te zwak voor...... Hij zou wel je auto in een vliegtuig cockpit kunnen omtoveren

Misschien niet helemaal on topic, maar ik zoek al een tijdje naar een plaats (in Belgie) waar je de Hololens een keer kan proberen. Dus ergens in een winkel of op een kantoor, die iedereen een keer laten proberen . Iemand een idee of dit mogelijk is?

Probeer het eens op Twitter.

Ik wil een remake van Amsterdoom!!!
Maar dan letterlijk in Amsterdam