Microsoft brengt bèta van Kinect-sdk uit

Microsoft geeft donderdag een bèta van de Kinect-sdk uit. Ontwikkelaars kunnen via de sdk de Kinect- bewegingssensor en -microfoon aanspreken. Enkel niet-commercieel gebruik is toegestaan; commerciële licenties volgen later.

Op zijn MIX-ontwikkelaarsconferentie maakte Microsoft al bekend dat een bètaversie van de Kinect-sdk deze lente zou uitkomen, en donderdag wordt de sdk aan het grote publiek geopenbaard. Ontwikkelaars kunnen de developmentkit gebruiken om de bewegingssensor en microfoon van Kinect aan te spreken. Dat mag op dit moment overigens alleen voor niet-commercieel gebruik; commerciële licenties volgen later, maar het is nog niet bekend wanneer dat gebeurt.

Met de bewegingssensor kunnen ontwikkelaars de bewegingen van een tot twee mensen tracken. Ook is ondersteuning voor de spraakherkennings-api van Windows ingebouwd, die overigens nog niet met de Nederlandse taal werkt. De sdk kan met elke .NET-taal worden gebruikt, stelt Microsoft. Wel moeten ontwikkelaars over Windows 7 beschikken. Met de sdk worden 'honderden pagina's' documentatie en voorbeelden geleverd.

Microsoft hoopt dat de sdk niet alleen wordt gebruikt om games te maken; de softwaregigant toonde donderdag bijvoorbeeld een applicatie waarmee Kinect werd gebruikt om muziek te maken. Aanvankelijk had Microsoft overigens geen plannen om Kinect naar de pc te brengen. Het bedrijf zei vorig jaar zelfs alles te willen doen om te voorkomen dat Kinect met andere hardware dan de Xbox 360 zou samenwerken, hoewel het later op dit standpunt terugkwam.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Op de MIX-conferentie toonde Microsoft wat ontwikkelaars met de Kinect-sdk kunnen doen.

Reacties (54)

[StevenRKM]

Om snel te beginnen met deze SDK zijn deze filmpjes wel handig:

http://channel9.msdn.com/Series/KinectSDKQuickstarts

[SMGGM]

Wat ik eigenlijk een beetje vreemd vind is dat ze de SDK eigenlijk hebben uitgebracht omdat er juist enthousiasten ermee aan het werk ging en er zelf een driver begonnen voor te schrijven. Het verwondert mij dat MS niet heeft gezien dat dit een unieke manier is om een computer te bedienen, dit terwijl de mogelijkheden zo groot zijn om het ook als PC hardware te gebruiken. Als je kijkt naar een film zoals Minority Report dan lijkt deze technologie zeer sterk op wat Microsoft hier in die demo weergeeft. Maar natuurlijk, er zijn momenteel nog maar weinig echte toepassingen die hier gebruik van maken. Het heeft nu eigenlijk een zeer groot showgehalte.

Ik denk vooral dat zoiets gebruikt kan worden tijdens presentaties of demo's. Ipv dat daar een gast achter zijn bureau op een computer zit te tokkelen en weinig contact heeft met zijn publiek zou die in het midden van het podium kunnen staan en daar met gebaren het scherm bedienen.
Ongetwijfeld zullen er nog veel creatievelingen andere ideeën hebben, ik ben alleen niet creatief

[max3D]

Ik denk dat er nu teveel achter de open source versie gezocht wordt. NI/PrimeSense heeft de techniek ontwikkeld en mag deze ook zelf aan de man brengen. Dat doen ze dus ook en ik heb een half jaar geleden al serieuze gesprekken met PrimeSense gevoerd over het gebruik van hun sensor technologogie in onze produkten.

Wat PrimeSense niet mag doen is de Kinect leveren en het verschil tussen hun eigen basis techniek en de Kinect is groter dan sommige mensen denken. Microsoft heeft in haar software labs ontzettend veel meer uit de basis sensoren weten te halen dan PrimeSense een half jaar geleden kon bieden.

O.a. de data manipulatie is bij Microsoft op een totaal ander niveau. Er zijn algorithmes ontwikkeld door verrekt slimme ontwikkelaars op hun R&D labs om bijv. bewegingen te reconstrueren die niet door de sensor camera zelf gezien worden. Ze leiden dat af uit het skeleton dat ze heel nauwkeurig uit de data halen en waar veel kennis van het menselijk lichaam in verwerkt zit. Als je voet dus buiten beeld raakt in je opwinding, kan aan de knie beweging gedecteerd worden of je toch nog op de maat meetikt of gas geeft op het juiste moment. Let wel, dit is maar een fractie van de data verwerkingstechnologie die Microsoft toegevoegd heeft.

Nu kan Microsoft wachten tot de mensen van PrimeSense op hetzelfde niveau zitten en dan toekijken hoe ze voor allerlei nieuwe projecten in HTPC, amusement en wetenschap een eigen integrated device aanbieden met die software OF Microsoft doet hetzelfde en benut gewoon de bestaande Kinect ervoor die toch al in massa geproduceerd wordt en dus voor een appel en ei gemaakt kan worden.

In het laatste geval blijven ze de grote innovator en verhinderen ze feitelijk de ontwikkeling van een ander low cost device voor PC´s dat op termijn zou kunnen concurreren. Een verstandige zaak dus om PrimeSense rechten op eigen ontwikkelingen voor alles anders dan de Xbox af te remmen.

Of het een goede zaak is moet ieder voor zich weten: de verfijnde algorithmes, de ongetwijfeld uitstekende SDK en de low cost Kinect zijn een pracht deal, maar het zal ongetwijfeld de ontwikkeling van een competing device met bijv. exactere microfoons, hogere resolutie dept sensor etc of nog onbekende verbeteringen in de sensor techniek blokkeren.

Als je nu van de plank af een time of flight systeem wil kopen ben je duizenden dollars minimaal kwijt en mag je alle software nog schrijven. Zou Microsoft deze move niet gemaakt hebben (ja, pun intended) zou of Primesense of een andere sensor partij met een consumenten device voor de PC hebben kunnen komen met meer of andere mogelijkheden.

Anyway, het heeft dus weinig te maken met het uitkomen van open source drivers, maar meer met een wake up call toen PrimeSense uitkwam met goedkope technologie en licenties voor het maken van PC besturings software een half jaar geleden. De interesse voor het opensource project zal hoogstens een duwtje in de rug zijn geweest om bij het management de levendige interesse aan te tonen.

[SuperDre]

Nee, je ziet het verkeerd, MS heeft JUIST gezien dat enthousiasten ermee aan het werk gingen en hun eigen drivers maakte, en daarom zijn ze met hun eigenlijk SDK gekomen, maar dat kost tijd voordat je deze werkelijk kunt uitbrengen.. En ik durf te wedden dat de SDK van MS een stuk fijner in gebruik is dan de OpenNI/kinect driver debacle (het werkt wel, maar is niet echt gebruikers vriendelijk om te installeren, aan de praat te krijgen)..

[Marcelloz]

Klopt. De drivers die er nu zijn zijn via trail-en-error gemaakt. Knap uiteraard, maar Microsoft weet natuurlijk precies hoe dat ding in elkaar zit en heeft voor de XBox al een goede SDK neem ik aan. Dit zal een port zijn die alle functies ontsluit.

Daarnaast zal deze SDK op de PC vooral in de wetenschappelijke hoek en non-game hoek gebruikt gaan worden. Normaliter moest je voor hardware\software die hetzelfde als de kinect kan (camera's, framegrabbers, etc) een vermogen betalen. Nu nog geen 100 euro. Laptopje + kinect = veeeeeel mogelijkheden, je creativiteit is de enige grens

[Schnupperpuppe]

De drivers die er nu zijn zijn via trail-en-error gemaakt.

Klopt niet. Het OpenNI/kinect framework is afkomstig van PrimeSense, de maker van de Kinect!
Het lijkt mij dat PrimeSense beter weet hoe e.e.a. in elkaar zit dan Microsoft.

[SuperDre]

Erg leuk, zal de SDK ook gaan installeren, had namelijk afgelopen vrijdag uit verveling de Kinect gekocht (was 88 euro bij de mediamarkt), en aangesloten op de PC, maar de OpenNI drivers installeren was niet echt fijn (lastig te vinden welke je precies moet hebben en heb je eindelijk 64bit geinstalleerd blijkt de kinect driver alleen overweg te kunnen met de 32bit.. dus die dan uiteindelijk moeten installeren)..
Grootste probleem van de kinect vindt ik toch wel de ruimte die je nodig hebt. Je moet minimaal 2 meter van dat ding af staan wil je fullbody gescanned kunnen worden. Je moet dus een behoorlijke huiskamer hebben wil je deze gebruiken voor te gamen op je console (heb geen xbox360 dus kan em niet daarop testen)..

[Anoniem: 614]

Nyko. Zoom for Kinect
We tried out Zoom Kinect, a set of lenses for Microsoft's favorite sensor bar that lets those residing in diminutive domiciles be the controller without rearranging their furniture. The add-on worked flawlessly when we gave it a go on Kinect Adventures -- Kinect had no trouble tracking our movements even though we were a few feet closer to the sensor than recommended. Zoom Kinect is slated for an August 16th release and will cost $29.99, a paltry sum compared to the price of buying a bigger living room.

[florejaen]

Dit lijkt me niet echt een nuttige toevoeging aan pc-games?
Buiten het feit dat een kinect je hoofd kan "tracken" bij racegames zodat je opzij kan kijken.

Voor mediacenters is het wel een andere zaak denk ik.

Laat ons eerst maar eens afwachten wat de developers ons geven :-)

[LordPan]

het probleem met dat opzij kijken is dat je dan wel degelijk naar rechts of naar links gaat kijken en niet meer naar je scherm.

In shooters zie ik de toevoeging in het naar links, rechts of onder wegduiken. In racegames, meerbepaald moto racers (of ook in flight sims zoals hawx), kan het tilten van je hooft meehelpen met het sturen. Ik merk nu ook al dat als ik naar links wil vliegen ik automatisch naar links ga leunen in mijn stoel.

Andere apps of zelfs RTS games kunnen meer van gestures gebruik maken, zoals je momenteel ook al mouse gestures hebt of zelfs, als de camera's gevoelig genoeg zijn, de muis volledig vervangen in specifieke applicaties (zoals het maken van bv foto collages)

Edit: Typo

[Reactie gewijzigd door LordPan op 22 juli 2024 19:58]

[.oisyn]

het probleem met dat opzij kijken is dat je dan wel degelijk naar rechts of naar links gaat kijken en niet meer naar je scherm.

Ik denk dat hij niet het roteren maar juist het "pannen" van het hoofd bedoelt. Dus dat je monitor zich meer als een raam gedraagt waar je doorheen kunt kijken. Als je het hoofd kunt tracken dan kun je het beeld aanpassen voor je gezichtspunt, om op deze manier een veel groter gevoel van 3D te geven.

[iMispel]

Ik denk dat je op deze manier vooral misselijk kan worden. Net zoals die 3D films die - bij mij dan toch - een naar gevoel nalaten. Ik probeer er - als niet bioloog voor alle duidelijkheid - een uitleg aan te geven. In jouw voorbeeld: Je kijkt naar een 2D scherm, waarbij je ogen gefocust zijn op een bepaalde afstand. Echter, als je je hoofd beweegt is het alsof naar iets veel verder kijkt. Dit brengt je hersenen in de war want de beweging en de invloed daarvan klopt niet met de focus van je ogen. Ik denk dat dit ook (gedeeltelijk) de oorzaak van misselijkheid (of gewoon het nare gevoel zoals bij mezelf) van 3D films bij sommige mensen. Je ogen zijn gefocust op een scherm op zoveel meter afstand, maar objecten zelf lijken zoveel dichter/verder.

Denk dus dat Kinect vooral leuk kan zijn als besturing van karakers evt van bewerkingen in programma's, maar - zeker in mijn geval dan - niet als besturing voor de point of view.

[Finraziel]

Lang niet iedereen heeft daar echter last van dus dat gaat niet echt een reden zijn om het niet te doen.
Ook vraag ik me af of het voor sommige mensen niet ook gewenning is. Toen first person 3d door brak met doom en zo hoorde je ook veel van mensen die er min of meer wagenziek van werden omdat zij stil zaten terwijl de hersens beweging waar namen. Tegenwoordig hoor je daar echter niemand meer over. Het zal vast nog wel voor komen, maar wellicht niet meer zo vaak als toen het nieuw was.

[Vastloper]

Met head tracking is het anders. Het blijft een 2d plaatje en beide ogen blijven hetzelfde beeld zien, je ogen worden niet voor gek geprobeerd te houden. Het enige dat verandert is dat het camerastandpunt in het spel word aangepast. Dit kan alleen met computer gegenereerde beelden niet met videobeelden. Dit is hetzelfde als dat je in een spel je karakter naar links of rechts laat lopen maar dan bestuurd door je hoofd. Op die manier kun je bijvoorbeeld ineens ook naar de zijkant van objecten kijken of om de hoek van een gebouw oid. Bij videobeelden kun je dit niet toevoegen omdat de ander invalshoek nooit is vastgelegd. En om elke mogelijk invalshoek in een omgeving met de camer vast te leggen waardoor de illusie van vrij rondkijken bestaat te creeren heb je vrijwel oneindig veel videomateriaal nodig.

[ShadXo]

het probleem met dat opzij kijken is dat je dan wel degelijk naar rechts of naar links gaat kijken en niet meer naar je scherm.

Klopt helemaal, zat ik ook aan te denken.
Ze kunnen ook een goede oplossing bedenken.

[KrKr]

Of je kunt een paar extra schermen neerzetten...

[Propane]

het probleem met dat opzij kijken is dat je dan wel degelijk naar rechts of naar links gaat kijken en niet meer naar je scherm.

Dan moet je toch voor de lol eens een keertje TrackIR proberen...

Zolang de beweging schaalbaar is (bijv. 10 graden hoofd draaien is 30 graden ingame) werkt het prima en voelt het behoorlijk natuurlijk aan, je ogen blijven toch wel naar het scherm kijken. Ik gebruik het al tijden in flightsim en race games. Ook in ArmA2 is het een leuke toevoeging, omdat je op een natuurlijke manier om je heen kan kijken los van waar je je wapen op mikt.

[Reactie gewijzigd door Propane op 22 juli 2024 19:58]

[Anoniem: 614]

Is geen probleem. Juist fantastisch.

Voor je begrip zou je eens naar trackir moeten kijken.
http://www.naturalpoint.com/trackir/

Naast racegames zijn flightsims heel mooi met headtracking.
Denk bijvoorbeeld aan het volledig kunnen zien van het instrumentenpaneel door je hoofd te bewegen zoals een piloot dat ook in de praktijk doet.
En bij kleine klokjes, die je niet goed kan zien, doe je je hoofd naar voren, het klokje wordt groter en je kan het klokje wel goed zien. Geniaal. En dat met een relatief goedkoop consumenten apparaat die door massa fabrikage voor de massa beschikbaar is.
Het voordeel t.o.v. trackir is bovendien dat je niets op je hoofd hoeft te zetten.
.

[Reactie gewijzigd door Anoniem: 614 op 22 juli 2024 19:58]

[SG]

De PC dev wachten eerst nog op de commerciele versie release.
Nu kunnen indie en hobby devjes er op los experimenteren.

[Marcelloz]

Hoezo moeten de PC devs wachten? Ons bedrijf wacht al een tijdje op de release van de beta zodat we niet meer met die hobby API aan de slag hoeven. De release van Microsoft zelf is veel krachtiger en nu kunnen we ermee aan de slag. Commerciele licentie komt vanzelf, we kunnen nu eerst prototypen en alvast klantjes winnen

[bigbadbull]

inderdaad, Professionele ontwikkelaars kunnen al evengoed met deze SDK aan de slag en al volop experimenteren.
Misschien zelfs demo's maken.

Het enigste wat ze NIET mogen is verkopen, daarvoor moeten ze om de commerciële licentie wachten die waarschijnlijk pas uitkomt eens de sdk uit beta komt.

[MClaeys]

Mij lijkt het wel nuttig. Zeker voor mediacenters (ik dacht dat xbmc al een plugin hiervoor had). Ook denk ik dat er snel een toepassing zal komen om het als muis te gebruiken, dus gewoon je hand bewegen in richtingen, vinger om te klikken of weet ik veel wat (op E3 toonden ze vingertracking dat naar Xbox 360 gaat komen, dus ik veronderstel ook in de SDK)

[spoonman]

Buiten het feit dat een kinect je hoofd kan "tracken" bij racegames zodat je opzij kan kijken.

Je monitor blijft dan nog altijd gewoon recht voor je staan hoor ...

[florejaen]

Ik bedoelde eigenlijk, je hoofd naar links draaien, rechts draaien, omhoog bewegen, ...

Om zo het beeld te laten verschuiven op de monitor, zodat je gemakkelijk opzij kan kijken of meeleunen (zoals bij die moto-games).

Lijkt me dan wel een leuke toevoeging, maar ik wacht nog af.

[Diddle]

Dat klinkt leuk, maar mijn monitor staat recht voor me. Als ik mijn hoofd naar links of rechts draai, zie ik de monitor alleen in mijn ooghoeken. Lijkt me mooi onhandig als je een racegame via je ooghoeken in de gaten moet houden als je alleen maar wilt weten wat er in je omgeving gebeurt.

[bonus]

Misschien zijn er wel leuke spellen van de Xbox360 voor de kinect te porten naar de PC. Gezien de hardware van de 360 moet dat toch niet zo'n probleem zijn. Evt. bundeltje ook voor de pc. Ja als ze zien dat er vraag naar is waarom niet lijkt me...

[Kluutmaran]

Commercieel gebruik lijkt me niet echt rendabel aangezien de installed base op de PC nog enorm laag is. Aangezien je wel commerciële rechten nodig hebt om games te kunnen porten naar de pc lijkt me de kans vrij klein dat dit gebeurd. De installed base zal waarschijnlijk nooit enorm groot worden aangezien de pc daar het platform niet voor is, kijk naar de installed base van joypads en stuurwielen op de pc.

Ik vermoed dat je voor de meeste toepassingen meer moet kijken naar hobby projecten en semi wetenschappelijke toepassingen op de PC en voor de games de Xbox meer gebruikt gaat worden.

[Finraziel]

De installed base van gamepads en stuurwielen? Je suggereert dat die klein is maar waar baseer je dat op?
Volgens mij hebben heel wat meer mensen een stuurwiel op de pc dan op een console omdat er veel meer beschikbaar is van betere kwaliteit voor lagere prijzen, je over het algemeen aan een buro zit wat zich beter leent voor stuur gebruik, en alle games ondersteunen over het algemeen alle stuurtjes, niet zoals bij de ps3 waar je dat maar af moet wachten of de 360 waar maar een handvol licensed zwaar overpricede stuurtjes beschikbaar zijn. Volgens mij zijn er juist veel meer stuurtjes te vinden in pc land dan in console land.
Wat gamepads betreft, tuurlijk wint de console dat want het is de standaard input methode en meegeleverd, maar de xbox 360 controller is razend populair voor de pc. Je ziet ook dat bijna alle games dat ding standaard ondersteunen en het ook apart achter op de doos staat. Denk je dat ze dat zouden doen als bijna niemand zo'n ding had?

[Vinny1994]

Ik zag laatst op internet een filmpje met een invalide man, die had een karretje gebouwd met een Kinect sensor erop, en dat karretje volgde hem door de Kinect sensor, hiermee kon hij toch zelfstandig boodschappen doen etc.
Wie weet wat Kinect in deze vorm of een verder ontwikkelde vorm een uitkomst kan zijn voor invalide/minder valide, blinde, gehandicapten, of ouderen?
Ik hoop vooral voor die doelgroepen dat deze technologie een groot hulpmiddel kan gaan worden, en dat zou ook heel mooi zijn voor de ontwikkeling van de techniek achter Kinect.

Hier is by the way een link naar het filmpje: KLIK

[Zer0]

Een mooi voorbeeld van over-engineering, een stukje touw van minder dan een Euro was al voldoende geweest om vrijwel hetzelfde resultaat te halen

[Caelorum]

Dan krijg je alleen wel problemen als je meer dan 360 graden draait in je rolstoel. Om nog maar niet te spreken van de aanklachten wegens mishandeling die je in de VS vast aan je broek krijgt omdat mensen struikelen over het touw.
Oh en als jij stopt stopt dat wagentje ook, maar een wagen aan een touw niet.

Overigens wel overkill hoor Vraag gewoon of die tweede persoon die de hele tijd mee loopt een wagen pakt. Veel makkelijker ^^

[ikheetkoen]

YES, Kinect hacken om met ARMA II en/of ARMA III headtracking toe te kunnen passen. Daarvoor vind ik van die apparatuur toch net iets te duur.

[SuperDre]

88 euro valt toch best wel mee, en de prijs zal langzaamaan toch wel verder zakken.

[MClaeys]

Waar dan? Heb hem nog maar 1 keer voor < 100 euro gezien en dat was 99 euro Zou liever Kinect kunnen kopen zonder dat spel erbij

[michavb]

Sommige mediamarkt vestigingen hebben deze voor 88,-

[NetXtreme]

Was er net even naar aan het kijken, maar volgens mij is het Kinect Speech Platform nog niet online.. Wou er net even mee spelen..

[matery]

En als ze dan ook een marketplace/appstore maken op xbox live waar developers hun projecten kwijt kunnen dan kan iedereen er van genieten.

Tenzij dat niet mogelijk is omdat de code niet werkt op de xbox natuurlijk. Ze vinden er vast wel wat op.

[MClaeys]

De code werkt wel op Xbox, als je in XNA werkt. En je kan ze op Xbox Live aanbieden maar je moet er 99 euro / jaar voor betalen. En wachten op de volwaardige SDK, omdat het dan in de developer licence zal zitten, wat nu niet het geval is => geen commerciële doelen.

[Reactie gewijzigd door MClaeys op 22 juli 2024 19:58]

[R3NC0N]

Ikzelf had eerder ook al drivers op internet gevonden. Hiermee kon je ook het motortje besturen waarmee de hele Kinect omhoog en omlaag gaat.

Is deze optie ook in deze SDK? Ik kan hem namelijk niet vinden.

Hier overigens de oude drivers:

http://codelaboratories.com/nui/

[ekoopman]

Je kan het motortje besturen met de API zoals hier onder aan de pagina beschreven staat: http://channel9.msdn.com/Series/KinectSDKQuickstarts/Camera-Fundamentals.

Ik krijg wel onduidelijke errors als ik nui.NuiCamera.ElevationAngle++; doe, maar nui.NuiCamera.ElevationAngle = 13; oid werkt prima.