Microsoft schrapt herkenning gebarentaal Kinect

Een testversie van Microsofts Kinect had een camera waarmee het mogelijk was om de positie van afzonderlijke vingers en daarmee gebarentaal te herkennen. De minder goede camera van de definitieve versie kan alleen ledematen waarnemen.

Een week geleden dook Microsofts patentaanvraag voor Kinect op. Uit de bijbehorende beschrijving blijkt dat het de bedoeling was dat de bewegingsherkennende controller gebarentaal kon herkennen, een optie waar Microsoft tot nu toe niets over heeft meegedeeld. In de aanvraag wordt beschreven dat Kinect gebarentaal kan omzetten in tekst, maar Microsoft heeft inmiddels aan Kotaku laten weten dat de camera van Kinect niet gevoelig genoeg is om gebarentaal te ontcijferen.

In de testfase van Kinect, dat toen nog bekend stond als Project Natal, had het apparaat een camera met een minstens twee keer zo hoge resolutie als de 320x240 pixels van de versie die in november in de winkel verschijnt. Die camera was gevoelig genoeg om de bewegingen van vingers te kunnen detecteren. De huidige camera kan alleen de bewegingen van ledematen herkennen.

Microsoft zou voor de huidige camera gekozen hebben uit kostenoverwegingen. Het concern is steeds van plan geweest de controller voor ongeveer 150 dollar op de markt te brengen en dat zou met de gevoeliger camera niet mogelijk zijn geweest.

Reacties (87)

[Verwijderd]

Man, Kinect wordt met de dag minder interessant voor mij. Een minority report achtige ervaring leek me geweldig, op die presentatie van een jaar geleden vond ik het er allemaal best goed uit zien en PS move er zwaar uit troeven, maar na dat jaar komen beiden alleen nog maar over om na jaren van Wii-dominatie ook eens de mainstream markt te gaan bedienen, maar als ze zo veel features blijven schrappen en steeds meer weg gaan van hun imago denk ik dat MS en in minde mate Sony de zogenaamde hardcore audience afschrikken door de zelfde fout te maken die ook veel Wii ontwikkelaars in het begin (en nog steeds) maken: Bewegen om het bewegen, maar daarnaast de mainstream ook niet kunnen aanspreken.

Ik denk dat ze gemiddelde persoon weinig interesse heeft in beide, vooral omdat ze zich afvragen waarom dit nou beter is dan de wii. En waar Nintendo een hele reutemeteut aan mascottes heeft rondwandelen die iedereen wel kent, zijn MS en Sony's IP's toch minder bekend onder de gemiddelde persoon. Iedereen kent Mario, maar Marcus Phoenix en Solid Snake zullen toch wel minder herkent worden.

En dan zou het denk ik juist belangrijk zijn om dit soort dingen te kunnen doen; nauwkeurig tot de vinger zou niet alleen kunnen leiden tot heel andere games dan alleen zwaaien, maar juist ook bij Media selectie kunnen bijdragen. Wat dit (misschien aan de flauwe kant) plaatje een beetje laat zien:
http://cache.gawkerassets...010/07/kinectcomicnew.jpg

[McBoom]

Uit de bijbehorende beschrijving blijkt dat het de bedoeling was dat de bewegingsherkennende controller gebarentaal kon herkennen, een optie waar Microsoft tot nu toe niets over heeft meegedeeld.

Hoe kan je er van balen als iets er niet inzit waar ze nooit mee 'geadverteerd' hebben? M.a.w. dat je nooit geweten hebt dat ze ermee getest hebben. De media bediening met gebaren zoals getoond op de E3 blijft gewoon zoals het is. Ik kan geen gebarentaal (en ik denk het merendeel van de bevolking niet), dus zelf vind ik het niet zo boeiend dat het er niet in zit.

[Verwijderd]

Het gaat ook niet perse om de gebarentaal, maar meer om de precisie die het met zich meebrengt. Het werd gebracht als iets dat tot in de vingers kon herkennen, en dat blijkt nu allemaal nog al tegen te vallen. Dat we een paar jaar geleden de wii niet aan zijn verwachting kon voldoen is tot daar aan toe, maar MS liijkt nu ook te kort te schieten.

[McBoom]

Het werd gebracht als iets dat tot in de vingers kon herkennen, en dat blijkt nu allemaal nog al tegen te vallen.

Heb je een bron waar dat geclaimd wordt?

Zoals in het artikel aangegeven wordt is het nooit naar buiten gebracht en alleen getest in de testfase. Het is niet zo dat de versie die getoond is met de laatste E3 ineens nog gestript is van features als Kinect in de winkel ligt. Dus in welk opzicht schiet Microsoft nu tekort dan? Er zijn genoeg apparaten die tijdens de testfase/prototypefase voorzien zijn van de meest hippe/geavanceerde snufjes maar die de productiefase niet halen. Zo werkt het nu eenmaal.

[Matthijs Hoekstra]

Ga er nou eerst maar eens mee spelen en dan je oordeel vormen. Vergelijk met de WII gaat echt mank. WII gaat om 1 armbeweging die wordt herkend. Kinect doet al je ledematen, lichaam, hoofd etc. Dus hele andere scenarios mogelijk.

Daarnaasts is de bediening van je xbox met de hand echt heel goed. De spellen zijn heel leuk en je kunt je voorstellen als je een fitnessgame maakt dat ie niet alleen iets voordoet maar ook kan controleren of je je knieen wel genoeg buigt en of je houding wel correct is.

Heb diverse spellen gespeeld en de ervaring is echt heel erg leuk en compleet anders dan je bij de andere consoles bent gewend. Dus mocht je de kans krijgen om de Kinect een keer te proberen zou ik het zeker doen.

[Ge0force]

De spellen die tot nu toe zijn voorgesteld voor Kinect zijn schaamteloze clonen van bestaande Wii-games. En ook al kan je in de Kinect-versie je hele lichaam gebruiken, het blijft dezelfde oppervlakkige en eentonige gameplay die enkel de casual gamer gedurende een korte periode kan boeien.

[Fireshade]

En niemand 'struikelt' over de patentaanvraag: een systeem interpreteert gebarentaal op een visuele manier (m.b.v. een camera). Dat is zo ontzettend breed. Hoe wil je anders gebarentaal met een machine laten registreren?
Hup, weg concurrentie.

[Rinzwind]

prior art.... hoe interpreteren wij gebarentaal? jep... visueel hoe anders...

[mashell]

Hoe wil je anders gebarentaal met een machine laten registreren?

Sensor handschoenen?

[Noxious]

Het kan aan mij liggen, maar 640x480 webcams heb je al voor een euro of 5-10 van merken a la trust en dergelijke. Het kostenverschil kan toch nooit zo extreem zijn?

[Japs]

Wikipedia:
According to information supplied to retailers, the Kinect sensor outputs video at a frame rate of 30 Hz, with the RGB video stream at 32-bit color VGA resolution (640×480 pixels), and the monochrome video stream used for depth sensing at 16-bit
QVGA resolution (320×240 pixels with 65,536 levels of sensitivity).

The depth sensor consists of an infrared projector combined with a monochrome CMOS sensor, and allows the Kinect sensor to see in 3D under any ambient light conditions.[3][9] The sensing range of the depth sensor is adjustable, with the Kinect software capable of automatically calibrating the sensor based on gameplay and the player's physical environment, such as the presence of chairs.

Het is dus niet gewoon een suffe webcam (het wordt immers heel moeilijk om betrouwbare 3D info te halen uit een 2D beeld (wat een gewone camera geeft). De camera is dus een combinatie van een gewone camera en een "dieptescanner". Het gaat hier dus om de diepte scanner die blijkbaar te duur was om op hogere resolutie te implementeren (om genoeg detail voor vingers te geven).

[buzzin]

Ik gok dat de hardware er achter om alle signalen te verwerken ook ineens veel uitgebreider moet worden ivm de hogere stroom aan data.....ik denk dat die uitbreiding duurder is als het cameraatje zelf.

[voodooless]

't is nog steeds de zelfde XBox hoor. Ga er maar niet vanuit dat de camera dit soort dingen zelf gaat doen.

[buzzin]

De Xbox handeld vast een deel zelf af....maar het verwerken van de beeldpunten en dat omzetten naar iets waar de Xbox iets mee kan gebeurt in kinect zelf (er zit op een camera ook altijd een verwerkings chip....niet een paar draadjes vanaf de CCD)
Dat verwerken heb je meer bandbreedte bij nodig....en dat kost geld.

[Qualian]

http://www.joystiq.com/20...e-company-behind-the-tech

Interessant dat er ook in staat dat het systeem in principe wel degelijk in staat is meer dan 2 mensen te herkennen en hun bewegingen te registreren.

Ik vind het wel jammer dat ze deze keuze gemaakt hebben trouwens, het herkennen van vingerbewegingen zou toch wel significant meer mogelijkheden bieden. Ik vraag me ook af of deze keuze ook gevolgen heeft voor de gezichtsherkenning... Als ze zo'n product succesvol willen lanceren lijkt precisie mij nog net even wat belangrijker dan prijs, mits het daadwerkelijk zo revolutionair is als ze voor willen doen komen...

[Proxx]

is Milo ook al niet een langzame dood gestorven. (hoor er iig niks meer over)

en Milo zou heel veel gebruik maken van gezichts herkenning (emoties) boos vrolijk normaal verdrietig.

toeval? of zit ik fout?

[Verwijderd]

Er zitten gewoon twee camera's in.
een 640x480 voor 2D en een 320x240 voor aanvullende 3D detectie.

[roy-t]

Ja maar eeen 640x480 webcam heeft 4x zoveel beeldpunten als een 320x240 camera. Dus dan heb je ook 4x de processing power nodig, dus misschien hebben ze door een minder goede camera ook minder dure chips nodig gehad. (Ik neem aan dat de kinect redelijk wat pre-processing doet voordat de data bij de 360 komt).

[bredend]

Moet je wel 4x zoveel pixels analyseren!

Je hebt meer aan een goede van 320x240 dan een paupere van 640x480.

[Reactie gewijzigd door bredend op 23 juli 2024 23:11]

[Bosmonster]

De hardware om de beelden te analyseren moet ook ineens een heel stuk krachtiger als de afmetingen van de frames met een factor 4 toenemen.

In de camera zelf zullen de kosten wel niet gezeten hebben.

[Reactie gewijzigd door Bosmonster op 23 juli 2024 23:11]

[hellfighter87]

dit is dan ook natuurlijk neit zomaar een webcam lijkt mij?
Je meot toch vrij goed kunnen herkennen wat een persoon aan beweging maakt wat natuurlijk niet hoeft bij een webcam.

en natuurlijk zullen ze ook wel een hoop ontwikkelings kosten gemaakt hebben om kinetic op te nemen in hun development kit.

[Reactie gewijzigd door hellfighter87 op 23 juli 2024 23:11]

[watercoolertje]

Bedoel je die camera die 320*240 @15FPS upscaled? Daar heb je niks aan hoor, iets duurder (25/35 euro per camera) en hij is 640*480 @30FPS native

[Bartjezz]

Je hebt nu 2 camera's die 2 verschillende beelden van hetzelfde object binnensturen. Het grapje is dat de camera alleen maar de data doorgeeft van wat er bestuurt wordt, en niet ook nogeens alle beelden. De hardware die nodig is om alleen ledematen te detecteren (en dus ook daarvan de "richting" doorgeeft) is veel goedkoper dan de hardware die nodig is om de kleine dingen, zoals vingers, te detecteren.
Het is eigenlijk hetzelfde als een controller, hij ziet in 3D wat je doet, vormt dat om naar "controls" zoals up/down/left/right, en stuurt alleen het commando door.

[buzzin]

Dat lijkt me jammer voor de mensen die het zouden kunnen gebruiken om inderdaad tekst zo in te voeren....
Aan de andere kant....als je gebarentaal kan....kun je meestal ook wel typen lijkt me? (of ben ik nou gek?)

[morrowyn]

Moet je wel een keyboard aangesloten hebben op je xbox360. Ik kan me voorstellen dat mensen dat juist nu niet willen als ze in de woonkamer op de bank willen gamen. Keyboard en muis op je xbox, kan je net zo goed je pc aansluiten op je full hd scherm en daarop gamen ?

Maar gebarentaal herkennen zou je juist kunnen gebruiken als koppeling voor bepaalde shortcuts. bv. ,,|,, als je een "taunt" wilt sturen naar je tegenstander die dan op zijn scherm de bijbehorende in-game taunt van jou hoort.

[Verwijderd]

Gebarentaal herkenning is veel ingewikkelder dan dat je in eerste instantie zou denken. Iedereen heeft het wel altijd over gebarentaal, alsof dat maar 1 taal is, maar dat is dus zeker niet zo. Nu zijn er wel een groot aantal gebarentalen die verwant zijn aan het Frans, omdat men in Frankrijk in eerste instantie de tegenwoordigheid van geest had om doven niet als een stelletje debielen te behandelen.
Echter in de loop van de tijd zijn er een groot aantal afgeleide talen ontstaan en tevens zijn er spontaan diverse gebaren talen ontstaan.

Om een idee te geven over hoe complex dit geheel is. In Nederland worden al twee verschillende gebarentalen gebruikt. (De meeste gebruikte taal wordt overigens aangeduid als NGT of Nederlandse Gebaren Taal. Die zie je ook bij het ontbijtnieuws als je naar "de andere" zender zapt.) In Amerika worden minimaal drie (algemeen aanvaarde) talen "gesproken" die zijn afgeleid van de eerste Franse gebarentaal. Daarnaast worden er nog een aantal andere talen "gesproken".

Om e.a. nog even complexer te maken, zijn een deel van de gebarentalen gebaseerd op onze gesproken taal. Die delen dan ook de ons bekende grammatica. Echter er zijn ook een aantal spontaan ontstane gebarentalen, die dus eigenlijk door de doven zelf ontwikkeld zijn. Die kennen veelal een heel andere grammatica dan dat wij gewend zijn. Die grammatica is vaak zo complex en anders dan wij gewend zijn, dat deze niet of nog niet volledig is gedocumenteerd.

Kortom als je een apparaat gaat maken dat gebarentaal moet "verstaan" dan moet je eigenlijk een apparaat bouwen dat meer dan 20 verschillende talen snapt. Of om het voor anders te zeggen: Het bouwen van een apparaat zoals dit, is een beetje alsof je "even" alle talen die in Europa gesproken worden, moet leren.

[Reactie gewijzigd door Verwijderd op 23 juli 2024 23:11]

[zeemeerman2]

En in Vlaanderen zijn er een stuk of 5-6. Één algemene, en verschillende provinciale gebarentaalvarianten. Niet bij elk woord, maar bij veel woorden. Noem het een soort dialect van een gebarentaal.

Een vlaams gebarenwoordenboekje hier: http://gebaren.ugent.be/alfabet.php?woordenboek=1

[Reactie gewijzigd door zeemeerman2 op 23 juli 2024 23:11]

[Xthemes.us]

Er is ook nog Gorilla Sign Language (GSL).
Maar goed neem aan dat ze geen rekening hebben gehouden met gorillas tijdens de ontwikkeling

Trouwens ook een erg kleine doelgroep, volgens mij maar geleerd door twee gorillas waarvan er nog meer één leeft.

[T-men]

Niet alleen "Gorilla Sign Language (GSL)" heeft een kleine doelgroep, maar ik vermoed dat, in marketing-termen, gebarentaal in zijn algemeenheid al een beperkte doel-groep heeft, nog afgezien van alle dialecten die die taal heeft.

Door alle variaties in houding en belichting is het ontcijferen van de losse gebaren ook geen eenvoudige klus. Zeg ruwweg even moelijk als handschrift-herkenning. Dat betekend dat er waarschijnlijk veel fouten gelezen worden.

Dan moet je daarnaast ook nog eens een nuttige of leuke toepassing hebben voor gebarentaal. En die zie ik nog niet zo snel, afgezien van het invoeren van je naam op een hi-score lijst. En indien nodig kun je daar ook een (virtueel) toetsenbord voor gebruiken. (Werkt nog sneller en zuiverder ook )

Hoewel het een geinige feature zou zijn denk ik niet dat veel mensen deze funktie gaan missen. Zelfs niet wanneer je tot de doelgroep hoort en gebarentaal 'spreekt'

Maar de slechtere camera heeft meer gevolgen.

Wanneer deze niet meer in staat is vingers te volgen moet dat ook betekenen dat de interpretatie van bewegingen in het algemeen minder zuiver worden.

Die effecten van een slechtere camera ga je dus ook tijdens het spelen van spelletjes e.d. merken !!!

Wellicht niet meteen als speler, maar als ontwikkelaar moet je met veel grovere informatie dealen. Een spel zal dus minder soepel aanvoelen dan eigenlijk eerst de bedoeling was.

Of het nog voldoende blijft, dat zal nog moeten blijken.

[Supremo]

Leuk verhaal, maar het artikel schrijft dat de camera niet genoeg resolutie heeft om vingers te detecteren. Dat lijkt mij een belangrijkere reden dan dat er zoveel verschillende gebarentalen zijn.

Ze hadden bij Kinect bijvoorbeeld met een Engelse kunnen beginnen en dat op de doos zetten. Later met upgrades uitbreiden naar andere talen. Je bent toch niet verplicht om bijvoorbeeld alle Engelse varianten te herkennen?

[Groenevelden]

Daarbij is er binnen NGT nog een Gronings dialect. Die kent bijvoorbeeld voor het tellen weer andere gebaren.
Een Kinect die gebarentaal zou ondersteunen zou anders wel een heel welkom hulpmiddel zijn om de NGT te leren. In spelvorm bijvoorbeeld. Heb je als ouder wat aan en kan een kind ook zelf de taal machtig worden.
Maar ik kan me voorstellen dat dit een hele uitdaging is. Het onderscheid in gebaren is soms minimaal en gaat gepaard met mimiek.
Misschien dat Kinect 3.0 of 4.0 wat meer gaat bieden.

[mbb]

Volgens mij was er ook een google Code (summer of?) code page die gebaren van webcams wou herkennen, maar dat liep gelof ik onder meer om deze reden . En omdat je je ideaal gesproken een webcam met dieptesensor nodig hebt

[Ventis]

Ik neem aan dat je wel een toetsenbord op het scherm zou kunnen tonen en Kinect zou kunnen gebruiken om dat te bedienen? Lijkt me ook handig voor iedereen ipv enkel doven.

[Finraziel]

Je hebt opklik keyboards voor je xbox controller, dat lijkt me toch niet zo'n probleem?

[dasiro]

kinect/natal hééft geen controller, dat is het hele concept

[hiostu]

Dat is nooit gezegd. Je kunt Kinect ook gebruiken icm controller.

[noMSforme]

Kinect is geen zelf ook geen controller..
zie die fail dan.
http://www.geek.com/articles/games/kinect-played-by-half-naked-asian-babes-still-looks-rubbish-2010081/

[Finraziel]

Ja, maar hij zegt dat je geen keyboard en muis aan je xbox wil hangen... Dat hoeft dus niet, daar heb je zo'n opklik ding voor dat was mijn punt.

[Korben]

Mja, één van de kernpunten van Kinect was natuurlijk spraakherkenning. Maar ja, ze zullen inderdaad nog steeds op andere manieren tekst kunnen invoeren.

[ToySoldier1992]

Waarom dan niet beide versies uitbrengen, de € 150 versie als standaard en die wat wél gebarentaal ondersteunt als nabestelbaar? (tegen die hogere prijs, of course)

[Herko_ter_Horst]

Dat heeft geen zin. Developers gaan geen applicaties ontwikkelen voor twee types Kinect.

[Finraziel]

Omdat software het dan niet gaat ondersteunen, want bijna niemand heeft de duurdere versie, dus wil bijna niemand die duurdere versie, dus wordt er ook geen software voor geschreven, dus...
Daarbij het probleem dat een apart product waar veel minder vraag voor is een stuk duurder zal zijn (door de kleinere schaal), zal het totaal niet interessant geweest zijn.

[Fairy]

320x240? Da's wel héél erg 1994...

Ik denk dat er misschien wel meer redenen zijn waarom ze geen scherpere camera kiezen...

Misschien om misbruik en gezichtsherkenning onmogelijk te maken?

[morrowyn]

Misschien zijn het hun leftover camera's van hun oude webcam meuk ofzo

[Verwijderd]

Afgedankte eye toys

Maar goed, jammer dat ze de gevoeligere camera schrappen, zou fijn geweest zijn als je input kon leveren met subtiele gebaren in plaats van te zwaaien als een halve zool.

[taeke18]

Dit doordat het 4x minder beeld punten heeft dus 4x minder snelle cpu nodig dus minder dure chips is goedkopere console.

[Dinnesch]

Ik heb er eerlijk gezegd niet veel vertrouwen meer in dat Kinect erg succesvol gaat worden. In het begin hadden ze allemaal prachtige claims, en ik was zeker onder de indruk.

Maar hoe verder ze kwamen met de ontwikkeling, leek het steeds minder interessant te worden. Het lijkt nu eerder op een ge-update versie van bv de Eyetoy camera. Wat voegt het nu nog toe?

[Relief2009]

Welke beloftes zijn ze niet nagekomen dan?

Bedoel je eyetoy die voor geen zak werkte en met 2d-detectie? Kinect werkt namelijk veel nauwkeuriger, registreert 3d bewegingen en heeft ook stemherkeningen.

Kinect kan je ook mooi integreren in shooters voor bepaalde functies zoals commands. Zie ik allemaal niet gebeuren met een simpele eye-toy.

[Dinnesch]

3D-bewegingen? Wat zou dat dan in moeten houden, en vooral, wat zou het opleveren in verhouding tot Eyetoy? Eyetoy zou ook niet werken als het geen onderscheid kon maken tussen dat je 2 of 5 meter van de camera afstaat.

Stemherkenning is niks nieuws, dat kan mijn DS ook. Natuurlijk wel beperkt(geen heel woordenboek), maar wat ik tot nu toe heb gezien van Kinect geeft me niet de indruk dat het meer dan 10 kreten zal kunnen onderscheiden.
En waarom zou je tegen een computer willen praten in shooters als je een headset hebt om tegen medespelers te praten?

[Reactie gewijzigd door Dinnesch op 23 juli 2024 23:11]

[Oval]

Het detecteren van emoties bijvoorbeeld.
Dat beloofden ze in het begin.
Ik verwachte veel A.I. achtige (Milo) games,
maar zelfs van Milo is weinig meer over.

Dinnesh heeft gelijk: ik zie alleen nog maar een gepimpte eye-toy camera.

[Verwijderd]

milo is onderdeeltje van en toekomstige game.
Je moet misschine even de laatste engadget show beluisteren waarin daar nog over gesproken wordt met de ontwikkelaar ervan.

[Ge0force]

Je kan een nieuwe technologie als Kinect ook niet vergelijken met een EyeToy van zoveel jaar oud. De Playstation Eye voor de PS3 is veel nauwkeuriger dan Kinect, heeft eveneens stemherkenning en andere snufjes zoals headtracking, en kan dankzij Move prima gebruikt worden voor shooters en andere non-casual games.

[Verwijderd]

Microsoft zou voor de huidige camera gekozen hebben uit kostenoverwegingen.

Dus Microsoft, die erom bekend staat af en toe heel wat geld over tafel te smijten alleen maar om een maandje of 2 games exclusief voor hun console te houden, gaat nu toch wel een behoorlijke verbetering van hun hardwarde vermijden, uit kostenoverwegingen??

Ik ben geen Microsoft fan, ik ben ook niet tegen hen, maar sorry hoor, hoe komt dit nu niet over bij degenen die Microsoft wél steunen door de jaren...

(In mijn ogen dus zoiets alsin: wij bieden jullie enkel dingen aan zodat wij meer en meer geld verdienen; jullie comfort/plezier/mogelijkheid tot meer functies gebruiken interesseert ons niet echt.)

Maarja niets aan te doen. Eerlijk gezegd geloof ik al helemaal niet meer in games + bewegingsregistratie, dat is zo 2006.

[Sissors]

Schokkende ontwikkeling, microsoft blijkt een bedrijf te zijn!

Jij dacht dat ze gewoon een full HD camera erin zouden doen met bijbehorende signaal verwerking? Aangezien volgens jouw kosten geen rol horen te spelen?

[Verwijderd]

is er hier wel zo'n grote markt voor ?
Ik heb het idee dat hier maar een zeer klein geselecteerd groepje voor is die dat zou gebruiken.

[Proxx]

hm... een domper

ik denk dat de algemene kwaliteit nu ook wel afneemt aangezien je toch beter beelden met 640x480 als 320x... kan onderscheiden. dat je geen vingers kan detecteren boeit me niet.

kijk er nog best naar uit en wist dat ik er niet van uit moet gaan dat het allemaal zo goed werkt als MS wil laten geloven. maar nu met een slechtere camera weet ik zekers dat het een halve flop wordt!

[Reactie gewijzigd door Proxx op 23 juli 2024 23:11]