Australische onderzoeker maakt head-tracking geschikt voor fps

De Australische onderzoeker Torben Sko hoopt te promoveren op een techniek voor head tracking die geavanceerder is dan eerder bedachte technieken. Met Sko's versie kan een gamer zijn spelpersonage bijvoorbeeld ook om de hoek laten kijken.

Torben Sko, een onderzoeker aan de Australian National University, hoopt te kunnen promoveren met 'een studie naar het idee om traditionele vormen van interactie met computergames aan te passen door gebruik te maken van onconventionele, maar betaalbare toepassingen.' Voor zijn dissertatieproject maakte hij een opstelling waarin hij een goedkope webcam koppelt aan zelfgeschreven software, die vervolgens zijn output doorgeeft aan Source, de engine die ontwikkelaar Valve voor Half-Life 2 schreef.

De software van Sko herkent het gezicht van de speler en kan dat volgen als het beweegt. De hoofdbewegingen van de speler kunnen vervolgens gebruikt worden om het spelpersonage op een overeenkomstige manier te laten bewegen. Net als bij de techniek die Johnny Lee anderhalf jaar geleden demonstreerde, kan de speler zijn spelpersonage om zich heen laten kijken door zijn eigen hoofd te draaien. Sko's techniek gaat echter verder: de speler kan in- en uitzoomen door respectievelijk naar voren en naar achteren te bewegen. De speler kan bovendien zijn virtuele evenbeeld om een hoek laten kijken door het hoofd te kantelen. Op die manier kan ook een geweer aangelegd worden, zodat door het vizier gekeken kan worden. Daarmee is de techniek van Sko zeer geschikt voor toepassing in schietspellen.

De techniek van Sko lijkt meer op die van Project Natal, dat Microsoft op de laatste E3 demonstreerde, dan op de techniek van Lee, waarbij een bril gedragen moet worden. Dat is bij de techniek van Sko niet nodig. Lee maakte tijdens de E3 bekend dat hij bij Microsoft in dienst is getreden, waar hij zal meewerken aan Project Natal. Lee heeft naar eigen zeggen nog geen bijdrage geleverd aan wat Microsoft in Los Angeles van Project Natal liet zien.

Reacties (57)

[HellFury]

Als je goed luistert naar het filmpje dan kom je erachter dat er helemaal geen 5 camera's worden gebruikt, maar zegt: Ik gebruik een camera om 5 in-game bewegingen te realiseren...

[BarôZZa]

Ik dacht al: wat is dit oud, maar dat filmpje is dus ook al 10 maanden oud.

In het filmpje maakt hij gewoon gebruik van een webcam en de FaceAPI. Het is dan ook niet de techniek van Sko, maar van Seeing Machines die door de student wordt toegepast. Het enige wat hij hoeft te doen is de coördinaten en de rotatie te interpreteren en de actie in Half Life eraan te koppelen. Dit is werkelijk enorm eenvoudig met de API.

Daarnaast lees ik op zijn eigen site nergens iets over vijf webcams, dus ik heb geen idee waar Tweakers dit vandaan heeft en of het uberhaubt wel nieuws is.

Edit: ik zie het al, in het filmpje staat '5 Camera-tracked head gestures', het gaat dus om vijf gestures in niet om vijf cams

[Reactie gewijzigd door BarôZZa op 23 juli 2024 22:23]

[cpt.skydiver]

Euhm... Dit kon toch ook al lang met de Track IR/Freetrack. Maar dan met slechts 1 ontvanger/webcam? Bekendste FPS toepassing is ArmA (2)

[Reactie gewijzigd door cpt.skydiver op 23 juli 2024 22:23]

[Verwijderd]

Dit is ook één webcam, maar door de vertaling van het Engelse "5 hoofdbewegingen kunnen worden gevolgt" denk ik dat jij dacht dat er 5 webcams nodig zijn. Er is zelfs in dit geval geen dure TrackIR nodig, maar een goedkope normale webcam.

Torben Sko zelf heeft eigenlijk weinig revolutionair gecodeerd, hij heeft namelijk een bestaand head tracking webcamsoftware gepakt, Seeingmachines FaceAPI om precies te zijn, en dat gecombineerd met de Valve HL-2 engine voor de game beelden.

Dat wil niet zeggen dat de combinatie niet spectaculair is, en dat is ook precies wat zijn bedoeling was met de studie die hij heeft gedaan.

[Pozo]

Inderdaad, ik zie de grote verschillen ook niet echt. Deze jongen heeft meer camera's en dan geen reflectors/ledjes nodig maar verder... De trackir oplossing lijkt me vooralsnog goedkoper en niet veel minder practisch. [Track IR is duur, maar de hardware is niet echt prijzig: je betaald vooral voor de software (en maker Naturalpoint wordt best rijk ;-)]

Als er nou ook gezichtsuitdrukkingherkenning bij zat zou het iets nieuws zijn.
[@ Skohsl: daar doelde ik mede op, via uitdrukking emoties, bedankt voor de aanvulling]

[Reactie gewijzigd door Pozo op 23 juli 2024 22:23]

[Skohsl]

Er wordt al veel onderzoek gedaan naar uitdrukking herkenning, maar in spellen zal het toch niet zo belangrijk zijn. Waar het vooral om gaat is om te detecteren wanneer mensen het moeilijk hebben, of boos worden op een programma om ze extra hulp te bieden wanneer ze het nodig hebben.

[zwippie]

In mmorpg spellen zitten anders vaak genoeg 'taunts' die prima door een webcam kunnen worden opgepikt. Dat verschilt van gezichtsuitdrukkingen tot handgebaren.

[Verwijderd]

nja dat lijkt me echt niet zo positief. Als je weet dat het jochie aan de andere kant echt zo belachelijk aan het doen is, lijkt mij dat geen positief effect op de spelerscommunnity hebben. We hebben nu al teveel jong volk dat zich niet deftig gedraagt. Hoe meer die relatie virtualiteit-realiteit 1-1 wordt...hoe rechtstreekser taunts en andere gewoon worden. Hebben we niet nodig mijns insziens. Je kan best morele debatten beginnen over de instrumentalistische waarde en dat de techniek niet verantwoordelijk is voor het misbruik van mensen, maar volwassenen weten dat de wereld niet zo eenvoudig in mekaar zit.

[Rutger Mulder]

Leuke ontwikkeling, maar als je wat langer wil gamen lijkt me dit niet echt handig voor je nek.
Wat pas ideaal zou zijn is als je met hersengolven oid een game kon besturen. Dan zou het veel geadvanceerder kunnen worden en heb je ook al die speciale key binds niet meer nodig. Als je denkt aan een handgranaat dan wissel je naar dat wapen, net als in het echt.

[Skohsl]

Voor alsnog wordt hier veel onderzoek naar gedaan. Alleen het nadruk ligt, begrijpelijk, op mensen die geen andere keus hebben (verlamde patiënten e.d.). Het is echter nog een lange tijd verder voor er echt goede systemen zullen zijn.

De systemen die nu op de markt worden gebracht, of aangekondigd zijn, maken allemaal gebruik van het spanning potentiaal op de scalp. Echter kijken deze niet naar hersengolven (simplificatie, eigenlijk spanningsverschil door de activatie binnen in de hersenen etc.) maar naar spanning opgewekt door de spieren, wat veel en veel sterker is dan de spanning die door de hersenen afgegeven wordt.

[Kpz]

Leuke nieuwe technologie, maar een echte (PC) gamer speelt enkel met muis en toetsenbord.

[Kingpinda]

Dat is dus niet waar heh. Zijn flightsim diehards geen echte gamers?

Die1 vliegen met joystick, voet rudder, engine throttle liefst met zo veel mogelijk hendeltjes, keyboard, Trackir of soortgelijk, of gewoon 7 monitoren en noem het maar op want je kunt een hele cockpit met dials en schuifjes en what not bij elkaar sparen. fanatieke racers die meer realisme willen zie je ook met pedalen en stuurtje en zelfs trackir of soortgelijk.

Zelf speel ik veel IL2 sturmovik 1946. Een ongelooflijk groot aandeel van de online spelers waarmee/tegen ik heb gespeeld maken gebruik van TrackIr of de gratis variant. SA of situational awareness is cruciaal in dit soort spellen.

Voor de mensen die denken dat je nek rsi hierdoor krijgt kan ik je verzekeren dat dat ongelooflijk meevalt. Ik ben juist flightsims gaan doen omdat ik muis rsi kreeg. Ook als je je hoofd draait kun je makkelijk het hele scherm in oogopslag nemen.

De head movements die je maakt kun je met behulp van de software ideaal instellen. met mijn hoofd hoef ik maar licht 2 cm naar rechts te kijken om rechts achter te zien als ik dat zou willen. Ik stel hem meestal zo in dat als mijn punt van mijn neus naar de rechterkant van het scherm wijst ik helemaal rechts achter in de cockpit kan kijken.

Probeer maar eens je nek te draaien zodat de punt van je neus naar rechter zijkant van je scherm wijst. dit is een kleine afstand. kleine niet geforceerde bewegingen. kun je de rest van het scherm nog goed zien? Jazeker is dan het antwoord. voor rsi is het natuurlijk belangrijk dat je niet te gespannen bent. maar die lichte bewegingen vallen in het niet bij de snelle herhaalde bewegingen die je maakt met je muis in FPS's.

het enige bezwaar van deze apparatuur kan zijn dat je vriendin je finaal uitlacht als je aan het vliegen bent.

"Kijk hem dan draaien met zijn hoofd" vertelt ze aan haar vriendin aan de telefoon. "Hij lijkt net op die aliens van 'earth final conflict' hij geeft alleen nog geen licht!"

1. Met 'die' word bedoelt een groepering Flighsim addicts met het doel zo echt mogelijk virtueel te willen vliegen. Een andere groep 'die' zijn met alleen een joystick en keyboard of zelfs alleen keyboard ook al tevreden maar vaak blijken deze mensen vooral arcade vliegspelletjes te spelen. Uitzonderingen daargelaten.

[Verwijderd]

Dit zou uiteraard extra leuk zijn icm head mounted (3D) display
Ik vindt het onbegrijpelijk dat VR nog niet een grote vlucht heeft gehad op dit gebied.

[Verwijderd]

bedank de virtualboy maar daarvoor

[Faust]

Dit kon al allemaal, je hebt althans geen 5 webcams nodig, 1 volstaat:
http://www.youtube.com/watch?v=FFN8cW1mSVY
In het fragment is diepte niet te zien, maar het is wel mogelijk.
Met 5 kan het overigens best nauwkeuriger zijn, maar tevens omslachtiger. En je wil geen 1:1 mapping altijd van je hoofd. Niemand zit namelijk altijd stil.

[Damic]

Zoals hierboven ergens al gemeld, het is met 1 webcam geen 5.

1 webcam 5 gestures

[Juicy]

Ik dacht dat dat kereltje de software had geschreven waarmee het gezicht werd gedetecteerd in de video. Dat had ik dan nog wel een artikel waardig gevonden.

Het is echter gewoon een stuk kant-en-klaar software, ik zie dus niet wat hij nu precies heeft gedaan en wat er dus zo knap aan is ...

Het enige knappe wat ik zie is dat hij er op af kan studeren en dat hij er zelfs een baan bij Microsoft aan over houd.

edit:

WM-Jeroen; je hebt helemaal gelijk. Lee heeft inderdaad een baan gekregen bij Microsoft en dat kan ik begrijpen aangezien hij wel baanbrekend is geweest.

[Reactie gewijzigd door Juicy op 23 juli 2024 22:23]

[Verwijderd]

Lee maakte tijdens de E3 bekend dat hij bij Microsoft in dienst is getreden, waar hij zal meewerken aan Project Natal.

Lee is iemand anders dan degene waar dit artikel over gaat, Torben Sko

[Renegade!]

Hoe je met een simpel stukje software de grootste gamedevelopers belachelijk kan maken. Nu zijn er in games wel 10 verschillende knoppen om te peeken, zoomen, pronen,... noem maar op. Soms wordt het zelfs heel erg irritant en lomp om even achter het hoekje te kijken. Met dit stukje software zijn al deze knoppen overbodig en het gaat allemaal nog veel vlotter ook

[? ?]

Ja vooral...

Al die onnozelheden bestaan al jaren, alsof facetracking met een webcam iets nieuws is.. Zo ook fingertracking, objecttracking (voor geweer), etc.

Het zit zo: als je al die bewegingen wil doen, dan ga je buiten schietertje spelen IRL.

Dit is een even waardeloos idee als de pistolen ter vervanging van de muis, als de bodyarmor die je laat voelen als je geraakt wordt, als de eyetracking om te kijken (pupil) en ga zo maar door.

Verder wat hierboven gezegd is: alle respect voor die faceAPI software! Maar wat die knul gedaan heeft, kan de helft op Tweakers hier ook denk ik.

Mensen: we hebben onze handen om fijne werkjes mee op te knappen, daarom hangen er 10 van die uiteindjes aan, om preciesiewerk te doen. Om de 10 seconden mijn hoofd schuin houden, of op en neer knikken om te bunnyhoppen : ik mag er niet aan denken

^{(en waarom trekt die jongen zo'n raar gezicht, alsof hij continu fronst)}

[Reactie gewijzigd door ? ? op 23 juli 2024 22:23]

[Verwijderd]

Waardeloos idee? In tegendeel, een fantastisch idee.

Natuurlijk zijn er stapels dingen die je gewoon met je vingers moet doen. Maar er zijn minstens zo veel zaken waarbij het juist verschrikkelijk natuurlijk is om je hoofd te gebruiken, simpelweg omdat je dat in real-life ook doet!!!

Even om de muur heen kijken... Kun je met een knop doen... maar het is veel logischer dat met een kleine hoofdbeweging te doen. Net zoals je dat in real-life zou doen.

Als dat in het spel vermoeiend wordt, dan kun je je afvragen of het spel dan niet gewoon erg dubieus is...


De demo video's van Track IR geven perfect aan hoe natuurlijk een dergelijk systeem kan werken. Koppeling van de view in de cockpit in een vliegtuig is juist datgene wat altijd miste in flightsim... De onmogelijkheid om goed om je heen te kijken, waardoor je totaal de situational awareness verliest. En dat laatste is juist cruciaal in luchtgevechten. (virtueel en real-life).

Wil niet zeggen dat je het perse voor alles moet gebruiken... Maar ik zie meer nut in een goede head-tracking, dan in een HOTAS joystick systeem. (En de F22 HOTAS van Thrustmaster is ook niet bepaald goedkoop...)

[Xqlusive]

Heel leuk, maar als je opzij kijkt zie je zelf niks meer.
Of je moet dus ook een array aan beeldschermen om je heen hebben...

[Pozo]

Bij trackir lossen ze dat op door bewegingen te vergroten. Bijv 30 graden in het echt = 90 graden ingame. Dat kan (hoeft niet) ook niet-linear, dus dat bijv 5 graden => 10 graden, 30 graden => 180 graden.

Werkt best aardig (ik heb ee ntrackIR 5 met ARMA 2 en flightsims).

[witchdoc]

Euhm.. Wat dacht je om gewoon voor elke 10° dat je je hooft draait dit gewoon wordt omgezet in 30° ofzo?
Hoeft echt niet moeilijk te zijn hoor