Japanners ontwikkelen optische joystick voor smartphones

Onderzoekers van de Keio-universiteit in Japan hebben een analoge joystick voor mobieltjes ontwikkeld waarbij voor het registeren van de bewegingen over drie assen gebruik wordt gemaakt van de ingebouwde camera van de telefoon.

De joystick, die over de camera bevestigd wordt, is gemaakt van een flexibel, doorzichtig materiaal dat aan de binnenzijde voorzien is van twee lagen met achtereenvolgens rode en blauwe markers.

Door met de duim de flexibele joystick heen en weer te bewegen en/of in te drukken, verandert het patroon van deze puntjes en aan de hand van die verandering kan de camera de stand over drie assen berekenen.

De Japanse onderzoekers toonden de flexibele joystick in combinatie met een iPhone 4S, zoals te zien is bij Diginfo.tv. Er werd onder meer een testapplicatie getoond met de herkenning van de punten en de corresponderende stand van de joystick, terwijl er ook een eenvoudig spelletje mee gespeeld werd, waarbij een planeet kon worden bewogen, en verder weg of dichterbij gehaald.

Het voordeel van het gebruik van de camera voor joystick-functionaliteit is dat delen van het scherm niet meer geblokkeerd worden door de vingers. Volgens de onderzoeker kan het elastische joystick-opzetstuk ook aan de achterkant bevestigd worden. Het is niet bekend of de rode en blauwe markers licht geven om beter herkend te worden door de camera.

De onderzoekers van de Keio-universiteit maakten voor deze toepassing gebruik van eerder ontwikkelde GelForce-technologie. Deze technologie was oorspronkelijk bedoeld om robots meer gevoel in de vingers te geven.

Reacties (41)

[Marathir]

Kan iemand mij uitleggen waarom een camera die afgedekt is kan detecteren wat er in de omgeving gebeurt?
Ik zie geen lichtbron die het voor de camera mogelijk moet maken om ook maar iets te zien.
Ik zou een 1 april grap verwachten. Maar dit komt uit japan. Dus kan het geen grap zijn.
Mijn vermoeden?
De onderste laag is vast en laat wat licht door, er zit wel een lichtbron in, fiber optics of een deel dekt toch het scherm af, waardoor dat licht gebruikt wordt.

[chrismi]

in dat kleine joystickje zitten kleine lampjes, het licht van die lampjes wordt gedetecteerd door de camera. door de joystick te bewegen of in te drukken, veranderd het patroon van de lampjes, al die verschillende patronen worden door een bepaalde applicatie in "bewegingen" omgezet, zodat het spel gespeeld kan worden

[Flappiewappie]

Ik vermoed fluorescentie. Op een gegevens moment is de pret uit natuurlijk. Maar er hoeft maar een klein beetje licht in te vallen; zolang het contrast er maar is.

[Wulfklaue]

Ik vind het grappig dat mensen hier lachen over het meer "professioneel" gamen op Tablets.

Dit terwijl er in China al een bedrijf is dat zo slim was een hybride 7" tablet / console uit te brengen:

http://jxd.hk/products.asp?id=604&selectclassid=009006

7" Tablet, met gaming controles. Probleem opgelost ;-)

Snap niet waarom men zo achterloop hier. Grappig is, mocht Apple uitkomen met een iPad met gaming controle, dat je dan de mensen ziet huilen over de "innovatie" daarvan.

Je merkt dat zelf de PS Vita zich meer probeert voor te doen als "tablet" dan puur gaming console. De enigste reden dat je nog geen 10" Gaming Tablet hebt, is omdat er gewoon nog geen grote speler zich achter gezet heeft. In mijn mening, zal Apple wel eens meer dan enkel de Smartphone/Tablet markt willen in de toekomst, en zal men wel eens een gaming pad/console durven maken.

[ProfoundValue]

Leuk.. maar ik zie eerlijk gezegd niemand zo'n ding kopen en hiermee over straat gaan.
Denk dat meer besteed is aan de echte die-hard gamers, maar ik ben meer van de casual games op m'n iPod/iPad..

[firest0rm]

je kan niet eens die hard gamen op een ipad
tenzij je chess 24/7 leuk vind...

dan moet je toch echt op de console of pc zitten

[apronk]

Blijkbaar heb jij Infinity Blade 1 &2 nog niet geprobeerd

[Talicus]

Eigenlijk vind ik zelf Infinity Blade een beetje Fruit Ninja maar dan in een UDK / Unreal Engine jasje met mooie graphics en normal mapping. Qua gameplay heeft het niet veel diepgang naar mijn bescheiden mening. Qua diepgaande gameplay zal je het eerder in de RPG hoek moeten zoeken bij smartphones, maar zelfs die zijn niet zo diepgaand als bij (voorgaande) consoles of handhelds.

Desondanks zie ik het niet aanslaan. Op het moment dat een accesoire optioneel gemaakt wordt is het heel moeilijk om een groot marktaandeel te krijgen. Enerzijds willen developers geen extra moeite doen om een niet-verkopende hardware te ondersteunen, en anderzijds gaat de hardware niet verkopen zolang er geen software voor gemaakt is.

Om diezelfde reden denk ik dat de overige controllers voor iOS niet van de grond zijn gekomen.

[Reactie gewijzigd door Talicus op 26 juli 2024 12:45]

[Bonez0r]

Maar kijk naar bijvoorbeeld race games. Die kun je besturen met toetsenbord, met muis of met een echt race stuur, waarbij het laatste natuurlijk het lekkerste speelt. Maar lang niet iedereen die race games speelt, heeft een race stuur (neem ik even aan, ik ben geen race liefhebber), het is een optioneel ding. Hetzelfde met flight sims: toetsenbord, muis of joystick. Als dit apparaatje een echt voordeel geeft, dus lekkerder speelt, dan zie ik het nog wel een plekje op de markt veroveren.

[Grrrrrene]

Dit is natuurlijk maar een "proof of concept" en ziet er niet uit, maar het idee is interessant: gebruikt de sensor van de telefoon of tablet zelf en laat die als deel van een joystick dienstdoen. Die sensor zit er toch al in, dus je kunt op de productiekosten van de joystick besparen

[Kenju]

Met die sterkere GPU's van tegenwoordig, komt het toch in de buurt. Het speelt niet zo fijn als een PS Vita bijvoorbeeld, maar het is allang voorbij het niveau van de Angry Birds van deze wereld kwa mogelijkheden. Er is een selecte groep mensen die het wel doen, plus natuurlijk een grote groep jeugd. En deze stickjes zullen ook niet zoveel kosten. Er is altijd een groep mensen die het maximale uit het potentieel willen halen van een apparaat, en deze stickjes helpen daarbij.

Ik denk dus dat het best een succes kan worden.

[sygys]

als je dan toch zo graag wil gamen koop dan een vita... je mist nog altijd de triggers op de boven zijde

[Jeroenneman]

Gaat de accuduur niet helemaal onderuit als de camera fulltime aanstaat? Lijkt me niet zo prettig.

[calvinturbo]

+ de CPU wordt non-stop belast

[roboreaper]

als je aan het gamen bent is dit altijd wel het geval denk ik hoor

opzicht een leuke toevoeging maar zo iets is mer geschikt voor tablets dan smart phones denk ik. waar moet je je joystik laten tijdens het reizen bijv

[Verwijderd]

ja maar als je cpu al belast word heb je kans dat je ook nog lagg krijgt (framedrops) en daar zit een gamer niet op te wachten

[johnkeates]

Lagg is geen woord, het zou een afkorting voor link aggregation kunnen zijn, maar dat bedoel je niet, jij bedoelt lag, wat vertraging betekent. Vaak ook in verband gebracht met netwerkverbindingen met hoge latency, monitoren die verwerkingshardware hebben die een paar ms nodig heeft om beeld van input naar LCD over te brengen, of latency van draadloze toetsenborden en muizen, om dat radiosignalen minder snel zijn dan elektrische signalen via USB (of de omzetting van radio naar USB is traag, dat kan ook).

Uiteindelijk heeft latency weer niks te maken met framedrops, framedrops zijn namelijk geen vertraging, maar gewoon weggelaten frames, of soms, als het woord verkeerd gebruikt wordt, snelle dalen en pieken in het aantal frames per seconde. Als je bijv. van 80 FPS naar 50 FPS hebt, heb je opeens een framedrop van 30 FPS als het binnen een seconde gebeurt, fikse framedrop heb je dan.
Maar als je een video kijkt en de decoder is niet snel genoeg voor een bepaald frame, dan gaat de player door naar het volgende frame dat wel gedecodeerd is en dan 'dropt' ie dat andere frame.

Wat dan weer wel zo is, is dat de experience van het gamen minder zou kunnen worden als de CPU en/of GPU minder resources beschikbaar kunnen stellen aan een game om dat een input methode zelf veel resources gebruikt. Dat is mogelijk, en dat is inderdaad best vervelend. Maar als je dan kijkt naar wat de context is, is het al een stuk minder belangrijk: het gaat hier om mensen die spelletjes spelen op telefoons, en dat waarschijnlijk niet aan een bureau, online, in teamverband doet, maar eerder ergens in een wiebelende trein om dat een boek lezen 'te mainstream' was (ja, nu dus niet meer, verleden tijd).

Dus, kortom: het kan vervelend zijn, maar als het goed geprogrammeerd is merk je er waarschijnlijk niks van.

[Verwijderd]

Lag dat vertraging betekend

[ProfoundValue]

Niet alleen het feit dat je je joystick ergens moet opbergen is een probleem, maar zoals hierboven al is gesteld.. ook je accu wordt achterlijk snel leeggetrokken omdat je naast je CPU nu ook nog eens je camera hebt die tegelijkertijd dingen moet registreren.

Zit je binnen een kwartiertje al aan de 1% op je iPhone denk ik..

[watercoolertje]

als je aan het gamen bent is dit altijd wel het geval denk ik hoor

Dat is helemaal niet zo, bij enkele games kan dat zo zijn en dan zou er dus geen rekenkracht meer zijn voor andere taken zoals de besturing, dus werkt het niet...

Hoe dan ook zorgt het voor een hoger gebruik, zowel door de camera die aan moet staan als de CPU die hoe dan ook extra werk heeft...

[0rbit]

Het valt kwa bewerking erg mee. Rood en blauw scheiden. Bolletjes segmenteren. Middelpunten berekenen. Transformatie uitrekenen. State van de joystick schatten. Al met al valt dat rekentechnisch nogal mee. De resolutie van de frontcam is niet al te hoog. En door de vele bolletjes kun je het beeld waarschijnlijk nog wel verkleinen zonder veel aan precisie in te moeten leveren.

Best een creatieve oplossing voor een niet bestaand probleem; "Echte" gamers hebben natuurlijk veelal een dedicated gaming handheld of gamen op hun console.

[Westbam]

Joysticks bestaan natuurlijk al heeeel lang en dat is ook niet het vernieuwende hier.

Met optish bedoelen ze het gebruik van de camera. Dus je gaat niet een stukje van je scherm opofferen. En het kost ook geen externe energie zoals een draadloze pretstick. De camera zit toch al in je toestel.

Ik vind het wel gaaf.

[AnD]

Het is een mooie uitvinding maar persoonlijk denk ik dat het moeilijk is om op die manier een spel te spelen, als je ziet waar die camera staat dan ga je na een tijd toch pijn aan je duim krijgen.
In mijn ogen is het niet ergonomisch omdat sommige camera's op een vervelende plaats gepositioneerd staan.

[Verwijderd]

Beetje moeilijk uit het verhaal te halen, maar mijn vingers op het beeld vond ik niet het grootste probleem.

grootste probleem is de grenzen van de joystick niet kunnen voelen. De tast feedback mist, om het makkelijk te maken, plus het terug trekken naar het midden.

[verkeerslicht]

Opzich is het zeer creatief, en mooi bedacht, maar een simpele interface die via usb, bluetooth oid werkt zou minstens zo handig zijn. Daarbij is het ook nog eens sneller, en vergt minder van je cpu/gpu omdat je geen beeldherkennings software nodig hebt. Vervolgens zit je ook niet meer vast aan de plek waar je frontfacing camera zit. Er is alle vrijheid om iets te bedenken om de knoppen te plaatsen.

[zxcvb]

Ik zie mezelf nog geen schietspelletje doen met een joystick achterop mn telefoon Ik zou zelf een iets meer Xbox achtige joystick willen hebben ipv zo'n gel-achtig knopje. Dat maakt shooters en race spelletjes toch beter speelbaar op telefoons en tablets. Nu krijg je na een half uurtje spelen toch wel veel last van je duim.

[Verwijderd]

Buiten dat de camera van de telefoon (en de zware processor belasting) flink wat stroom van de accu vreten. Bij deze telefoon zit de camera voor op het apparaat....

Ik heb een HTC telefoon in gebruik waar de camera dus achter op het apparaat zit.

Ohja de aangepaste behuizing voor de extra dikke accu zal hier ook niet bij helpen

[Verwijderd]

Een tweede frontcamera is inmiddels al gemeengoed onder de smartphones.

[Verwijderd]

Telefoons met 1 camera zijn zo 2009

[HallonRubus]

Uitzondering zijn er ook.

[Verwijderd]

Dit is niet helemaal nieuw, en ook al verkrijgbaar.Palm had al een patent op een mechanische uitvoering.
http://www.mobileread.com...hmentid=1104&d=1146862024
Optische overbrenging was er ook al, zelfs al verkrijgbaar.
http://www.neatorama.com/...k-it-arcade-stick-mobile/

Dubbele joysticks.
http://static.neatoshop.c...-Stick-Mobile_13228-l.jpg

[Wulfklaue]

Probleem met de "Dubbele joysticks" is dat deze ruimte in beslag neemt op het scherm. Zie de omschrijving van de bovenste techniek, het doel is een joystick te geven, zonder schermruimte te verliezen.