Microsoft test gebruik dopplereffect voor herkenning handgebaren

De onderzoeksafdeling van Microsoft heeft in samenwerking met onderzoekers van een Amerikaanse universiteit een nieuwe techniek ontwikkeld waarmee een computer bediend kan worden met handgebaren. Daar is geen camera voor nodig.

In plaats van een camera maakt het nieuwe systeem gebruik van in laptops ingebouwde speakers en een microfoon. De speakers worden gebruikt om een hoogfrequent geluidssignaal te genereren dat door de microfoon wordt opgepikt. Als een handgebaar voor de computer wordt gemaakt, veroorzaakt dit een dopplereffect. Een stukje software aan boord van de laptop analyseert het dopplereffect en vertaalt de geluidsgolven in voor het besturingssysteem bruikbare invoer.

De software die door het Microsoft researchteam samen met medewerkers van de universiteit van Washington werd ontwikkeld, is SoundWave gedoopt. De SoundWave-software zou niet beperkt zijn tot gebruik op laptops, maar zou ook voor smartphones ingezet kunnen worden. SoundWave kan onderscheid maken tussen vijf variabelen: snelheid, richting, nabijheid, afmetingen en duur van een handbeweging.

Met SoundWave kan onder meer gescrolled en geklikt worden, en kunnen objecten op het scherm geroteerd worden. SoundWave kan ook gebruikt kunnen worden als nabijheidssensor, en een pc aan- en uitzetten op basis van de aanwezigheid van een gebruiker. Omdat het gegenereerde geluid tussen de 20- en 22kHz is, stoort het niet en is de techniek bovendien goeddeels ongevoelig voor omgevingsgeluid.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (76)

[Timons106]

Het mooie hiervan is natuurlijk dat het met bestaande hardware gebruikt kan worden, ik zie hier dan ook echt wel toekomst in aangezien het minder aan materialen en processor kracht kost.
Ik denk dat dit heel goed gebruikt zou kunnen worden in bijvoorbeeld een TV, Samsung heeft al zoiets met een camera, maar na het uitgetest te hebben in een winkel zie ik er niet veel heil in (het werkt niet zo goed als ik had gehoopt).
Maar als ze dit nou combineren met een camera krijgen we misschien nog iets veel mooiers .

[chaoscontrol]

Ik vind dat mensen hier nogal lakoniek reageren! Ik vind dit een geweldige ontwikkeling en vind het eerlijk gezegd ook erg knap dat ze dit zo hebben kunnen maken. Ik zelf zou er nooit bij stilgestaan hebben om het op deze manier aan te pakken (terwijl ik met beide begrippen bekend ben)!

Mooie zaak dus! En dit is uiteraard geen vervanger voor een toetsenbord maar even scrollen tijdens een presentatie is natuurlijk geweldig als je dat met een mooie vloeiende veeg kan

[Fred-Erik]

Het probleem is dat de meeste mensen hier niet verder kijken dan het filmpje, wat een niet al te geweldige implementatie laat zien, terwijl dat heel gemakkelijk verbeterd kan worden.

Microsoft Research is de laatste tijd echt heel goed bezig!

[ytterx]

Dat is naar, 20Khz zit nog net binnen het bereik van het menselijk gehoor..

[TJHeuvel]

In de paper staat expliciet: "The key drawback of
this approach is the dependence on a tone, which may be
audible and possibly annoying for children and pets."

http://research.microsoft...GuptaSoundWaveCHI2012.pdf

[Strunkie]

Net als die piep ringtones die hoor je als ouder persoon maar jongeren horen ze maar al te goed.
Nog een leuke website:
http://www.freemosquitoringtones.org/

[madmaxnl]

Ik hoor niet meer na 12kHz, wat moet je doen als je gehoor dusdanig beschadigd is? Ik ben namelijk pas 19 jaar oud.

[Reactie gewijzigd door madmaxnl op 31 juli 2024 10:55]

[RubenTheys]

Gehoortest laten afnemen en met het audiogram een audicien opzoeken moest je er hinder van ondervinden in het dagelijkse leven. Gehoortoestellen kunnen tegenwoordig veel (niet-overdreven-) schade redelijk rechttrekken

Als het nog niet hinderlijk is; oordopjes op maat laten maken voor je volgende optreden, feestje, ...

[Reactie gewijzigd door RubenTheys op 31 juli 2024 10:55]

[StarLite]

Eerst even checken met andere speakers/koptelefoon lijkt me, wie weet zijn die wel gaar

[0vestel0]

Helemaal niks. Dat valt namelijk niet te repareren. m.a.w. wat je kwijt bent, ben je echt kwijt

[ytterx]

Naar de huisarts gaan.. Die verwijst je eventueel wel door

[To_Tall]

Hmm klopt dat wel?? Ik heb het op een aantal speakers geprobeerd.

Maar tot 18Khz kan ik het signaal gewoon horen!! ik ben 30 Jaar. Ik moet wel echt mn best doen om het te horen.. Maar ik hoor het wel!!

[Quacka]

ik ben nog een paar jaar ouder en hoor die 18 Khz nog net. Het ligt er wel aan hoe hard de speaker staat.

[raphidae]

Ik ben 30 en ik hoor ze allemaal, incl de 22khz.

Dus zo'n systeem zal niet voor mij zijn als ze het tussen de 18 en 22 khz gaan doen

[Savantas]

om het over je huisdieren maar niet te hebben...
Overigens betwijfel ik of ik die 20kHz nog überhaupt hoor

[Reactie gewijzigd door Savantas op 31 juli 2024 10:55]

[ytterx]

Ik hoor het niet meer maar krijg er nog wel koppijn van.. Dan is een techniek met camera's meer voor mij.

[Luukje01]

ik heb exact het zelfde. ik hoor het niet (toon), maar ik krijg er wel koppijn van.

het gedeelte, als je weg loop van je pc en dan op lock kom, das wel verrekte handig. ik loop meer dan 1x per dag weg van me pc, en ben te lui om op windowstoets + l te drukken

[Fiander]

Dan heb je geluk dat je niet bij mij werkt.

wie hier zijn pc niet locked, is fair game. oftewel, de meest wazige instelling zullen worden gewijzigd. linker en rechter monitor omgedraaid, zodat je muis niet meer naar rechts wil.... monitoren ondersteboven ingesteld, taal veranderd naar arabisch enz enzn enz.

We leren het ze echt af. :-)

[_Thanatos_]

Dan hoor je het dus wel

[Verwijderd]

In de video zegt hij dat het tussen 18kHz en 22kHz is (00:45) dus de meeste jongeren zullen dit nog horen.

Nu vroeg ik mij ook af, kunnen laptop speakers wel zo'n hoge frequenties afspelen?

[corset]

Of oudere mensen ook hoor. Ik ben zelf 26 en kan redelijk wat hoogfrequente (goede woord?) geluiden horen. Raar eigenlijk aangezien ik toch een redelijk metal concert ganger ben haha.

[Ewald !]

Bedoel je niet die constante piep in je oren ?

[mjtdevries]

Blijkbaar heb je nog nooit getest hoeveel je kan horen, want met 26 jaar kun je 18kHz rustig vergeten.

[Kars]

Reken maar van niet.
Ik ben zelf 30 jaar en wordt helemaal gek van die 'mollenverjagers' die hier in de buurt staan.
Bijna niemand die ze hoort...

[corset]

Jammer dat ik de 20kHz rustig haal zonder problemen.

En @Ewald !, nee niet die constante piep dat is gewoon het liedje wat in m'n hoofd zit haha

[tweakerbee]

26 != oud. Tot je dertigste kun je zonder gehoorschade wel tot de 20kHz horen. Voor de mensen die het zich afvragen: Zet je speakers aan en klik play.

[Gangrieksta]

Ik ben 32 en ik hoor dat geluid in dat artikel dat je linkt nog prima, dus ik denk dat of die test niet goed is of het verhaal van de leeftijdsgrens een beetje te algemeen is waardoor er veel uitzonderingen zijn.

edit: het is dus het eerste, bij een andere test iets verderop gelinkt hoor ik bij 10kHz al niks. oftewel crap tests allemaal. Will je het echt weten laat je dan professioneel testen.

[Reactie gewijzigd door Gangrieksta op 31 juli 2024 10:55]

[slopert]

Mijn kind moest een gehoortest doen en ik hoorde alle geluiden die hij ook moest horen. Tot 18kHz, bij de test waar jij nu aan refereert, hoor ik maar tot en met 14kHz.
Ik denk dat je met je edit gelijk hebt, die test is crap.

Al met al hoop ik dat Microsoft dit niet in de praktijk gaat brengen, het zou voor een hoop mensen/dieren hinderlijk zijn.

[codebeat]

Ik ben 40 en hoorde het geluid in eerste instantie niet doordat ik mijn laptop aan wat externe speakers heb hangen. Echter toen ik de speakers losgekoppeld had en het geluid via de laptop speakers kwam hoorde ik het wel (en goed ook, zeer irritant geluid )!

Leuke test maar hangt nogal af van de hardware die je gebruikt., jammer dat er niet bijstaat. Bovendien wanneer je hoofd beweegt kun je het geluid harder of zachter waarnemen.

Grappig!

[Muldert]

Zal je hond inderdaad blij mee zijn. Om van je walvis nog maar te zwijgen.

[Rub3s]

Ik dacht dat walvissen juist erg lage tonen horen, net als olifanten?

[MAX3400]

om het over je huisdieren maar niet te hebben...
Overigens betwijfel ik of ik die 20kHz nog überhaupt hoor

Kan beamen dat een hondenfluitje buiten er echt wel voor zorgt dat de papegaai hier helemaal door het dolle gaat. Kan helaas niet beoordelen of het beestje daadwerkelijk last heeft van het geluid of zo tekeer gaat omdat ze altijd de boventoon wil voeren.

[increddibelly]

Dat hoor jij niet hoor, wees maar niet bang.
Men zegt dat het menselijk gehoor bereik heeft van 20Hz - 20kHz, maar dat is vooral een makkelijk geheugensteuntje. Behalve muzikanten luistert geen mens goed genoeg om boven 16k nog fatsoenlijk iets te horen, laat staan deze 20k.
Huisdieren zullen er minder blij mee zijn denk ik.

[arthur-m]

Hier ben ik het niet met je mee eens. Toen ik vroeger op de middelbare school zat, hadden we een toongenerator bij natuurkunde. Prachtig apparaat. En iedereen hoorde nog netjes de 18, 19 en 20kHz toon. Pas bij 21kHz haakten de eersten af, bij 22 de meeste, en er was één die 24kHz nog hoorde, maar die had een afwijking in zijn oor, en hoorde lage tonen pas vanaf 1 kHz

[mjtdevries]

sorry hoor, maar OF je hebt het verkeerd onthouden, OF die toongenerator gaf in werkelijkheid een lagere toon af dan op het schermpje stond.

Er is namelijk héél veel onderzoek geweest naar de limieten van het menselijk gehoor.

En als een hele klas dan ineens veel meer hoort dan al die ontelbare tests in de hele wereld vastgesteld hebben, dan kun je er rustig vanuit gaan dat er iets fout is bij die test in die klas en niet bij die al die ontelbare tests die in de wereld gedaan zijn.

[marcop23]

Wij hadden ook zo'n toongenerator, maar daar haakten er een paar bij 16 kHz af, veel meer bij 18 kHz, een paar bij 19 kHz en bij 19,5 kHz stond er niemand meer.

Dit is met een klas vol mensen van 13 - 15 jaar oud.

Of onze klas is dus zoveel slechter qua gehoor, of een van onze toongenerators kloppen niet. En gezien er maar heel weinig mensen zijn die 21 kHz kunnen horen, zal die van jullie wel het meeste afwijken.

Overigens heb je na zo'n piepsessie ook wel een soort piep in je oor zitten hoor. Onze leraar trok bij 20 kHz het stekkertje er gewoon uit, en nog bleven er een behoorlijk aantal mensen gewoon staan. Daar moet je eigenlijk ook rekening mee houden.

Eigenlijk moet je, om dit te testen, een knoeterharde 21 kHz piep laten horen, en dan steeds kijken of er mensen schrikken. Dat zou denk ik een van de beste tests zijn.

O ja, bij die gelinkte test hierboven hoor ik in ieder geval alle tonen. 21 en 22 kHz lijken echter lager te klinken dan 19 kHz, dus ik weet niet of die test wel helemaal klopt.

http://www.noiseaddicts.c...u-hear-this-hearing-test/
Bij deze test hoor ik de 22 kHz nog als ik mijn speakers op het volle vermogen zet, wat normaal echt knoeteruberhard is. Ik hoor die piep dan nog wel, maar vrij zacht.

[Reactie gewijzigd door marcop23 op 31 juli 2024 10:55]

[Verwijderd]

Je mag natuurlijk niet aan de volume knop zitten... Het is niet zo dat er een absolute grens is waarboven je niets kunt horen. Die grens is 'zacht' in de zin dat het volume dat je hoort daalt. (Of andersom, dat je het steeds harder moet zetten om het nog te horen.)

[Patjebreda]

Ik heb het net hier getest: http://www.noiseaddicts.c...u-hear-this-hearing-test/

Ik hoor hem niet hoor die 20 Khz

[livePulse]

Klopt die test wel? Vanaf 10khz hoor ik niks meer...

[[Remmes]]

kan ook misschen aan je audioapparatuur liggen.. ik hoor iniedergeval net 17kHz nog... 18 niet meer..ben trouwens 20, geen idee of het goed of slecht is XD

[The Flying Dutchman]

Grappig die test. Ik hoor 15 Khz nog heel duidelijk, 16 Khz hoor ik plotseling niet meer. Hoewel.... ik denk dat ik bij 16Khz en 17Khz nog het onderscheid tussen aan en uit zou kunnen bepalen (ik denk namelijk wel iets te horen... maarja, ik weet natuurlijk dat ik op play heb gedrukt!).

Ben overigens 29 (en heb een constante piep... verder geen last van in dagelijks leven ).

[Verwijderd]

Dit gaat het niet worden.

Hoeveel handgebaren gaat dit ding kunnen herkennen ? En hoe precies is het ? Om je PC op een fatsoenlijke manier te kunnen gebruiken heb je toch aardig wat precisie nodig. En in sommige gevallen een toetsenbord als je flink door wilt kunnen werken (als programmeur bv).

Misschien dat het wat wordt voor telefoons of tablets. Maar die houdt je in je hand. Dan kun je net zo goed een touchscreen gebruiken.

Een vriend van me beweerde onlangs dat keyboard en muizen gaan verdwijnen. Ook bij normale PCs. En dat alles touchscreen wordt. Daar ben ik het 100% niet mee eens. Er komen vast allerlei nieuwe input methodes bij. Maar touch-screen op een gewoon PC lijkt me erg vervelend. Moet ik iedere keer met mijn arm naar voren over mijn bureau mijn 24" aanraken ? Echt niet. Daar krijg je binnen de kortste keren RSI/CTS van in je armen en schouders.

Keyboard en muis zijn handige input devices. Die blijven nog wel een tijdje handig voor PCs. Er zullen allicht kleinere verbetering komen. (Ik prefereer een trackball boven een muis. Maar eigenlijk zijn dat dezelfde dingen). Pas als iemand met iets echt geweldigs komt, dat beter en sneller werkt dan een keyboard+mouse. Maar dat kan nog wel even duren.

[Reactie gewijzigd door Verwijderd op 31 juli 2024 10:55]

[Phyxion]

In de paper staan vijf gestures, maar ongetwijfeld kunnen dat er meer worden. Het lijkt mij in ieder geval ideaal, op de bank zitten en even de film pauzeren zonder afstandsbediening.

[3raser]

Het lijkt mij zeer beperkt en enorm afhankelijk van je speaker configuratie. Als je per ongeluk je speakers omdraait R - L dan zal het waarschijnlijk niet meer werken. Ook de vertraging speelt een rol. Geluid is minder snel dan licht waardoor je theoretisch gezien dus kan stellen dat herkenning via een camera sneller werkt dan via geluid.

[Conky]

Als je je speakers omdraait denkt de software waarschijnlijk dat je precies de omgekeerde beweging uitvoert en een tegengesteld commando uitvoeren.

Wat betreft je opmerking over geluid vs beeld: geluid is nog steeds verschrikkelijk snel, dus op zo'n korte afstand (de afstand tussen hand en speaker/microfoon) is dat niet significant. Sterker nog: de bottleneck zal denk ik eerder de verwerking van de data zijn, en niet de snelheid van de golven die worden gebruikt. Geluid is daarbij sneller te verwerken dan beeld, dus dit lijkt mij juist wel sneller.

[Verwijderd]

Integendeel, geluid is zelfs relatief langzaam, zo'n 340 m/s.
Over een stuk van nog geen 3,5 meter doet geluid dus één honderdste van een seconde. Dat is met de huidige computers een behoorlijk aantal klok-cycli.

[pauluss86]

Helemaal eens met je post, het enige wat ik kan bedenken is dat dit een aanvulling zou kunnen zijn op beeldherkenning. Meer sensorische input geeft potentieel een vollediger en correcter beeld van de werkelijkheid.

[ATS]

De beste opmerking tot nu toe in de commentaren. Dat is m.i. echt een geweldig idee. Het herkennen van gestures op basis van een combinatie van doppler en beeldherkenning zou denk ik veel betere resultaten opleveren dan beide technieken los van elkaar.

[Frozen]

Leuk idee maar net als bovenstaand, werkt deze techniek door middel van het opvangen van golven. Als je al een ander apparaat hebt dat hoge frequentie geluid uitzend kan het toch zijn dat dit helemaal niet gaat werken?

[Reactie gewijzigd door Frozen op 31 juli 2024 10:55]

[Conky]

Niet als dit apparaat op dezelfde frequentie geluid uitzendt. Omdat gebruik wordt gemaakt van het dopplereffect wordt alleen gekeken naar frequenties die afwijken van de uitgezonden frequentie. De frequentie waarop wordt uitgezonden wordt dus eigenlijk genegeerd.

[stealthgun]

[off topic]
Ik denk gelijk aan The Big Bang Theory.... Met dat mooie shirt van sheldon

[on topic]
Maar leuke ontwikkeling, hoop dat ze het nu echt goed werkend krijgen, gaat dit nu met een interne mic of moet je een externe mic gebruiken? Als ze al een mic gebruiken... mis het onderdeel een beetje waarmee ze het effect opvangen.

[Reactie gewijzigd door stealthgun op 31 juli 2024 10:55]

[StrongArmLance]

offtopic:
Als je het gewoon zo doet en zonder het "nu krijg ik vast -1 stoort het bijna niemand,

Ik neem aan dat het allebei kan, bij een laptop zit het vaak standaard ingebouwd, maar een externe mic. moet het zelfde effect geven.

Headset lijkt me wel lastig

[MClaeys]

In het filmpje denk ik zelfs dat ze bij die desktop met tetris gewoon de headset gebruiken die op het toetsenbord ligt. In laptops zal dus volgens mij ook de ingebouwde microfoon werken (al denk ik dat deze wel op een specifieke plaats moet zitten om het beste effect te hebben)

[Mavamaarten]

Ik vind het er niet geweldig uitzien. Wat is er mis met een goeie ouwe muis om alles te bedienen? Touchscreens zijn ook handig voor "gestures", maar alleen voor tablets.
Wat er in dit filmpje getoond wordt is gewoon belachelijk, ik heb geen zin om hysterisch heen & weer te gaan slaan met mijn hand om 1 per 1 door mijn tracks te scrollen.

[TJHeuvel]

Het is zo onhandig in de bus. Dit is bedoelt voor mobiele apparaten, de laptop is alleen voor het testen.

[Tjidde]

Ziet er geinig uit maar, zie me zelf nog niet zitten in een bieb om rustig te werken zwaaiend naar me laptop, om tekst te scrollen. Plus het duurt langer volgens mij dan op page down te drukken.

Denk dat het nog wel wat verfijnt moet worden om het misschien verkoopbaar te krijgen.

[Perkouw]

Ik zag dit artikel al op nu.nl voorbijkomen, echt heel praktisch vind ik het er nog niet uitzien maar goed het lijkt me dan ook nog in de kinderschoenen te staan. Wellicht een stomme opmerking maar met google kom ik er zo een twee drie niet uit, maar hebben honden en/of andere huisdieren geen last van dit geluid ?

Ik weet niet of ik de tabel op deze pagina kan geloven maar dan is het zelfs mogelijk voor (jonge?) mensen om dit te horen ?

[sm1ley]

Video:
"This example demonstrates the accurate and quick control that SoundWave is capable of."

Volgens mij zit er een enórme vertraging in het Tetris spelletje en wegschuiven van foto's .

[Reactie gewijzigd door sm1ley op 31 juli 2024 10:55]