Cookies op Tweakers

Tweakers maakt gebruik van cookies, onder andere om de website te analyseren, het gebruiksgemak te vergroten en advertenties te tonen. Door gebruik te maken van deze website, of door op 'Ga verder' te klikken, geef je toestemming voor het gebruik van cookies. Wil je meer informatie over cookies en hoe ze worden gebruikt, bekijk dan ons cookiebeleid.

Meer informatie

Door , , 49 reacties

Een Zweedse student heeft op basis van onderzoek van Microsoft naar het dopplereffect een applicatie ontwikkeld waarmee een gebruiker kan scrollen door zijn hand te bewegen. Daarvoor zijn alleen een microfoon en speakers nodig.

De student Daniel Rapp ontdekte onlangs het onderzoek van Microsoft uit 2012. Hij was gebiologeerd door de mogelijkheid zonder speciale hardware gebruik te kunnen maken van bewegingsdetectie. Helaas stond er geen code in de paper om de methode toe te passen, maar daar liet Rapp zich niet door uit het veld slaan: al vrij snel wist Rapp werkzame code te schrijven en hij plaatste de applicatie met de simpele naam 'Doppler' op Github.

De techniek werkt met gewone speakers in een frequentiegebied dat voor de meeste mensen niet hoorbaar is, namelijk tegen de 20kHz. Als een hand door de geluidsgolven beweegt, veranderen de golven een heel klein beetje. De microfoon pikt het verschil in geluid op. Het door Rapp ontwikkelde programmaatje gebruikt dit faseverschil om over het scherm te scrollen. Rapp heeft het geluid ook zo ontworpen dat het te moduleren is zoals met een theremin, een elektronisch muziekinstrument dat bespeeld wordt door de afstand tussen de handen en twee antennes te variëren.

Een andere toepassing die Rapp heeft gemaakt is een bewegingsdetectie-applicatie. In dit geval wordt een vierkantje kleiner of groter door het verschil in de linker en rechter bandbreedte. Uiteraard heeft hij ook de mogelijkheid gebouwd om te scrollen. De software biedt niet de optie om ook te dubbelklikken om zo de scrollrichting om te draaien.

Microsoft Research-video uit 2012

Moderatie-faq Wijzig weergave

Reacties (49)

Ik denk alleen dat je jonge kinderen en huisdieren die 20kHz wil kunnen horen helemaal gek maakt.
Inderdaad. Er is een reden waarom afstandbedieningen tegenwoordig infrarood gebruiken ipv ultrasound zoals vroeger.
Jonge kinderen en vooral huisdieren worden er knettergek van. Als je het echt wil doen zou ik eerder richting de 100KHz gaan.
Ik denk dat de gemiddelde laptopspeaker/microfoon niet om kan gaan met 100kHz en dat daarom ook gekozen is voor 20-22kHz.
Zover ik begrijp was deel van het idee dat het bruikbaar is zonder extra apparatuur.
Verder vet idee natuurlijk, even zoeken of het ergens te downloaden is.
Andere, extra speakermodule inbouwen? Zal ook zo duur niet zijn. Wellicht via USB.
Er is een reden waarom afstandbedieningen tegenwoordig infrarood gebruiken ipv ultrasound zoals vroeger.
Dat zat 'm dan wel weer meer in de beperkte bandbreedte, het gevoelig zijn voor andere bronnen, en de prijs dan de mensen die het geluid konden horen.

Overigens gaat dat tegenwoordig weer deels de andere kant op. De Roku 3 bijvoorbeeld gebruikt wifi direct, en stuurt ook vanuit het basisstation signalen naar de afstandsbediening zodat je er een koptelefoon in kan steken. Gelukkig is dat wel een heel andere frequentieband dan die van de oude ultrasone afstandsbedieningen ;)
Als proof of concept werkt het redelijk en kunnen er nieuwe inzichten worden ontwikkeld.

Zo bestaan er draadloos toetsenborden, de volgende stap is een toetsenbord dat niet eens fysiek aanwezig is. En zo kunnen er nog meer opties worden bedacht dat al dan niet in samenwerking met andere technieken zoals infrarood tot betere motie-technieken kan leiden.

En dit is nog relatief simpel, maar een microfoon bestaan al +100 jaar en het is de de software die belangrijk is. Je kunt hier in oa gezondheid technieken ontwikkelen om erg goedkoop 3D-motie te scannen.

Edit; vergeten aan te geven dat het natuurlijk wel zal moeten op een veilige frequentie.

[Reactie gewijzigd door Iblies op 25 maart 2015 12:29]

Toetsenborden die er fysiek niet zijn bestaan al:
http://en.wikipedia.org/wiki/Projection_keyboard.
Het is net een brommende opa. Huisdieren worden gek van hoge tonen, zie bijvoorbeeld het hondenfluitje.
een nieuwe uitvinding om je kind en hond van je laptop af te houden ;) en ook nog eens handig

[Reactie gewijzigd door sj31 op 25 maart 2015 13:35]

Bij mij in de straat zitten een paar ouwetjes die zo'n piepding gebruiken om katten uit hun tuin te jagen. Volgens mij hoort dat gepiep toch echt ergens buiten gehoorbereik te zijn, maar ik hoor het luid en duidelijk (ik vermoed dat die dingen slijten over een verloop van tijd, en de frequentie waarop ze horen te werken zakken). Die ouwetjes merken er zelf waarschijnlijk weinig van :p

Dat is dan irritant, zit je straks in de bieb, zit daar iemand met zo'n pieplaptop. Niet iedereen heeft het zelfde gehoorbereik (en die van mij is toch echt niet bijzonder goed, toch vallen dit soort hoge frequenties mij wel degelijk op).
Dit is echt razendslim bedacht :)
Eerste vraag die ik heb: moeten hiervoor de speaker en microfoon niet dicht bij elkaar zitten om dit goed werkend te krijgen?
Ze zullen een vaste afstand van elkaar moeten blijven hebben. Maar zolang de zender en ontvanger even ver van elkaar af zijn, zal dit effect waarneembaar en nauwkeurig zijn.

Mijn vraag juist: Wat als je meerdere laptops naast elkaar zet met 20kHz modules? Of wat wanneer er geluid op deze frequentie in dezelfde ruimte rond gaat? Dat zal interfereren lijkt mij.
Ik weet niet op welke frequentie zo'n apparaatje werkt wat muizen verdrijft uit huis?
Je wil zeggen dat je eerst een soort "calibratie" moet uitvoeren om de afstand tussen de speaker en microfoon te kunnen berekenen?
Nouja, zolang ze geen meters uit elkaar liggen, lijkt mij een calibratie niet nodig.
De zender zendt constant uit op 20kHz, of er nu 1, 5 of 10cm tussen zit: de ontvanger ontvangt het wel. Geluid gaat namelijk alle richtingen op.

Dus als de zender geluid richting de computergebruiker zendt in een vrij breed veld, dan wordt dit hoe dan ook teruggekaatst op de laptop, naast de laptop, over de laptop heen. En als de ontvanger dan ergens daar zit, dan ontvangt 'ie het wel.

Juist wanneer de zender en ontvanger erg dicht tegen elkaar zitten, zal dit eerder storing opleveren, omdat de ontvanger dan al een constante toon van 20kHz ontvangt (hij zit er immers direct naast, behuizing van laptop kan ook nog een beetje mee trillen - hoewel dit grotendeels zal dempen).

Een calibratie zou handig kunnen zijn wanneer er meerdere apparaten met deze zelfde techniek gebruikt worden. Als je buurman Jantje op 20kHz werkt, zou jij graag op een hogere frequentie willen werken. Ontvanger in jouw laptop kan op voorhand registreren waar de minste "ruis" op is en past dit op de zender aan.
Juist wanneer de zender en ontvanger erg dicht tegen elkaar zitten, zal dit eerder storing opleveren, omdat de ontvanger dan al een constante toon van 20kHz ontvangt (hij zit er immers direct naast, behuizing van laptop kan ook nog een beetje mee trillen - hoewel dit grotendeels zal dempen).
Is ook geen enkel probleem. Juist omdat je het zelf uitzendt weet je precies welke frequentie je er uit moet filteren :)

Wat wel lastig kan zijn is dat laptops direct naast elkaar staan. Dan kan het zijn dat je van allerlei interferenties krijgt tussen de signalen (zowel uitgezonden als weerkaatst/ontvangen). Maar ik denk dat het in de praktijk best wel eens mee kan vallen.
Beweging van de hand zorgt er inderdaad voor dat de 20kHz veranderd wordt naar een lagere of hogere frequentie. Dit wordt dan inderdaad opgevangen.
Nadeel kan wel zijn dat wanneer er "veel" 20kHz opgevangen wordt, dit gezien wordt als "stilstand" of "geen input". Zeker als de zender direct op de ontvanger gericht staat (of er dus naast staat en de frequentie op vangt), kan deze overrulen.
Ligt aan de gevoeligheid van de ontvanger. Want ruis van voorbij lopende mensen moet ook genegeerd worden. Er is dus een drempel. En als de 20kHz frequentie procentueel boven de drempel blijft, zal er ook niks gebeuren.
Nu is de vraag zorg dit voor problemen bij dieren na een lange termijn van gebruik, aangezien honden en katten VEEL beter en meer kan horen dan mensen?

Verders erg mooi bedacht.
Hogere frequentie nemen, buiten t bereik van mens/dier.
Die 20kHz is een test.
de afstand maakt niks uit, het gaat om de geluidgolven en die veranderen niet naarmate de afstand varieert.
Nee de afstand maakt niet uit, als deze maar gelijk blijft en niet tijdens gebruik veranderd. Dan zorgt de bron zelf voor een doppler effect xD
Mijn vraag juist: Wat als je meerdere laptops naast elkaar zet met 20kHz modules? Of wat wanneer er geluid op deze frequentie in dezelfde ruimte rond gaat? Dat zal interfereren lijkt mij.
Ik weet niet op welke frequentie zo'n apparaatje werkt wat muizen verdrijft uit huis?
Geef iedereen een frequentie die een beetje afwijkt van de 20kHz waardoor je niet in mekaars vaarwater komt. Een beetje zoals wifikanalen.
Ja inderdaad. Nadeel kan zijn dat het doppler effect ook zorgt voor een kleine verandering in frequentie. Maar als de boel daarop gekalibreerd wordt inderdaad.
Tis een goedkope oplossing voor een kleine doelgroep.
Dit is echt razendslim bedacht :)
Klopt, voor deze specifieke toepassing is het inderdaad innovatief. Maar daarbuiten bestaat het al heel lang. In het ziekenhuis worden er bijvoorbeeld ECHO-dopplers van het hart gemaakt, waarbij de bloedstroom in het hart zichtbaar is te maken met verschillende kleurtjes!
Ik bespeur nog net wat te veel lag en de dpi's moeten omhoog. Kortom: ik kan mijn gaming muis nog niet weg doen ;)

Ik moet zeggen dat ik het wel een interessant Tweaker-waardig POC-je vind.

Overigens moest ik bij het Doppler Effect wel gelijk aan Sheldon denken...
Ik had hetzelfde bij het Doppler effect, toch wel erg...
Sheldon en z'n prachtige dopller-effect kostuum :+
Dit is de bron:
http://hackaday.com/2015/03/13/doppler-gesture-sensing-in-javascript/

En net als bij het vorige .Geek artikel maak ik hierbij wederom de opmerking dat de Tweakers redactie een beetje achter het .Geek nieuws loopt, de laatst 6-7 .Geek artikelen waren dingen van weken tot zelfs jaren oud.
Sorry daarvoor, ik zag hem pas net via phys.org en gistermiddag bij popularmechanics. Het is niet de bedoeling om 'oud' nieuws te brengen, al is de 'marge' bij .geek wel iets ruimer dan bij 'gewoon' nieuws. Je kunt dit bij wijze van spreken nu ook even op kantoor doen ;) En niet iedereen leest hackaday of popmech.
.geek van gister over die slang was de slang technisch misschien jaren oud, maar de vinding van hoe het ding sneller te laten kruipen, weer heel recent, namelijk online gepubliceerd op 23 maart.
Het is nou ook weer geen verwijt, dus sorry zeggen hoefd niet, meer een constatering die ik even met Tweakers wou delen.

Offtopic; Over die van gisteren, heb je wel een punt, maar is mijn tegen argument weer dat ze eigenlijk alleen die paper gepubliseerd hebben, ze hadden de code al veel langer op de slang draaien :P (zie hun youtube channel, o.a een video van 9 maanden geleden, maar ook zelfs eentje van 5 jaar geleden met vrijwel dezelfde beweging)

Wederom, geen verwijt ofzo he, maar vind het wel jammer dat ik alle recente .Geek artikelen al ken, hoewel dat natuurlijk ook voor een deel mijn 'schuld' is hehe.
Ah, ok *fwew*

Overigens, mocht je nou dingen tegenkomen die heel erg goed bij .geek passen, http://tweakers.net/submit/ is een gewillige que :)

zet dan wel ergens even .geek in de titel, dat maakt het schiftingsproces wat makkelijker ;)
Grappige feature, even getest op de pagina van de ontwikkelaar: http://danielrapp.github.io/doppler/

Werkt wel aardig als het volume van de speakers hoog staat, bij laag volume vangt de mic niet genoeg geluid op om te kunnen werken.
Ik vermoed dat kwaliteit van mic en speakers nogal grote invloed hebben op het resultaat.

Edit: over volume instellingen

[Reactie gewijzigd door lololig op 25 maart 2015 12:42]

Kunstig bedacht maar toch weer jammer dat er dus geluid geproduceerd wordt in het frequentiegebied wat mensen (met goede oren) nog zouden kunnen horen. Herrie is er al zat overal dus eigenlijk hoeft dit niet zo voor mij.

Daarnaast zou het ook nog zomaar kunnen zijn dat deze "onhoorbare" toon interfereert met geluid dat je wél kunt horen en daarmee dus zeer hinderlijke zwevende toestanden creëert.

En huisdieren zijn natuurlijk ook niet belangrijk.
Bij dit soort technieken met ik meteen denken aan Minority report.

Wat toen ondenkbaar leek met een speciale hand schoen komt nu dicht bij met behulp van een simpele speaker en microfoon. hoe tof is dat dan !
Nu de doorzichtige schermen zonder kabels en bezels nog :)
Je gaat hier niet in op de context. m3nt0s en ik hadden het over de film "Minority report", waar doorzichtige, bazelloze en draadloze schermen aangestuurd worden door een dusdanige techniek.

Ik ben er van op de hoogte dat er schermen zijn welke doorzichtig zijn.
Ook is men bezig met de ontwikkeling van schermen zonder bazel.
Nu de combinatie nog.
Natuurlijk enorm slim.
De Stux worm die in iran voor problemen zorgde werkte ook al met geluid. Die deed via speakers geluid maken en zo andere computers waar de microfoon aan stond besmetten. :+

Ik denk sowieso dat audio nog te weinig wordt gebruikt voor dataoverdracht tussen machines.
Die deed via speakers geluid maken en zo andere computers waar de microfoon aan stond besmetten. :+
Geen idee waar je dat hebt gehoord, is totaal niet waar namelijk. Het idee alleen al :/

Dat terzijde, dit is een geweldige manier om ruimtes te voorzien van detectie zonder daar indringende aanpassingen voor te moeten doen aan de infrastructuur (PIR/laser/magneetcontact modules installeren, kabels trekken).

[Reactie gewijzigd door nst6ldr op 25 maart 2015 13:16]

Heb je het artikel wel gelezen? Je kan geen computer infecteren met geluid, zo misleidend als de titel van het artikel ook is, ook in jouw bron wordt geen woord hierover gerept. Dat je gegevens kan versturen middels akoestiek is niet nieuw, we doen het tenslotte al eeuwen, alleen voor de computer zal het abstract moeten. De ontvangende kant zal software nodig hebben om te interpreteren wat er binnenkomt, alsmede natuurlijk een protocol dat overeenkomt met dat van de zender. Nu mag jij me gaan uitleggen hoe een computer zonder voorbewerking dat signaal gaat oppakken en op eigen initiatief gaat interpreteren als uitvoerbare code.

En dat sarcastische toontje mag je ook wel achterwege laten, zorg in ieder geval dat je de bron leest voordat je 'm doorstuurt. :')
Dan luister naar de Jupiter Broadcast van gisteren die had het exact over de Stux infestatie en de infectie via geluid.

(ik kan niet alles zoeken, dus ik doe het wat blindelings)

(Tech Talk Today episode 148)

[Reactie gewijzigd door Auredium op 25 maart 2015 14:50]

Hier valt écht niks van terug te vinden. Windows, noch OSX, noch *nix, interpreteren geluid niet als uitvoerbare code, noch bestaat er een buffer overflow of andere vorm van geheugen injectie om dit te bewerkstelligen met een microfoon. Wat ik wel terug kan vinden is hoe reeds geïnfecteerde computers akoestisch met elkaar communiceren om IDS en firewalls te omzeilen.
Dat is ook het stukje wat ik bedoel. ;)

Het spreekt voor zich dat een systeem, reeds geinfecteerd moet zijn om de microfoon in te schakelen.

That said; Hypothetisch zou het wel mogelijk moeten zijn zonder eerdere infectie. Daar audio wordt omgezet in digitale signalen. Je zult dan wel een exploit moeten zien te vinden die de achter liggende software kan misbruiken. Maar das andere zooi.

Het handeld zich immers in het bovenliggende artikel ook over instructies via audio en niet over de daadwerkelijke manier van besmetting. Stux gebruikt ook instructies via audio tussen besmette machine. Het gaat hem daarin minder of er zo nieuwe systemen kunnen worden besmet. (alhoewel ik het wel zo laat klinken in mijn eerste reactie, en ik vermoed dat het wel kan)
"Die deed via speakers geluid maken en zo andere computers waar de microfoon aan stond besmetten."

Vandaar mijn betoog.

Dat terzijde, er bestaat geen vergelijkbare exploit voor de microfoon omdat deze op een andere wijze werkt dan de systemen waar we wekelijks van teruglezen dat ze lekken bevatten. Denk aan buffer overflow, fuzzen, SQL injection, al deze exploits werken omdat de ingegeven data uit het stukje programma flow kunnen 'breken' (ieder op z'n eigen manier) en de huidige uitvoering van code kunnen aanpassen. Met een microfoon gaat dat niet, die is namelijk niet actief totdat een proces de microfoon nodig heeft. In het geval van een opname worden de gegevens gedumpt in het geheugen en daarna bestand (tenzij er I/O streaming gaande is maar dat is een ander verhaal), en als akoestisch signaal gekenmerkt. Omdat jouw OS weet dat dit dus een akoestische opname is kan deze er verder niks mee anders dan afspelen als zijnde geluid.

tl;dr: het type data (akoestische opname) staat niet toe dat code geïnjecteerd en uitgevoerd wordt.

Het meest geloofwaardige geval wat ik kan verzinnen (en nog steeds héél onwaarschijnlijk is) is dat je op een bepaald type chipset voor een side channel attack kan zorgen middels lekstroom, maar nogmaals, als dat al mogelijk is dan is het wel akelig specifiek en obscuur.
Nouja; het hangt ervan af. Op laag niveau zal er inderdaad niet direct de mogelijkheid zijn dat audio via de microfoon kan worden omgezet naar schadelijke code. Uitzonderingen hierop zijn inderdaad specifieke fouten in chipsets. Of mogelijk opzettelijke fouten zoals backdoors voor overheden (alhoewel die wss wel makkelijkere gaten weten te slaan in reguliere procs hiervoor en niet een audiochip zullen misbruiken).

Ik denk echter dat het vooral op hoger niveau wat anders wordt en ook risicovoller. Software zoals mediaspelers met opname mogelijkheden of containers voor audioformaten kunnen wel fouten hebben. Vooral bij set-ups waar recording eigenlijk een key feature is wat altijd draait zouden fouten in die software en/of de containers tot infectie kunnen leiden..in potentie. Ik kan mij scenario's voorstellen waar domotica met microfoons constand aan die recorden naar computersystemen misschien via fouten in de software wel gebruikt kunnen worden voor exploits. Met name als deze software luister naar bepaalde geluiden en zo dus sowieso al inkomende audio moet analyseren voor aacties uit te voeren. Maar das eigenlijk meer hypothetisch gedoe. :)

Alhoewel ik wel use cases verwacht als de toepassingen dergelijke zaken toeneemt in de practijk. Het is misschien een wat te weinig verkend gebied momenteel.

[Reactie gewijzigd door Auredium op 25 maart 2015 16:13]

Wat vind je kat hiervan?
En straks lopen we allemaal rond met RSI. |:(

Op dit item kan niet meer gereageerd worden.



Apple iOS 10 Google Pixel Apple iPhone 7 Sony PlayStation VR AMD Radeon RX 480 4GB Battlefield 1 Google Android Nougat Watch Dogs 2

© 1998 - 2016 de Persgroep Online Services B.V. Tweakers vormt samen met o.a. Autotrack en Carsom.nl de Persgroep Online Services B.V. Hosting door True