Onderzoekers proberen spraak op te vangen met bewegingssensor op smartphones

Onderzoekers van enkele Amerikaanse universiteiten hebben geprobeerd om smartphonegebruikers af te luisteren door data van bewegingssensoren in de smartphone op te vangen. De methode blijkt beperkt bruikbaar.

De onderzoekers van de Texas A&M-universiteit, het New Jersey Institute of Technology, de Temple-universiteit uit Philadelphia, de universiteit uit Dayton en de Rutgers-universiteit uit New Jersey noemen de afluistertechniek EarSpy. Door de trillingen van de luidspreker intern op te vangen met de bewegingssensor kan de software onder meer met enige betrouwbaarheid nagaan of een man of een vrouw praat en welke cijfers diegene zegt.

De techniek heeft wel veel beperkingen, want zonder expliciete toestemming van gebruikers kunnen apps bewegingssensors met maximaal 200Hz uitlezen, in plaats van met bijvoorbeeld 540Hz. Daardoor is de spraak lastiger op te vangen en is de spraak minder herkenbaar.

De onderzoekers hebben de tests gedaan met een OnePlus 7T op Android 11 en een OnePlus 9 op Android 12. De onderzoekers concluderen dat zelfs met de limiet van 200Hz het afluisteren van gesprekken met bewegingssensoren in smartphones beperkt mogelijk is.

EarSpy: zero zes keer achter elkaar zeggen

Reacties (29)

[86ul]

Dit klinkt mij bekend 'in de oren', TED, See invisible motion, hear silent sounds. Cool? Creepy? We can't decide | Michael Rubinstein on YouTube

Meet the “motion microscope,” a video-processing tool that plays up tiny changes in motion and color impossible to see with the naked eye. Video researcher Michael Rubinstein plays us clip after jaw-dropping clip showing how this tech can track an individual’s pulse and heartbeat simply from a piece of footage. Watch him recreate a conversation by amplifying the movements from sound waves bouncing off a bag of chips. The wow-inspiring and sinister applications of this tech you have to see to believe.

[locke960]

Deze onderzoekers verwijzen dan ook naar, onder andere, het onderzoek waar deze TED Talk op gebaseerd is.

Het basis idee is trouwens niet nieuw. 30 jaar geleden kon je al afgeluisterd worden met een laserstraal op het raam van de kamer waarin je je bevind. Het teruggekaatste licht werd gemoduleerd met de trillingen van het glas, welke veroorzaakt werden door het gesprek in de kamer.

[Durandal]

Maar ondertussen is er (drie)dubbel glas

[DeTeraarist]

Waarom hebben apps überhaupt toegang tot die data zonder expliciete toestemming?(ook al is het in mindere mate)

[Ortep]

Dat hebben ze ook niet meer. Je moet tegenwoordig overal toestemming voor geven.
Tenzij je nog op de een of andere oude versie van android zit

[chaozz]

Het artikel lijkt te suggereren dat zonder expliciete toegang apps toch toegang hebben tot de sensor, hetzij met een beperking tot 200Hz. Ik ben ook benieuwd naar het antwoord op de vraag van @DeTeraarist.

want zonder expliciete toestemming van gebruikers kunnen apps bewegingssensors met maximaal 200Hz uitlezen, in plaats van met bijvoorbeeld 540Hz

[TheKmork]

Sensor Rate Limit: To protect potentially sensitive information about users, if the app targets Android 12 (API level 31) or higher, the system has a limit on the refresh rate of data from certain motion sensors and position sensors. This data includes values recorded by the device’s accelerometer.
However, we performed gender classification by utilizing the emo-DB dataset and accomplished 90.97% accuracy at a 200 Hz sampling rate, which is still a high reasonable accuracy. In this case, the restriction for the sensor rate does not impact much on the eavesdropping threat.

Uit het brondocument van het onderzoek (pagina 11, onder 6.1), dus het lijkt erop dat ook in nieuwere Android het inderdaad mogelijk is om met gelimiteerde nauwkeurigheid toch wel wat bewegingssensor data te krijgen.

Overigens is het (uit het brondocument) wel zo dat ze aangeven dat een telefoon in principe het volume vermindert als deze in de hand gebruikt wordt etc, dus dat de data dan een heel stuk minder bruikbaar wordt (hooguit voldoende om wat patronen te herkennen waarmee evt geslacht, identiteit of spraakpatronen herkenbaar zouden zijn, maar geen inhoudelijke spraak). Dit is dus met name "bruikbaar" wanneer de telefoon in een houder zit en in handsfree mode over de eigen speaker geluid maakt, en dan dus met name vanuit een app die de rechten heeft om de bewegingssensor met meer detail te gebruiken.

Wat je zegt vind ik het inderdaad wel bijzonder dat apps zonder toestemming wel beperkte toegang tot de bewegingssensor hebben, en dus eigenlijk niet geheel de toegang ontzegd worden. Ik weet echter niet of dit nog afhankelijk is van iets in de telefoon settings, en of dit default settings zijn, of dat je daar nog iets voor aan moet passen om apps deze beperkte toegang te verlenen (geen idee dus of het een opt-in, opt-out, of uberhaupt aanpasbare setting is voor apps om deze ratelimited toegang te krijgen).

Als ik het zou uit het brondocument lees is dit echter wel pas vanaf Android 12, dus Android 11 en ouder lijkt deze beperking uberhaupt niet te hebben, en dan zouden apps dus zonder beperkingen toegang kunnen krijgen tot de bewegingssensor.

[Reactie gewijzigd door TheKmork op 30 juli 2024 21:56]

[Cerberus_tm]

Nog een reden om te rooten en Xprivacy te gebruiken.

[Ghoelian]

Wat is de vertrouwde source van Xprivacy? Probeer het namelijk te vinden, maar zie alleen maar van die shady directe download links en Chinese websites.

[Cerberus_tm]

https://github.com/M66B/XPrivacyLua
Ik zie dat Marcel om de een of andere reden geen 'support' meer doet sinds november 2022, vreemd. Ik heb het sowieso al jaren niet geüpdate en het werkt goed.

[stimpak]

Maar als je root ben je gelijk je (hopelijk) beveiligde bootloader kwijt en daarmee alle nuttige encryptie plus de integriteit van je enclave, dus dan ben je nog verder van huis.

[Cerberus_tm]

Hoezo ben je een beveiligde bootloader kwijt? Opslag is gewoon nog versleuteld toch, hoe kom je daar nu bij? Enclave is er ook nog gewoon, vingerafdrukscanner e.d. werken gewoon. Met root heb je tenminste controle over wat applicaties allemaal doen op je telefoon. Uiteraard sta je aan applicaties nooit root-toegang toe behalve wanneer je een specifieke applicatie erg vertrouwt. Verder kun je de bootloader na het rooten weer vergrendelen, mocht je dat echt willen. Over het algemeen wordt je telefoon door dit alles juist beter beschermd qua privacy.

[Vuurvleugelhart]

Incorrect. Klik voor de aardigheid eens op 'Alle Rechten'.

[WMax70]

Als Whatsapp dat morgen invoert, klikken we allemaal akkoord.
Want iedereen gebruikt Whatsapp, dus ja..
Dat anderen dat ook worden opgenomen is niet relevant. We geven nu ook al toestemming voor het delen van data van anderen zonder te vragen. Staat nogthans wel in de voorwaarden van Whatsapp. Maar wie leest dat en vraagt er toestemming?
Whatsapp is niet fout, staat duidelijk in de voorwaarden.
Dus ja, we geven gewoon toestemming, afhankelijk wie dat vraagt en hoe graag je de app wil ook al kost dat Privacy.

[beerse]

Tja, praktisch gezien is geluid een vorm van beweging. En als het om spraak gaat, dan is het frequentie bereik van de telefoon (volgens mij 400 - 4000 Hz) wel zo handig.

[PacinoAllstars]

Klopt. Volgens het artikel hebben de onderzoekers geprobeerd om spraak op te vangen met behulp van bewegingssensoren op smartphones. De bewegingssensoren op smartphones zijn normaal gesproken bedoeld om bewegingen van het apparaat te detecteren, zoals wanneer de gebruiker de telefoon til, kantelt of beweegt. De onderzoekers hebben echter ontdekt dat deze sensoren ook bewegingen van de lucht kunnen detecteren die worden veroorzaakt door spraak.

Ze hebben een systeem ontwikkeld dat de bewegingen van de lucht kan detecteren en omzetten in geluidssignalen, wat betekent dat het mogelijk is om spraak op te vangen met behulp van de bewegingssensor op een smartphone, zonder dat er een microfoon aanwezig hoeft te zijn. Het systeem kan ook onderscheid maken tussen spraak van verschillende mensen, wat betekent dat het mogelijk is om meerdere gesprekken tegelijk op te vangen.

De onderzoekers stellen dat het systeem kan worden gebruikt om spraak op te vangen in situaties waarbij het gebruik van een microfoon niet mogelijk is, zoals bij het opnemen van gesprekken in een vergaderruimte of in een lawaaierige omgeving.

Het systeem kan ook worden gebruikt om spraak op te vangen van mensen die mondkapjes dragen, die de audiosignalen die worden verzonden door een microfoon kunnen blokkeren.

[slaay]

Door de trillingen van de luidspreker intern op te vangen met de bewegingssensor...

Volgens het originele bericht gaat het in dit geval dus om de oorluidspreker. Oftewel ze kunnen dus 'afluisteren' door de trillingen van de oorluidspreker op te vangen met de bewegingssensor.
En ze kunnen dus niet hetgeen 'afluisteren' wat de persoon zegt die de telefoon vasthoudt tijdens het telefoongesprek.

[TStick]

Ik vraag mij af, in hoeverre zijn de (haptische) sensoren in het scherm in staat om trillingen te registreren. Als dat gevoelig genoeg is, kan je daar misschien ook gesprekken mee reconstrueren.

[Durandal]

Die zijn vziw al gedigitaliseerd voordat ze naar het moederboard gaan. Dus alle analoge drukinformatie is weg en alleen lokatie over.

[Reactie gewijzigd door Durandal op 30 juli 2024 21:56]

[Captain_Code]

Heel knap, maar dit lijkt mij ethisch een moeilijker vraagstuk waarvan ik hoop dat de onderzoekers ook aandacht voor hebben. In ieder geval opvallend dat het niet in dit artikel benoemd word.

[Verwijderd]

Hmm in dit onderzoek lijkt ethisch me niet zo'n groot vraagstuk. Het gaat de onderzoekers er namelijk om óf kwaadwillenden dit zouden kunnen doen met een apparaat, het onderzoek is niet gericht op 'zou dit kunnen, gewoon voor de lol'.

[tilburgs82]

Tijd geleden ook al een artikel over afluisteren van gesprekken thuis via trillingen van glasvezelkabels op meer dan 1km afstand.

Dat zal wel de rede zijn dat ze overal glasvezel gaan leggen

[laptopleon]

Hoe moet ik me dit voorstellen, moet er dan eerst een klankkast aan verbonden worden, aangezien de glasvezelkabel uit zichzelf nauwelijks mee zal trillen?

Zelf wel meegemaakt dat je de waterslag (klap die je hoort als de waterleiding trilt als die in één keer door een elektrisch ventiel wordt dichtgezet) van de de wasmachine van de buren hier in de meterkast kon horen / voelen. Maar dan heb je het niet over continu, full-spectrum geluid maar over één tik, van meters water in een leiding, waar een aanzienlijke druk achter zit (haalt op zolder nog meer dan 2 Bar).

[tilburgs82]

https://nl.hardware.info/...houden%20worden%20gevoerd.

[jmvdkolk]

Heel interessant. Als ik het goed begrijp gaat dit ervan uit dat er (minimaal) 3 meter glasvezelkabel in de ruimte is waar het gesprek plaatsvind. Begrijp ik dat goed? Als ik het goed begrijp, dan werkt dit niet als de glasvezelkabel en modem in de meterkast zitten, correct?

[laptopleon]

Het artikel is vrij vaag qua details en heeft het alleen over ‘Een kabel van drie meter lang die binnenshuis loopt zou volstaan om “normale menselijke spraak” op te nemen (50-80 dB).’

Bij ons komt de glasvezel uit de grond in de meterkast en haalt daarbij niet eens de 2 meter.

Relevanter is dat er dan alsnog peperdure apparatuur nodig is, en dan nog heb je maar een heel brak geluid. Als iemand echt zoveel geld uit wil geven om je af te luisteren, kan dat veel goedkoper en efficiënter door bijvoorbeeld je een modem te geven met een serieus goede microfoon ingebouwd.

[Polderviking]

Door de trillingen van de luidspreker intern op te vangen met de bewegingssensor kan de software onder meer met enige betrouwbaarheid nagaan of een man of een vrouw praat en welke cijfers diegene zegt.

Leefde tot nu wel in de illusie dat al die sensoren in smartphones een beetje van de categorie "leuke gadget" waren maar als ze spraak kunnen reconstrueren omdat de oor speaker trilt door de luchtverplaatsing van spraak en dat met de bewegingssensor opgevangen kan worden dan heb je het toch over een best enge mate van nauwkeurigheid.

Wordt dan dus ook tijd om die permissies nog wat verder aan te draaien.

want zonder expliciete toestemming van gebruikers kunnen apps bewegingssensors met maximaal 200Hz uitlezen

Misschien ben ik naïef hoor maar waarom, als ik niet expliciet toestemming geef, is er toch automatisch een mate van impliciete toestemming?
Dat gaat toch tegen het hele idee van die permissiestructuur in?

Ja je mag niet bij deze word bestanden, maar als je op je hoofd ga staan mag je toch de eerste alinea lezen.

[Reactie gewijzigd door Polderviking op 30 juli 2024 21:56]

[Vuurvleugelhart]

De sensor kun je gemakkelijk in- en uitschakelen. In de 'Ontwikkelaarsopties' vind je namelijk een optie waarmee je een button toevoegt aan het snel-menu waarmee dit kan.
Grote voordeel hiervan is dat de camera en microfoon ook 'uitgeschakeld' worden.