Experimentele app zet telefoon op stil als gebruiker fysiek in gesprek is

Zuid-Koreaanse onderzoekers werken aan een app die op basis van input van sensoren detecteert of de eigenaar van de telefoon fysiek in gesprek is en dan meldingen van notificaties onderdrukt. Pas als het gesprek afgelopen is, mag de telefoon van de app weer geluid maken.

De onderzoekers van diverse Zuid-Koreaanse universiteiten noemen hun systeem Social Context-Aware smartphone Notification system, kortweg Scan. Het gaat om een Android-app die op basis van meerdere soorten input probeert te achterhalen of de eigenaar in gesprek is. Als dat zo is, onderdrukt Scan alle geluiden en trillingen van notificaties. Als de app een 'pauze' in het gesprek detecteert, bijvoorbeeld als iemand anders naar de wc loopt, laat Scan van zich horen om te laten weten dat er nieuwe berichten zijn.

De bedoeling is dat gebruikers op die manier gesprekspartners niet storen met geluiden en trillingen van notificaties. Dat zou bovendien de neiging om de telefoon erbij te pakken in fysieke gesprekken moeten verminderen.

De applicatie maakt gebruik van de microfoon om te horen of de eigenaar is gesprek is. Elke seconde luistert de app een halve seconde en verwerkt die data via de Tarsos-engine voor het verwerken van geluiden om te kijken of er een gesprek gaande is. Via de stappenteller checkt Scan of de gebruiker aan het lopen is, terwijl de ActivityRecognition-api van Google aanvullende info biedt over de activiteit van de gebruiker. Met de Accessibility Service kan Scan de geluiden en trillingen van meldingen onderdrukken. Ook kan Scan telefoons van andere gebruikers inlichten over de sociale context via bluetooth. De app moet de privacy waarborgen door data niet lokaal of online op te slaan en sensordata te vernietigen na elke pauze die de app detecteert.

De onderzoekers hebben Scan uitgeprobeerd in een gecontroleerde setting in een Japans restaurant met groepen studenten. Tijdens de test kwamen er 399 notificaties binnen, waarvan 183 zorgden voor een geluid of trilling. De rest hield Scan tegen. Gemiddeld konden gebruikers notificaties 51 seconden later zien, tijdens een pauze in het gesprek.

In de paper over Scan zeggen de onderzoekers dat het huidige prototype nog veel beperkingen kent. Zo vond het experiment plaats met alleen Zuid-Koreaanse studenten en kunnen sociale conventies in andere landen anders liggen. Bovendien is de app getest in een verder stil restaurant. De Zuid-Koreanen zullen hun bevindingen komende week presenteren op een conferentie in Portland in de Amerikaanse staat Oregon. De Android-app staat vooralsnog niet online.

Reacties (41)

Op zich een goed streven, maar dit betekent dus ook dat de microfoon constant aanstaat. Naast de vraag wat dit met de batterijduur doet, weet ik niet wat ik ervan moet vinden dat een Zuid-Koreaans bedrijf de hele dag gesprekken af zou kunnen luisteren ook al geven ze aan de gegevens niet op te slaan.

[Reactie gewijzigd door Av- op 22 februari 2017 19:03]

Qua batterijduur zijn we er al aan gewend: de mic's luisteren al continue naar OK Google en He Siri

Dat klopt, maar dat gebeurd wel via een dedicated chip die dat energiezuinig doet. En die chip die luistert enkel naar dat specifieke commando en naar niets anders. Pas als die chip het commando herkent wordt de CPU wakker en wordt de volledige voice activition geopend. Vandaar dat het ook een stuk beter werkt als je zegt "Ok google .... Do X" ipv "Ok google do X".

Hier is meer informatie van Qualcomm erover.

Ook al is het in stukjes, er luistert toch iets altijd mee.

De mogelijkheid om de internet verbinding voor deze prachtig mooie app te blokkeren zou er voor zorgen dat zuid Korea de gesprekken niet kan opnemen. Maar daarmee zal de telefoon alle berekeningen zelf moeten doen en dat kan de batterij belasten. Kiezen of delen. Ik kies voor kiezen.

"Zuid-Koreaans bedrijf de hele dag gesprekken af zou kunnen luisteren ook al geven ze aan de gegevens niet op te slaan."
Die laatste zin is weer tekenend voor het onbegrensde wantrouwen van veel mensen van tegenwoordig. Er staat toch in de tekst dat dat niet zo is. Dit zou ook gemakkelijk te controleren zijn door derden als het wel zo zou zijn.

[Reactie gewijzigd door RoelRoel op 22 februari 2017 22:29]

Helaas hebben bedrijven dat wantrouwen zelf veroorzaakt door keer op keer weer data achter je rug om door te sluizen naar hun servers. Van kleine bedrijfjes tot gigantische multinationals.
Tegenwoordig kun je niemand meer vertrouwen. Al helemaal geen bedrijven van buiten Europa (nee, ook die schijnheilige VS niet), daar houden ze zich nooit zo bezig met regelgeving om consumenten te beschermen.

Dat zal in veel gevallen wel waar zijn, maar bij deze app zou het erg schandalig zijn en dat begrijpen de makers vast ook wel. En dat komt dan ook zeker uit omdat het makkelijk te controleren is door het verkeer te analyseren en dan zullen gebruikers de app niet meer willen gebruiken. Met een totaal wantrouwen in alles is vooruitgang totaal niet mogelijk.

Triest als je een app nodig hebt om je normaal te gedragen en te beseffen wanneer het wel en wanneer het 'not done' is om je telefoon tevoorschijn te halen.

Daarnaast is het soms noodzakelijk om gestoord te worden voor iets belangrijks. Dus ja leuk laten we ons leven simpeler maken met NOG een favorieten lijstje en uitzonderingen en wachtwoord en tijdsduur en privacy instellingen en syncen met agenda en..

de grap is veelal dat we menen dat het noodzakelijk is gestoord te worden voor iets immens dringends. Deze app zorgt dat notificaties op een gepast moment binnenkomen zonder dat je continu een trigger krijgt voor vanalles en nog wat. Tenzij je uren aan 1 stuk door blijft doorpraten in een conversatie (mag hopen van niet ;P) zorgt het er gewoon voor dat er een vorm van een QOS is tussen notificaties krijgen en reallife sociale interactie.

(ik heb zelf op mijn telefoon alleen nog maar een zachte ringtone aan staan voor inkomende belletjes. De rest heeft geen notificaties en ik kijk er af en toe eens naar als ik er tijd voor heb. Ik heb nog altijd geen belangrijk ding gemist to be very honest).

Dat is helemaal niet noodzakelijk hoor. Voordat we mobiele telefoons hadden ging het ook prima. Toen hadden we ook geen favorieten lijstjes, uitzonderingen, agenda syncen, etc., etc. En toch zijn in de tijd mensen geboren en groot geworden.

Dat ding is niet belangrijker dan dat je het zelf maakt.

Deze app doet meer. Die voorkomt dat het bel- of trillsignaal af gaat. Zelfs als je een telefoon niet opneemt onderbreekt die toch het gesprek. Dus dit is een mooi nieuw feature.

Misschien moet dit in combinatie met een ingebouwde taser worden gebruikt zodra je neigt je telefoon te pakken tijdens een gesprek
Zie het als een blafband voor honden.

[Reactie gewijzigd door twicejr op 22 februari 2017 19:33]

Nu even wachten op de open-source variant

Op zich denk ik dat je een heel eind komt eigenlijk, zonder server.
Menselijke stem ligt meestal rond de 1000hz, dus kun je daarop filteren en dan kijken hoe hard het gemiddeld is over een seconde , en dan blijven doen over gemiddeld 10 seconden bijvoorbeeld, en een stilte en spraak-"baseline" (in en buiten broekzak) maken.
Dan even de ruimte waarin dit mag afwijken ingeven met xx dB.

Moet met Javascript al kunnen, en ik denk dat het goed zou kunnen werken en weinig "a.i." nodig heeft.

[Reactie gewijzigd door twicejr op 22 februari 2017 19:19]

Heb je het al af? (de open source variant)

Ik heb er zelf niets aan en ik zie er ook geen business-waarde van in.
Heb het eigenlijk puur over de theoretische mogelijkheden van het scannen van frequenties, daar kom je al heel ver mee.

Kijk naar SleepAsAndroid bijvoorbeeld.. detectie van verschillende drempelwaarden is goed te doen, pak daar de frequentie bij en dan zou je het kunnen gebruiken.
De demping van het niveau (het middelen) is belangrijk, je zou er compressie overheen kunnen gooien om sterke pieken vantevoren al weg te filteren.

Javascript is natuurlijk niet de makkelijkste taal hiervoor, maar aangezien gezichtsdetectie ook al lang gedaan is in Javascript, denk ik dat het haalbaar is.

OT: Mijn vrouw kennende, kan ze hem beter gewoon standaard op stil zetten. Man man man... 😌

Geen goed idee. Mijn vriendin: telefoon staat altijd op stil. Neemt dus nooit op als ik haar nodig heb. Man man man... 😌

Tja, waarom loopt je klok 5 minuten voor? Dan heb ik 5 minuten extra was het antwoord.

En op den duur reken je die 5 minuten er al bij en heb je nog geen winst enkel een uurwerk dat voor loopt.

Nee, dan zet iemand 'm goed en ben je 5 minuten te laat!

Goeie vinding. Ik erger me steeds kapot aan mensen die tijdens een gesprek of als je met ze in vergadering bent, hun telefoon opnemen zodra die overgaat. Erg onbeleefd. Blijkbaar is het gesprek of de vergadering minder belangrijk dan het telefoontje.

je er natuurlijk ook gewoon wat van zeggen. Mensen niet over je irritaties vertellen is ook onbeleefd.

Of je gaat gewoon met een beetje common sense door het leven.. Als je in gesprek bent, houdt je maar lekker die telefoon weg..

het punt is dat je nog altijd reageert op een signaal, je aandacht gaat (al is het maar voor een fractie van een seconde) naar je rammelende broekzak of het geluid van je ringtone. Instant je volle aandacht verleggen / terug focussen op iets is niet een bestaand iets toont onderzoek aan tot nu toe

Als ik mijn telefoon hoor trillen als ik in een gesprek zit, voel ik hem trillen, maar ik verleg mijn aandacht niet.

Ik vind het érg asociaal van mensen die dit doen en daar wil ik zelf niet aan deelnemen.

je voelt hem trillen, dus je verlegde al je aandacht, anders voelde je hem niet trillen En je focus nadat je de telefoon voelde trillen is een stuk minder, ongeacht wat je meent vast te stellen, science says you're wrong

Ik heb de OnePlus 2. Vaak sta ik met mijn handen in mijn zak en als ik een interessant gesprek heb, zet ik de 'stfu' schakelaar om. Dan gaat hij alleen af bij de wekker..

Onder werktijd staat het ding sowieso op 'stfu'.

Ah, een app die al je gesprekken kan afluisteren, wie zit daar niet op te wachten ?

Maar eigenlijk zijn ringtones tegenwoordig sowieso vrij asociaal, tenzij je een heel belangrijk telefoontje verwacht. Maar zelfs dan voel en hoor je vaak de trilstand al goed zat. Lijkt ook wel een generatiekloof te zijn. 50+'ers hebben de telefoon standaard op volume 100 staan met zo'n verschrikkelijk lied van Queen oid als ringtone. Zet het uit, geen app voor nodig.

Ik heb al een hele tijd geleden besloten om geluiden voor meldingen überhaupt uit te zetten (het geluid van een trillende telefoon op tafel gaat bij mij door merg en been, dus dat staat al jaren uit), alleen nog de classic-Nokia ringtone voor het zeldzame geval dat men mij probeert te bellen. En zelfs die staat dusdanig zacht dat ik het maar net kan horen. Mijn scherm licht wel op wanneer ik een bericht krijg, adhv de notificatie bepaal ik dan of het de moeite is om gelijk te reageren.Dit werkt uiteraard alleen als m'n telefoon niet in m'n zak zit.

Een paar jaar geleden was dat wel anders trouwens, toen was ik ook nog een slaaf van alle biepjes. Maar zelfs dan zou ik dit idee van harte toegejuicht hebben.

En een perfect getimede XKCD: https://xkcd.com/1802/

[Reactie gewijzigd door BdK9001 op 23 februari 2017 07:37]

Leuk, maar als je gewoon aan het babbelen bent ("lekker weertje, buur!") en er is iets waarvoor je met spoed gebeld wordt lukt dat niet. Bijvoorbeeld omdat er iets met je kind/ouders/echtgenoot is, of omdat er paniek op het werk is of whatever. Zo'n app kan dat verschil niet merken.

Tenzij je bepaalde contacten een prioriteit kan geven om dit te bypassen ofzo, maar dan kom je eigenlijk uit op de standaard ingebouwde niet-storen modus, die dan automatisch aan zou moeten gaan indien stemmen worden waargenomen.

Wie zegt dat de telefoon niet mag gaan terwijl je in gesprek bent ? Dumbest idea ever.