Algoritme beter dan mensen in herkennen van micro-gezichtsuitdrukkingen

Onderzoekers aan de Chinese Academy of Sciences hebben een algoritme ontwikkeld dat even goed als of beter is dan mensen in het herkennen van micro-uitdrukkingen. Dat zijn kleine, onvrijwillige gezichtsuitdrukkingen die emoties aanduiden.

Het trainen van het algoritme was uitdagend voor het onderzoeksteam omdat de emoties echt moeten zijn en de uitdrukking daarvan door de geobserveerde juist onderdrukt moet worden. Om dat te bereiken, lieten ze een groep proefpersonen kijken naar een film die bepaalde emoties oproept, terwijl hun gezicht gefilmd werd met een hogesnelheidscamera. Ze krijgen de opdracht om hun emoties niet te tonen. Doen ze dat wel, werd ze verteld ter motivatie, dan moeten ze per getoonde emotie een groot en saai formulier invullen.

Aan de hand van de film kregen de onderzoekers een goed idee van welke emotie op ieder moment aan de orde is. Op die manier konden de onderzoekers het algoritme aanleren welke spiertrekkingen in het gezicht horen bij de verschillende gevoelens. Als uitgangspunt voor het algoritme wordt een frame uit de video gebruikt waar geen emotie in zit.

De grootste uitdaging bij het opbouwen van het algoritme zit hem in het formaat van de uitdrukkingen. Die zijn zodanig klein dat de computer er moeite mee heeft om ze te herkennen. Als oplossing daarvoor laten de onderzoekers het algoritme de gezichtsuitdrukking digitaal vergroten. Zeer lichtelijk geheven wenkbrauwen worden bijvoorbeeld omgezet in een uitdrukking van extreme verrassing. Dat maakt het gemakkelijker voor de computer om de emotie te benoemen. Het beeld wordt ook vastgelegd in andere kleurruimten om de emoties beter zichtbaar te maken. Naast rgb worden ook CIELuv en CIELab gebruikt en een nieuwe kleurruimte die de onderzoekers tensor independent color space, of tics, noemen. Deze vierdimensionale reeks maakt het werk voor het algoritme zo gemakkelijk mogelijk.

Afbeelding: MIT Technology Review

Wanneer het getrainde algoritme moet concurreren met het menselijke vermogen om micro-uitdrukkingen te benoemen, gaat het op z'n minst min of meer gelijk op. Wanneer het algoritme en 15 menselijke tegenstanders de opdracht krijgen om zowel micro-uitdrukkingen in een bovengenoemde video-opname te signaleren als benoemen, scoren de twee partijen ongeveer gelijk. Wanneer er frames bij gepakt worden waarvan vooraf al vaststaat dat er een micro-uitdrukking getoond wordt, presteert het algoritme beter dan de menselijke tegenstanders.

De onderzoekers zijn van mening dat het algoritme van toepassing kan zijn bij zaken als leugendetectie, geestelijke gezondheidszorg en wetshandhaving. Het onderzoek verscheen in IEEE Transactions on Image Processing.

Reacties (41)

[Verwijderd]

"De onderzoekers zijn van mening dat het algoritme van toepassing kan zijn bij zaken als leugendetectie, "

Leuk dat de techniek er is, ik vraag me toch echter af hoe betrouwbaar dit is. Iemand die een leugen detector ondergaat lijkt mij (algemeen)j niet iemand die zijn emoties op een rijtje heeft of door bijvoorbeeld andere aandoeningen emoties moeilijk kan tonen geen goed beeld geeft.
Ik heb nu meer vragen als antwoorden

Ik zou er in ieder geval niemand 100% op willen afrekenen voor alsnog.

[Ossebol]

Laten we veronderstellen dat het nooit mogelijk is de emoties volledig in kaart te brengen. Bij dit soort tools gaat het altijd om kansberekeningen. Afhankelijk van die kans, generaliseer je en neem je een beslissing. Het resultaat daarvan moet je ook als zodanig behandelen - dus ook tijdens rechtszaken. Je zou dan kunnen zeggen dat het hoogstwaarschijnlijk is dat iemand loog tijdens een gesprek.

Overigens is deze studie wat mij betreft geen nieuws, omdat computers al langer gezichtsuitdrukkingen beter kunnen herkennen dan mensen. Een tool die al langer in wetenschappelijke studies wordt gebruikt, heet CERT (The Computer Expression Recognition Toolbox). Dit programma is gebaseerd op FACS, een systeem dat is ontwikkeld door psychologen en aangeeft welke spiergroepen duiden op de aanwezigheid van een bepaalde emotie. Iemand schrijft dit hieronder ook al.

Uit eerdere studies is gebleken dat CERT emoties kan herkennen die mensen niet of nauwelijks kunnen waarnemen. Een studie die bij mij op de universiteit is uitgevoerd, heeft bijvoorbeeld betrekking op de gezichtsuitdrukkingen van Lance Armstrong tijdens interviews. Als je de tijd hebt: aanrader

[Reactie gewijzigd door Ossebol op 24 juli 2024 23:05]

[Morrar]

Naar mijn mening is het grote probleem bij leugendetectie niet alleen het herkennen van de fysieke / nonverbale reacties. Het echte probleem zit hem in de aanname dat iemand een specifieke emotionele reactie heeft tijdens het liegen. Vaak wordt er bij leugendetectie gezocht naar fysieke kenmerken van verhoogde spanning (arousal).

Die reactie is echter lang niet uniek aan liegen; mensen kunnen ook zenuwachtig worden van een vraag an sich. Vaak voelen mensen best aan welke vragen wel of niet van belang zijn en alleen dat kan de spanning al flink opvoeren. Daarnaast - in het voorbeeld van Armstrong - het zou zomaar kunnen dat Armstrong geirriteerd raakte bij het zoveelste interview over zijn dopinggebruik. Aangezien woede / irritatie ook een emotie is die hoog op de arousal-dimensie scoort, is het makkelijk deze verkeerd te interpreteren. Bij Amrstrong bleek dat achteraf niet het geval, maar even ter illustratie.

Tot slot hebben niet alle leugenaars last van zenuwen tijdens het liegen. Sommigen mensen hebben weinig gewetensdruk of hebben de leugen wellicht volledig gerechtvaardigd voor zichzelf. Leugendetectie op basis van nonverbale kenmerken is naar mijn mening dan ook een riskante zaak.

Een andere manier om leugenaars te pakken is uiteraard om goed naar de inhoud van hun verhaal te kijken en te zoeken naar interne inconsistenties, inconsistenties over tijd, het niveau van details, etc. Maar goed, de ene aanpak sluit de ander niet uit natuurlijk

[Reactie gewijzigd door Morrar op 24 juli 2024 23:05]

[Ossebol]

Je hebt gelijk dat je altijd zult moeten onthouden dat het om een aanname gaat, maar dat is bij alle wetenschappelijke studies van belang, net zoals de studies die kijken naar de toonhoogte van een stem bijvoorbeeld. Daarom is het, zoals je zelf al aangeeft, belangrijk om verder te kijken naar de inhoud van een verhaal. Een menselijke interpretatie (van de data) is daarom ook altijd nodig, denk ik.

Overigens is CERT wel behoorlijk nauwkeurig, omdat het programma zich baseert op de expressies van honderden zo niet duizenden participanten die in een database staan. Al die uitdrukkingen vergelijkt hij met die van Armstrong. Dan mag je er wel vanuitgaan dat er, bij een positief resultaat, een hoge waarschijnlijkheid is op het aantreffen van een leugen.

[Njipep]

Op zich is het ook niet mogelijk om te bepalen of mensen liegen aan de hand van deze micro-expressies. Wat iemand doet die deze techniek gebruikt is de persoon interviewen en kijken of de expressies die op het gezicht te zien zijn, bij de situatie passen. Als je iemand ondervraagt over een moord, en op zijn gezicht verschijnt "sadness" als expressie, dan is het wat anders dan dat er "anger", of "disgust" op zijn gezicht verschijnt. Bij zulke gevallen ontstaan er verdenkingen. Dit betekend niet direct dat deze persoon schuldig is natuurlijk. Misschien is zijn kat die ochtend gestorven (sadness) of dacht hij toevallig aan zijn schoonmoeder (disgust) toen de vraag gesteld werd. Maar het helpt natuurlijk wel om in de goede richting verder te zoeken.

Heel simpel leugens detecteren is dus niet mogelijk, maar het is wel degelijk een nuttige tool.

[WillySis]

Hoewel micro-emoties onbewust zijn, kan je ze wel beïnvloeden. Door gewoon aan iets anders te denken kan je heel andere emoties tonen dan bij een directe reactie op een vraag.
Een bekende methode is een gestelde vraag negeren, zelf een vraag bedenken en die (naar waarheid) beantwoorden.

[thedicemaster]

dat is vrij lastig.
micro expressies gebeuren direct.
je zou moeten kunnen voorspellen welke emotie verwacht gaat worden, je compleet afsluiten voor wat er verteld/getoond wordt, en op precies het "onthullende" moment een gedachte tevoorschijn halen die de juiste emotie opwekt.

bij een vraag is dit nog lastiger omdat er wel een relevant antwoord verwacht wordt.
het is nogal verdacht als je bij de vraag "wat vindt jij van meneer X" antwoordt met "appeltaart", en met niet antwoorden maak je jezelf verdacht.

[WillySis]

Met een klein beetje oefening kan je zoveel extra of zelfs valse emoties genereren dat de methode voor leugendetectie onbetrouwbaar wordt.
Denk bijvoorbeeld aan een leuke vakantie en voeg de vragen daar zo goed mogelijk in. Bij stevige een ondervraging werkt een negatieve emotie (bijv. mijn vader heeft kanker en mijn vriendin is er met een ander vandoor) nog steeds zo goed dat elke leugendetectie hierdoor faalt. Grote kans dat dat met deze methode ook zo is.
De methode blijkt nu overigens nog erg afhankelijk van een goed beeld. Alle beelden moeten worden het hele gezicht laten zien. Alle proeven zijn gedaan met iemand die recht in een camera kijkt.

[feint]

Iedereen heeft bepaalde acties die het lichaam onbewust uitvoert. Het kan al zo klein zijn als je pupillen die veranderen, of aan je neus krabben als een vraag gesteld wordt. Zelfs mensen die niet helemaal van lotje zijn boven hebben hun tik, alleen zullen dit over het algemeen andere kenmerken zijn dan bij de gemiddelde persoon.

Als je als voorbeeld bijvoorbeeld een serie moordenaar pakt. Waar de gemiddelde mens angst zal tonen als die bepaalde foto's ziet, kan het best zijn dat de seriemoordenaar een expressie van trots toont, zonder dat hij het door heeft.

En je reactie over het afrekenen. Dit gebeurt nu ook niet. De meeste polygrafische testen zijn niet toegestaan als bewijsmateriaal binnen een rechtszaak omdat deze fouten kunnen bevatten en niet altijd even betrouwbaar zijn.

Ik denk wel dat dit de doorslag kan geven in bepaalde situaties om ergens te gaan kijken waar die persoon een reactie had.

[CEx]

Denk aan mee monitoren van gesprek bij o.a. recherche, douane.
Het zal niets 100% kunnen bewijzen, maar kan wel helpen om bepaalde personen te laten gaan of juist langer te ondervragen. Dan wel een bepaald onderwerp dieper uit te lichten.

Andere onderzoeken zijn al tijden bezig met het ontdekken van afwijkend gedrag op vliegvelden / stadia.

[feint]

Best interessant om te zien dat een pc dit kan leren. De vraag die bij mij echter op komt is: Hoelang heeft het systeem nodig om de uitdrukkingen van een persoon te leren.

Zover ik weet kunnen bepaalde uitdrukkingen per persoon enorm verschillen. Een beetje zoals poker, waar verschillende mensen verschillende kenmerken hebben wanneer ze bluffen. Dit verschilt per persoon.

Als dit dus uiteindelijk ingezet moet worden voor bijvoorbeeld leugendetectie, moet het systeem wel in staat zijn om op kort termijn neutrale uitdrukkingen te kunnen filteren van die wat er toe doen.

Toch kan dit systeem goede uitkomsten bieden. Bij polygrafische testen is het mogelijk om te 'cheaten'. Echter totaal geen uitdrukking creëren wanneer je liegt wordt een stuk lastiger (verwijde pupillen bijvoorbeeld), meestal doe je ergens wel een actie uitvoeren waar je geen besef van hebt.

Ben benieuwd wat dit in de toekomst gaat brengen.

[Verbeemen]

... Zover ik weet kunnen bepaalde uitdrukkingen per persoon enorm verschillen ....

Ik denk eigenlijk van niet, wel denk ik dat er meerdere expressies zijn voor een eenzelfde emotie. bv. denk aan verbaasd zijn – mond open en wenkbrauwen optrekken of mind dicht houden en fronsen. Dus kan je expressie : verbaasd1, verbaas2 … hebben

... De vraag die bij mij echter op komt is: Hoelang heeft het systeem nodig om de uitdrukkingen van een persoon te leren....

Hierbij denk ik, zeer snel, ik denk niet dat je de bevraagde persoon echt nodig hebt. Je kan alle expressies in een vector stoppen en kijken welke er het dichtste bij ligt (bv. de norm nemen) (Geen idee hoe ze het hier doen) Alsook, lijkt me het mogelijk interessant om de voorgaande expressie te weten.

[WillySis]

Het algoritme heeft een leerfase. Die is erop gericht op voor iedere proefpersoon afzonderlijk de emoties te leren.
Dat is wel nodig ook, want de gezichtsuitdrukking van een gerimpeld gezicht van een blanke op hoge leeftijd verschilt ontzettend van een jonge Chinees. Ook persoonlijke voorkeuren of angsten en ervaringen uit het verleden spelen een rol.

[Verbeemen]

off-topic

het is simpel :
Sinds men beweert dat iedereen een dubbelganger heeft --> hln.be.
Moet je enkel de dubbelganger vinden bij een verhoor en op hem/haar trainen

[Njipep]

Er zijn enkele basis emoties die bij iedereen in de basis hetzelfde zijn. In goed Nederlands; anger, disgust, fear, happiness, sadness en surprise (als je wilt kan je contempt er ook nog bij rekenen).

Deze emoties zijn samenstellingen uit samentrekken van bepaalde spieren in het gezicht. Niet alle spieren doen altijd even sterk mee, wat voor wat variatie zorgt. Maar als je goed oplet is het bepalen van de emotie die wordt gevoeld meestal goed te doen.

[BillyTheClit]

Ik verwacht wel dat over een paar jaar Botox de norm gaat zijn voor mensen die in een talkshow of debat deelnemen. Op die manier kan je het systeem alsnog buiten spel zetten.

[CEx]

Ach, het systeem zal dan inmiddels verder uitgebreid zijn en houding, beweging, transpiratie, toonvastheid e.d. mee te kunnen wegen

[capsoft]

Dit is toch hetzelfde als Microsoft's project Oxford?
http://blogs.microsoft.co...zes-emotions-in-pictures/
https://www.projectoxford.ai/
Die api kun je al gebruiken in je software als je wil. Het is natuurlijk nog wel in beta, maar ik vind het heel gaaf dat dit al publiekelijk is.

[WillySis]

Project Oxford doet niets met micro-emoties. Het is een hele ruwe methode om de emotie te kunnen lezen.

[Musical-Memoirs]

"De onderzoekers zijn van mening dat het algoritme van toepassing kan zijn bij zaken als leugendetectie, geestelijke gezondheidszorg en wetshandhaving."

De eerste stap naar een wererld zoals in de anime Psycho Pass (leuke serie om te zien).
Soms is het best wel eng waar de technologie ons mogelijk naar toe kan brengen.
Vrij veel punten waar het me niet veel intereseerd dat we nouwelijks nog privacy hebben. Maar een systeem dat mij emotioneel zou kunnen uitlezen zie ik wel als hele zware privacy inbreuk. Toch vind ik de ontwikkeling zelf erg mooi ondanks dat ik hoop dat het nooit in (grootschalig) gebruik komt.

[sfranken]

Als dit gebruikt word zoals de leugendetector gebruikt werd zie ik geen kwaad. Als het en masse gebruikt word dan is het een ander verhaal ja.

Offtopic: nauwelijks.

[Verwijderd]

Ik snap wat Musical zegt. Leugendetectie is geen harde wetenschap. Hoe graag die ex-FBI agent die altijd voor Dr. Phil mensen test ook wil doen overkomen dat het een enorm betrouwbaar hulpmiddel is.

Dat soort lui hebben altijd een bias, ze willen dat hun tooltje werkt want anders moeten ze terugvallen op iets anders, wat ze niet hebben. Als een PC het zegt, of een apparaat, dan kun je er op vertrouwen. Dat weten we vanuit de situatie van o.a. Ron Kowsoleaa. Als de pc zegt dat die man een crimineel is, dan moet het wel zo zijn en wordt ie genadeloos elke keer opgepakt.

Ik ben net als Musical niet enthousiast van dit soort ontwikkelingen. Want technologieën worden met elkaar gecombineerd. Daar maak je winst mee. Je neemt een LP. laat het seks hebben met een laser en dan krijg je een kindje dat CD heet. Het lijkt op pappa en mamma, het draait rond, er zitten een soort groeven in als het ware, er komt muziek uit.

Mijn kritiek op het onderwijssysteem in de wereld is dat we kinderen niet leren na te denken over dit soort zaken, maar dat terzijde.

Als fb en google dit soort technieken combineren met hun foto scanning tools voor gezichtsherkenning, dan ontstaat weer een neiuwe aanval op onze privacy omdat zelfs wat je meent veilig in je hoofd te voelen nu gedata-mined kan worden.

Camera's in winkels zouden gezichten kunnen scannen zodat de marketing lui weten wat je voelt bij het zien van een aanbieding of product.

Met die kennis kunnen ze beter profileren. Dat betekent dat ze nog beter reclame op je persoonlijke behoeften kunnen afstemmen. Behoeften waarvan je niet eens weet dat je ze voelt.

[Musical-Memoirs]

Mijn grootste angst is dat mijn medemens straks met hun augmented reality tools/implantaten mijn emoties gaan uitlezen. Vervolgens op de resultaten extreme/verkeerde conclusies trekken. Als ik iemand irritant vind is het beter dat diegene het niet weet. Ruzie om de kleinste irritaties maakt het namelijk niet beter.

Een na grootste angst is een wereld als in Psycho Pass waarin de mens gewaardeerd en bestraft wordt op hun huidige psychologische staat. Als ik kwaad ben dan zal ik volgens de surveillance systemen mogelijk een gevaar voor mijn medemens kunnen zijn. Terwijl ik me gewoon kan weerhouden om naar die negatieve gevoelens te handelen.

[Verwijderd]

Ik zie dat mensen steeds minder iets kunnen hebben in de samenleving. Je hoeft maar een scheet te laten en mensen zijn overstuur. Er was een vrouw op tv die bij zo'n informatie avond was waar de burgermeester uitlegt waarom er een opvang moet komen voor assielzoekers.
Ze was geschokt! Er waren namelijk mensen die nota bene hun vuist in de lucht staken! nou dat was wel ondemocratisch.

In een land waar ketchup op een politicus spuiten al zon beetje het ende der dagen inluidt (toch niet zo-ho!) en ik bang dat dit soort technologie gretig wordt aanvaard. Want zo kun je die enge mensen allemaal al vroegtijdig opsporen. De panopticum samenleving doet de rest.

Ik weet niet hoe het in het buitenland zit maar blijkbaar hebben we in ons land al te lang vrede gehad, waardoor enorme gezapige voldoening heerst en mensen niet meer flink zijn. Daarnaast zien we de gevolgen al van de snelle overdonderende invoering van ICT op grote schaal.Ik kan me aambeien herinneren die me last bezorgden die ouder zijn dan de invoer van ICT.

Wel, dat is niet waar, maar het gaat om het idee.

[martijn_bakker]

Een verkiezingsdebat uitzenden met geautomatiseerde analyse van de emoties van kandidaten. Dat zou nog leuk kunnen worden.

Gevolg: de typische SF reactie. Deelnemers aan het debat spuiten zich in met botox om tijdelijke verslapping van gezichtsspieren te bewerkstelligen.

Nu nog een goedbedoelende kandidaat met een naar geheim en een psychopatische tegenstander zonder schaamte en we hebben genoeg materiaal voor een aardig kort SF verhaal.

[Verwijderd]

Dat is ook niet zo gek natuurlijk, een machine/stuk software kan nou eenmaal de wereld in slowmotion zien (door enorm veel frames te schieten/bekijken) en dan zijn die micro-gezichtsuitdrukkingen niet micro meer.

Dat gezegd hebbend, ik zie best vaak mensen dit soort 'split second' uitdrukkingen maken, dus ik ben wel te porren voor een wedstrijdje tegen hun algoritme om te zien hoe goed het nou is.

[Barreljan]

Beetje offtopic hoewel het erg interessant is dat het al zo ver is en dat het mogelijk is, maar ik dacht even aan de film Ex Machina, daar is het idee ook goed ter beeld gebracht.

Daarentegen, het programeren van de uitdrukkingen (wat is wat) is nog steeds mensenwerk lijkt me.

[Reactie gewijzigd door Barreljan op 24 juli 2024 23:05]

[Macshack]

Het is gewoon een kwestie van wennen. Ik weet zeker dat mensen in het algemeen ook beter zijn geworden in liegen dan vroeger. Als je dan als kind al vroeg in aanraking komt met zo'n methode dan kan een kind deze binnen de kortste keren om de tuin leiden. Kinderen zijn master acteurs van de eerste rang. Als ze/we maar even vaak kunnen oefenen dan heeft de computer ook een probleem. Ik denk dat als wij dagelijks een leugendetector test moeten doorstaan we deze ook steeds beter kunnen omzijlen.

[Cumulus]

Als persoon met een autismespectrumstoornis kan ik zeer moeilijk tot niet gezichtsuitdrukkingen herkennen, dus ik zie hier een potentieel belangrijk hulpmiddel voor mijn lotgenoten in. Zeker in combinatie met Google Glasses opent dit heel wat mogelijkheden voor ons...