Door Mark van der Kruit

Videoredacteur

Twentse gidsrobot speelt in op emotie

11-10-2014 • 06:00

40

Roboticaprojecten en Nederlandse universiteiten zijn al jaren een veel geziene combinatie. In Twente werd de afgelopen drie jaar samen met Europese universiteiten gewerkt aan F.R.O.G, wat staat voor Fun Robotic Outdoor Guide. Het project werd afgesloten met een praktijktest in een museum in Sevilla. Daar moest de autonome gidsrobot zich tussen de bezoekers mengen en hen door middel van audio en video informeren over de bezienswaardigheden. Voor de onderzoekers telt vooral de interactie tussen mens en robot, in de zoektocht naar de juiste configuratie om robots ooit in het straatbeeld te integreren.

Tweakers ging langs op de campus in Enschede om meer te weten te komen over de werking van de gezichtsherkenning, die een belangrijke rol speelt in het meten van de emotionele status van mensen. Aan de hand van het resultaat dat daaruit komt besluit de robot meer of minder te vertellen of wel of niet door te gaan naar een volgende bezienswaardigheid. Veel werk is gaan zitten in de aansturing van de camera's, die ook buiten met moeilijke lichtomstandigheden als zon en schaduw gezichten moeten kunnen aflezen.

De navigatie van de robot speelt eveneens een belangrijke rol. Nog altijd moet de robot eerst een omgeving leren kennen, voordat hij er zelfstandig doorheen kan rijden. Door vaak door één en dezelfde ruimte te navigeren, bouwt de robot een eigen kaart op met daarop de obstakels en vrije paden. De samenwerking met de camera's zorgt ervoor dat de robot rekening kan houden met mensen. Zo zal hij nooit te dicht op mensen gaan staan en blijft hij niet constant bij dezelfde personen staan als zij de robot geen aandacht geven.

Reacties (40)

40
40
27
0
0
11
Wijzig sortering
Mooie rapportage, en leuk om te zien wat de FROG nu al kan. Gezicht tracking lijkt in ieder geval goed te werken, en het navigeren / herkennen van objecten ook.

Maar wie werkt er nou precies aan de robot? Ik ben een half jaar geleden bij de open dag van Human Media Interaction geweest en ik herken daar ook een aantal personen van in dit filmpje. Er wordt bij HMI in ieder geval aan een aantal erg leuke en interessante projecten gewerkt.
Ja, super mooi rapportage idd. Vooral de uitleg van Vanessa vond ik heel verhelderend. Niet zozeer op technisch gebied, maar vooral de uitdagingen voor de sociale interactie. Het voorbeeld aan het eind over mensen er langs laten vond ik erg goed. Het zijn van die kleine dingetjes waar je niet over nadenkt, maar die een enorme uitdaging zijn om door een brok elektronica te laten begrijpen.

Het verhaal over het opbouwen van de omgeving vond ik wat zwak. Het neerzetten van wat wifipoints in de tuin lijkt me geen probleem. Ik vermoed ook dat die robot ook af en toe aan de stroom moet hangen, dus er moet sowieso een infra structuur worden aangelegd..

Voor het handiger bewegen zou je denk ik op zoek moeten naar de algoritmes die gebruikt worden bij programma's die crowd behaviour in kaart brengen en voorspellen. Ook communicatie tussen de robots kan hier helpen, als ze bijvoorbeeld aan elkaar doorgeven dat een groep er aan komt..

Maar al met al een heel mooi project. Ik vind de robots er mooi uit zien. Ze hebben hem niet geprobeerd op een mens te laten lijken, maar toch iets van een gezicht gegeven, omdat wijals mensen het prettig vinden om tegen een paar ogen en een mond te praten en daar naar te kijken.
Een goede reden om robots niet op mensen te laten lijken is omdat mensen dan een heel hoog verwachtingspatroon hebben van deze robots. Door robots een dierlijk of kinderlijk uiterlijk te geven is het dat verwachtingspatroon veel lager en accepteren mensen sneller foutjes van een robot.

Wat betreft het terrein in kaart brengen: Dit kan ook met een decentraal netwerk (dus alle processing op de robots), maar dat levert weer zijn eigen problemen op en waarom zouden ze? De onderzoekers hebben het zichzelf al lastig genoeg gemaakt door de gekozen omgeving.
Eerste punt helemaal mee eens.

De omgeving is idd al een uitdaging genoeg, en daardoor zitten er veel voordelen aan het centraal regelen van de omgeving database. In de eerste plaats zou je de omgeving in kaart kunnen brengen door een robot/device die daarvoor geoptimaliseerd is. Een centrale computer kan veel meer reken capaciteit hebben om deze data te verwerken. Ik kan me voorstellen dat er in een omgeving meerdere van deze robots rondrijden. Mocht er dan iets veranderen in de omgeving (afsluiting, mensen massa waar je niet door kan o.i.d.) dan kan dat gecommuniceerd worden naar alle robots ipv dat ze als lemmings achter elkaar een doodlopend pad in gaan. Er zijn hier al genoeg voorbeelden van, dus dit lijkt me geen rocket science
Als je wat meer informatie wil hebben over de navigatie en de werking daarvan van de robot moet je even duiken in ROS navigation.
http://wiki.ros.org/navigation
Inderdaad tof, maar er wordt goed aangetoond dat nep-uitingen van interesse of plezier ook alsdien worden aangemerkt door FROG.
Zodoende zijn deze robots dus nog volop te foppen.

Bijvoorbeeld, een persoon die echt totaal niet geinteresseerd is kan in deze testsituatie met grote ogen en beide handen op de wangen en gefikste glimlach of mond open deze robot doen besluiten dat die persoon blij is.

:o :*) :D kan deze robot maar op 1 manier interpreteren: Blij/verast/geinteresseerd/wil meer.
Maar dat kan je dus ook acteren.
Inderdaad tof, maar er wordt goed aangetoond dat nep-uitingen van interesse of plezier ook alsdien worden aangemerkt door FROG.
Zodoende zijn deze robots dus nog volop te foppen.[...]
Uiteraard is dat een aandachtspunt, maar in sommige situaties is het niet zo'n groot probleem lijkt mij. FROG als tourguide lijkt mij zo'n geval. Een persoon heeft geen enkel voordeel bij het langdurig faken van interesse. Ik weet zelf het fijne van FROG niet af, maar het lijkt er ook op dat de interesse van een hele groep mensen kan worden bepaalt. In dat geval is het al een stuk lastiger om het te misleiden.
Overigens wordt er binnen (en buiten) HMI ook nog wel onderzoek gedaan naar andere parameters om interesse uit af te lezen. De positie van het hoofd en de gezichtsuitdrukking zijn maar een klein deel van alle informatie waaruit een persoon afleid of iemand geïnteresseerd is of niet. Je kan dan denken aan manier van spreken, maar de houding van de rest van het lichaam.
Mooie rapportage, en leuk om te zien wat de FROG nu al kan. Gezicht tracking lijkt in ieder geval goed te werken, en het navigeren / herkennen van objecten ook.

Maar wie werkt er nou precies aan de robot? Ik ben een half jaar geleden bij de open dag van Human Media Interaction geweest en ik herken daar ook een aantal personen van in dit filmpje. Er wordt bij HMI in ieder geval aan een aantal erg leuke en interessante projecten gewerkt.
Frog is een project van HMI.
Het verschil tussen een "rapportage" en een "reportage" is jullie allen wel bekend?
Anoniem: 225229 @JJ9317 oktober 2014 16:33
Dankje JJ! Ik werk zelf ook bij HMI maar niet aan deze robot. Gebeuren zeker nog andere gave dingen :)

Als je op de HMI websitehttp://hmi.ewi.utwente.nl kijkt zou je er uit moeten komen met wat gepuzzel, hoop de komende maand wat meer showcases etc duidelijk online te zetten.

Om je vraag te beantwoorden: werken vanuit HMI inderdaad aantal mensen aan deze robot die ook vaak bij opendagen aanwezig zijn:
Phd vooral op ervaring van de robot
master student, implementatie van user interaction
"postdoc"/phd, implementatie van user interaction
en Vanessa natuurlijk als prof. .
Daarnaast is een prof in Engeland bezig met ontwikkeling van die gezichtsherkenning ook gerelateerd aan onze groep.

Je hoort de stem van spaanstalige phd-student die aan ander leuk robot project werkt.

Natuurlijk zijn er ook aantal externe partners betrokken bij implementeren en bouwen van dergelijke robots (ik geloof vooral id-minds voor werktuigbouwkundige en elektronische aansturing, zie ook https://www.frogrobot.eu/wordpress/).

[edit namen weggehaald]

[Reactie gewijzigd door Anoniem: 225229 op 22 juli 2024 13:45]

Thx ;)
Aantal leuke projecten gezien tijdens de open dag. Butler robot, website make-over (facetted search), appels o.i.d. vangen met een mandje en twee touwtjes om te bewegen, Oculus Rift demo en nog een poging to demo voor een robot.
Maak je zo'n dure robot, stop je daar jaren onderzoeksgeld in, blijkt de tekst van het scherm af te lopen :+
Dat viel me ook op. Mooi afgewerkte robot, mooie interface op het scherm, ... En dan die tekst :P
Mooie interface wil ik dat ook niet noemen.
De gezichtsherkenning ziet er mooi uit. Enige puntje is dat je in een musea om je heen wil kijken en niet telkens naar de robot?
Anoniem: 237962 @joo5ty11 oktober 2014 12:13
En wat ik uit het filmpje haal is dat een glimlach blijkbaar voor de robot betekent dat je geïnteresseerd bent, en als je niet glimlacht niet en dat hij dan dus het een en ander overslaat als je niet glimlacht?
Nee, dan moet je nog even goed luisteren naar de jongen. Ze gebruiken een soort tijdspanne en berekenen een gemiddelde. Een enkele lach doet dus nog niks.
Misschien denk ik nu te simpel, maar als robot 1 de omgeving op een bepaalde manier opgeslagen heeft, dan moet dit toch direct overdraagbaar zijn naar een andere robot?

Wat heeft GPS hier dan mee te maken? Robot 1 maakt hier toch ook geen gebruik van om te navigeren? :|
Als ik het goed begrijp willen ze het dus doen zonder enige vorm van netwerkcommunicatie. Geen WiFi, etc, niets.
Dit zodat het ook in gebieden bruikbaar is waar die voorzieningen niet aanwezig zijn.
Dus ook geen communicatie tussen 2 FROG's, hoe makkelij dat ook inderdaad te doen zou zijn.
Zoals je zag in het filmpje gebruikt de robot een laserscanner om te navigeren.
Die laser zit op een bepaalde hoogte en maakt op die manier een doorsnede van de omgeving.
En andere robot (zoals Amigo is het begin van het filmpje) heeft wel een zelfde laserscanner, maar wellicht op een andere hoogte gemonteerd.
Andere hoogte, dus potentieel andere doorsnede en dus potentieel andere kaart. Het is dus niet volledig triviaal om kaarten te delen.

Met een 3D-kaart is dat wel op te lossen, bijvoorbeeld door uit een 3D kaart een doorsnede te destileren. Ook in RoboEarth is hier overigens wel over nagedacht.
Anoniem: 535883 11 oktober 2014 10:13
Ben benieuwd of de robot ook door madam tussauds kan rijden :+
Of wordt er gebruik gemaakt van een warmtesensor en zo het onderscheid kunnen zien tussen echte mensen/poppen?

In ieder geval een interessant project, zowel qua techniek als de uitdaging van interactie tussen mens en robot.
De robot meet het aantal keer knipperen met de ogen. Als er niet wordt geknipperd zal er een 'belletje gaan rinkelen' bij de robot. Daarnaast hebben die poppen geen beweging en in het algoritme kun je prima opnemen dat geen enkele beweging eveneens als verdacht moet worden aangemerkt.
Knap werk maar we lopen denk ik nog jaren achter op Japan zoals Honda Asimo
https://www.youtube.com/watch?v=R8UeT9r4cmg
Twentse gidsrobot speelt in op emotie
Volgens mij legt die mevrouw aan het eind uit dat dit dus niet het geval is.
De gedemonstreerde detectie van gezichtsuitdrukking doet eigenlijk vrij weinig met emotie maar kent aan een bepaalde vorm een hoeveelheid interesse toe. Volgens mij is interesse en aandacht geen emotie.
Slechte titel dus.
Hoe het werkt is met emotieherkenning (zelfde software die nu gecommercialseerd wordt door Sightcorp http://sightcorp.com/, maar ontwikkeld is aan de UvA waar Vanessa eerst zat voor ze naar Twente ging), en uit de gemeten emotionele waarden met een formule interesse berekent.
Wauw, mooi ding! Ik vraag me toch af hoeveel zo'n robot waard zou zijn met al die snufjes enzo.
"Volgende projecten in omgevingen zoals ontwikkelingslanden, remote locations, woestijnen, noordpolen"...

Ik wacht op een tour op de noordpool van Mars... of bedoeld ze Noord-Polen? :+
Wat mij opvalt in het filmpje is hoe de eerste robot lijkt op de website van tweakers :)

Op dit item kan niet meer gereageerd worden.