Zorgrobot TU/e behaalt tweede plek bij RoboCup German Open

De zorgrobot Amigo van de Technische Universiteit Eindhoven heeft bij de RoboCup German Open in Maagdenburg de tweede plaats behaald. Vorig jaar werd de robot van Tech United nog eerste op het EK, maar het team liep dit jaar achter met de softwareontwikkeling.

De winnaar van de RoboCup German Open was Homer uit Koblenz, maar de Eindhovenaren wisten wel de regerend wereldkampioen ToBi uit Bielefeld te verslaan. Vorig jaar kon TU/e nog met zijn voetbalrobots en zorgrobots deelnemen aan RoboCup European Open 2016. Dit jaar was het officieuze EK voor voetbalrobots de competitie in Portugal, waar Tech United won, terwijl de RoboCup German Open het enige Europese toernooi voor de @Home-competitie voor zorgrobots was.

Bij de competitie moeten robots huishoudelijke opdrachten en zorgtaken uitvoeren, zoals het naar binnen brengen van boodschappen en het vervolgens opruimen in een kast. De zondagochtend van de finale moesten de teamleden van Tech United nog nieuwe functionaliteit programmeren voor Amigo. De beheerder moest iets kunnen aanwijzen en een opdracht kunnen geven of vraag kunnen stellen over het aangewezen object, zoals: 'Wie is dat?' of 'Kun je dit object aangeven?'.

Door een gebrek aan mankracht eerder dit jaar was Amigo niet zo voorbereid als gewenst, waardoor het team niet erg hoge verwachtingen had. Teamleider Matthijs van der Burgh: "We hebben er echt het uiterste uit geperst. We hebben tijdens het toernooi nog nieuwe vaardigheden kunnen implementeren. Amigo kan nu bijvoorbeeld uit zijn camerabeelden de skelethouding van mensen herkennen." Eind juli is het WK in Nagoya, Japan.

Reacties (13)

[MadEgg]

Door een gebrek aan mankracht eerder dit jaar was Amigo niet zo voorbereid als gewenst, waardoor het team niet erg hoge verwachtingen had. Teamleider Matthijs van der Burgh: "We hebben er echt het uiterste uit geperst. We hebben tijdens het toernooi nog nieuwe vaardigheden kunnen implementeren. Amigo kan nu bijvoorbeeld uit zijn camerabeelden de skelethouding van mensen herkennen." Eind juli is het WK in Nagoya, Japan.

Wat bedoelt Matthijs hiermee? Dat doet de vrijelijk beschikbare NITE die icm OpenNI al jarenlang - lijkt me niet dat ze er nu pas toegekomen zijn om dat te implementeren. Aan de RUG demonstreerden we dat al aan eerstejaars in 2011 in ieder geval - een Nao robot die de bewegingen van mensen nadeed op basis van skeletherkenning via een Kinect.

Evengoed gefeliciteerd, TU/e. Helaas is het RUG team waarmee ik aan deze competitie deelnam inmiddels grotendeels ontmanteld, leuk om te zien dat de competitie in ieder geval nog in leven is

Update: het filmpje verduidelijkt het wat. De pose estimation is niet waar het om gaat, maar het aanwijzen van locaties en het raytracen van de arm-vector in de wereld. Dat is wel een leuke toevoeging inderdaad.

[Reactie gewijzigd door MadEgg op 28 juli 2024 05:37]

[Loy]

Wat ik me herinner van OpenNI etc van destijds is dat er een initialisatie-pose nodig was.
Dat is bij Amigo nu niet het geval: de skelet-detectie werkt op basis van 2d plaatjes voor iedereen in dat plaatje.
Er is geen initialisatie-pose nodig maar er gebeurt nu ook geen tracking, alleen detectie.

Interessant is dat dat werkt met het 3d wereldmodel dat de robot bijhoud, ook als meubels etc verplaatsen. En dus ook naar die meubels kunt wijzen.

Die detectie draait trouwens als een convolutional neural network, openpose. Dat is echt fantastisch, zelfs alleen een deel van een been met de rest van de persoon verstopt in het plaatje word correct herkend.

[MadEgg]

OpenNI had oorspronkelijk een calibratiepose maar in latere versies was dat niet meer nodig, ook kan het eenvoudig veel skeletons tegelijk tracken. Werk ook prima met beperkte zichtbaarheid overigens, alleen kwam het in sommige gevallen ook nog wel voor dat een tafelpoot oid als been herkend werd.

OpenPose ziet eruit als een interessant project! Ben benieuwd hoe dat dan toegepast wordt hier - skeleton detectie lijkt me op basis van een 2D beeld goed te doen, maar als je vervolgens ook houdingen in de fysieke wereld wilt raytracen naar een object dan is die diepteinformatie wel essentieel. Hoe weet je op welke afstand je moet tracen zonder gebruiken van een 3D-sensor of op zijn minst een stereo camera?

[Loy]

Zonder 3d sensor weet je dat niet idd. De detectie is 2d en daarna checken we voor die pixels corresponderende depth. De code komt op github, tue-robotics. Heb nu even geen link voor je want ik type nu op m'n telefoon.

[Reactie gewijzigd door Loy op 28 juli 2024 05:37]

[Heedless]

https://github.com/tue-robotics lijkt mij dan?

[Reactie gewijzigd door Heedless op 28 juli 2024 05:37]

[Loy]

Dat inderdaad, specifiek: https://github.com/tue-robotics/openpose_ros

Maar nog niet alles is al naar github gepusht, laatste versie ligt nog achterin een vrachtwagen onderweg naar NL

[Reactie gewijzigd door Loy op 28 juli 2024 05:37]

[Timple]

Helaas Loy, dat was een poging om het netjes te implementeren. Maar in de werkende versie op het toernooi is ROS gewoon bij openpose mee gecompileerd.
https://github.com/tue-robotics/openpose

[CAPSLOCK2000]

Zorgrobots zijn voor mij een van de meest wenselijke toepassingen van robots. We worden (hopelijk) oud en vroeg of laat hebben we hulp nodig. Menselijke hulp is niet alleen duur maar niet eens realistisch, we hebben meer ouderen dan jongeren en door de vergrijzing wordt dat alleen maar erger. Daarbij is het op een bepaalde manier, in ieder geval voor sommige mensen, een invasie op je privacy. Als je altijd voor jezelf hebt kunnen zorgen is het helemaal niet leuk om hulp nodig te hebben bij de dagelijkse klusjes en verzorging. Zeker niet als je die hulp nodig hebt dat die er niet is.

Ik hoop dat tegen de tijd dat ik het nodig heb er robots zijn die me helpen om in mijn eigen huis te blijven wonen, en het liefst zonder m'n hele huis te verbouwen met liften, dus het liefst een robot die zich ongeveer als een mens gedraagt (dus in staat om trap lopen, zware dingen van de bovenste plank van de kast pakken, een postzegel die onder de bank is gevallen oprapen), mij kan dragen, me kan wassen en me op het toilet kan helpen. 24 uur per dag, altijd even voorzichtig en geduldig.

[Loy]

Dat hoop ik ook. Toen ik met dit soort robots testte in zorginstellingen kwam het issue 'robots zijn onpersoonlijk' vooral van de zorgmedewerkers.

De cliënten, met een fysieke beperking, vonden dat niet zo'n probleem: ze willen gewoon naar de WC kunnen zonder dat er iemand moet helpen en zelf koffie zetten, niet zozeer een gesprek.
Voor een vriendelijk gesprek hadden die cliënten genoeg eigen vrienden.

Bij bijvoorbeeld ouderen is dat wellicht anders, dan kunnen robots misschien werk uit handen nemen zodat er juist meer tijd is voor persoonlijke aandacht van zorgmedewerkers.

[CAPSLOCK2000]

Dat hoop ik ook. Toen ik met dit soort robots testte in zorginstellingen kwam het issue 'robots zijn onpersoonlijk' vooral van de zorgmedewerkers.

Ik zie robots ook als gebruiksvoorwerpen, niet als vrienden (dat duurt nog 10 jaar
Mijn elektrische tandenborstel ervaar ik ook niet als onpersoonlijk.
Bij sommige klusjes (toilet, wassen) vind ik onpersoonlijk zelfs een groot voordeel.

[Reactie gewijzigd door CAPSLOCK2000 op 28 juli 2024 05:37]

[e_balk]

Ik ben wel heel blij dat mijn toekomstige zorgrobot een potje voetbal kan winnen....

Okay niet te snel willen reageren!
Het logo is wel een beetje misleidend.... Maar goed wel heel mooi dat we zo voorop lopen in dit soort zaken, helaas ziet dit er nog steeds niet heel erg uit alsof het heel natuurlijk of makkelijk gaat allemaal, er is nog een hele boel te bereiken!!! Ga vooral lekker door TU/e!!!!

[Reactie gewijzigd door e_balk op 28 juli 2024 05:37]

[SuddenTwitch]

are you satisfied with your care?

[Edwin]

Filmpje @ 2:02; Hier moest ik toch even om lachen.
Sommige zijn er nu al bang van, laat staan dat ze nog slimmer worden