Studenten ontwikkelen robot die taken uitvoert via gesproken commando's

Studenten van de Cornell University in de Amerikaanse staat New York hebben een robot ontwikkeld die simpele, gesproken taken in de keuken kan uitvoeren. Achter de robot schuilt een systeem dat via algoritmes spraak kan vertalen naar simpele taken.

Tell me Dave herkent bepaalde steekwoorden uit de door de gebruiker uitgesproken zinnen en verbindt daar vervolgens een taak of meerdere taken aan. Zo zal de robot bijvoorbeeld bij het horen van 'pot' naar een pot toegaan en deze vastpakken.

Aan de hand van de opdrachten die hij uitvoert, leert de robot hoe hij deze met steeds minder commando's uit kan voeren. Ook kan de robot taken in verschillende omgevingen op een aantal manieren uitvoeren met behulp van resultaten die voortkomen uit een kleine game. In de game krijgen gebruikers een aantal taken voorgeschoteld die zij moeten uitvoeren. Vervolgens vertaalt de game de manier waarop gebruikers de taken uitvoeren, naar commando's voor de robot.

Hierdoor kan de robot een taak ook uitvoeren, als hij bepaalde cruciale commando's mist. Zo zou hij bij een taak als het vullen van een kopje met water uit zichzelf een commando toevoegen om eerst een kopje te zoeken en te pakken. Alle taken worden verzameld in een database en ze worden tevens in een virtuele keuken gedemonstreerd.

Tell me Dave weet ook wat er uit welk object komt en waarvoor ieder object dient. Zo weet hij dat zodra de kraan wordt opengedraaid, er water uitkomt; dat uit een melkpak melk komt en dat het verhitten van de inhoud van een pan gebeurt op een fornuis of in een oven. Elk voorwerp in een keuken krijgt ook een nummer zodat de robot aanvullende informatie erover kan onthouden. Zo kan hij bijvoorbeeld weten dat kopje 1 leeg is en kopje 2 melk bevat. Het doel van de onderzoekers is om een robot te ontwikkelen die simpele taken als het zetten van koffie of thee voor mensen uit kan voeren met behulp van een basiscommando als 'zet een kopje koffie'.

Het leren begrijpen van taal en commando's door machines is al tientallen jaren in ontwikkeling en heeft inmiddels een praktische toepassing gekregen bij diensten als Apples Siri, Googles Now en Microsofts Cortana.

Helaas!
De video die je probeert te bekijken is niet langer beschikbaar op Tweakers.net.

Reacties (20)

[Subject117]

Het gevaar is , dat die robot "de tas" overslaat, direkt je hoofd achterover houd, en dan de koffie binnen giet, toch best de 3 laws of robotics implementeren hier.

[bonus]

Aan de hand van de opdrachten die hij uitvoert, leert de robot hoe hij deze met steeds minder commando's uit kan voeren Mooi dat de AI ook meteen efficient is. Als hij maar niet teveel dingen weg gaat laten

[Niekfct]

Is het niet juist andersom? In plaats van acties weg te laten, hoef je bepaalde commando's niet meer te geven. Dus:

Pak een kopje, schenk mij koffie in

Zal dan worden:

Schenk mij koffie in

Het kopje zal hij er zelf dan bij bedenken.

[Verwijderd]

Het kan zelfs zo ver gaan dat hij koffie gaat zetten indien de koffie op is. En zo kun je ook steeds verder gaan totdat je zelf niets meer hoeft te doen.

[koelpasta]

"Het kan zelfs zo ver gaan dat hij koffie gaat zetten indien de koffie op is. "

Heb je dan een keer geen trek in koffie dan staat er een robot die er heilig van overtuigd is dat de koffiepot niet vol genoeg kan zijn.... Niet echt handig, die robots die voor zichzelf gaan denken.

[biert1982]

Misschien in plaats van dat de robot koffie zet, dat de robot vraagt of de gebruiker zin heeft in koffie.

Of misschien op basis van algoritmes van dagritme van de gebruiker samen met feedback over aanwezigheid van de gebruiker, bloedwaarde, hartritme, respons snelheid, lichaamstemperatuur, nervositeit, stress waarde, agenda, weer, speeksel analyse, aanwezigheid van schone kopjes, voorraad niveau koffie en astrologische horoscoop.

[koelpasta]

"Of misschien op basis van algoritmes van dagritme van de gebruiker samen met feedback over aanwezigheid van de gebruiker, bloedwaarde, hartritme, respons snelheid, lichaamstemperatuur, nervositeit, stress waarde, agenda, weer, speeksel analyse, aanwezigheid van schone kopjes, voorraad niveau koffie en astrologische horoscoop. "

Ja, precies.,,. weetie nog niet of ik trek heb.,..
Volgens mij is dit een groot probleem met 'voorspellende' algoritmes.

"Misschien in plaats van dat de robot koffie zet, dat de robot vraagt of de gebruiker zin heeft in koffie."

Ik denk dus dat dit de enige zinnige optie is.

[Reactie gewijzigd door koelpasta op 23 juli 2024 04:22]

[Amadeus1966]

Cool als je maar niet gaat schelden.....
### motherfuc##r of andere woorden..
Denk dat dat wel enigzins gefilterd moet worden anders krijg je rare praktijken dunkt me

[Hertog_Martin]

Ja je kijkt raar op als je robot ineens bij je moeder in bed ligt.

[Gene]

Pak een kopje, schenk mij koffie in
Zal dan worden:
Schenk mij koffie in

Niets bijzonders eigenlijk, dat doet mijn vrouw ook al....

[Striker_zelf]

Is dit nu de doorbraak die de huishoud robot eindelijk mogelijk maakt ?

Mooi om te horen dat er ontwikkeld word met gesproken text, maar de meeste huishoud taken zijn terug keren en zouden gewoon in een weekplanning kunnen staan, enkel de extra taken zou je modeling hoeven te geven...

[Iblies]

Spraakgestuurd is veel efficiënter dan knopjes indrukken.

Heel praktisch zou dit kunnen helpen bij mensen die minder valide zijn. Bevestigd een arm aan de muur, en die legt producten in de kast en/of maakt een kopje thee ed.
Tzt moet afwassen ook een optie zijn of een kleine vaatwasser op een praktische plaats.

Klinkt supersimpel, maar als je beseft hoeveel handelingen dat eigenlijk zijn dan is dat al immense uitdaging.

[MadEgg]

Een doorbraak is het zeker niet. Dit is onderzoek waar men al jaren mee bezig is aan diverse instituten en wat langzaamaan steeds beter gaat. Promo-filmpjes laten het ook altijd van de beste kant zien, dat moet je ook altijd in het achterhoofd houden.

Verder is met name het kosten-aspect nog iets wat huishoudrobots tegenhoudt, de robots waar dit soort onderzoek mee plaatsvindt kosten honderduizenden euro's. Voordat je een apparaat kan bouwen wat betrouwbaar en efficiënt in een thuisomgeving kan werken en wat ook nog betaalbaar is zijn we nog wel even verder.

Het is echt een kwestie van theorie en praktijk bij elkaar brengen, heel veel bouwblokjes voor huishoudrobots zijn er allang.

[koelpasta]

Dit lijkt meer in lijn met een bar-robot die ik een tijdje geleden oorbij zag komen.
Hierbij stonden robots achter de bar en konden mixdrakjes voor mensen maken.
Kan even geen link vinden.

[McBoom]

Zie ik daar een Kinect-sensor (V1) bovenop zitten?

[MadEgg]

Zeker, worden heel veel gebruikt in de robotica, met name in onderzoeksprojecten.

[McBoom]

Weet ik, het was ook retorisch bedoeld Ik ben benieuwd naar wat ze bereiken met de nieuwe versie van Kinect op dit gebied.

[MadEgg]

De Kinect V2 is veel minder uniek op zijn gebied, in de consumer-TOF-camera markt zijn al veel meer spelers zoals SoftKinetic en Creative die vergelijkbare of betere producten hebben dan de Kinect V2, en als je iets meer budget hebt heb je ook nog de prosumer apparaten van Bluetechnix. Iets duurder maar nog veel betere resultaten.

Verwacht dus niet dat we de Kinect V2 net zo veel op robots zullen zien als de Kinect V1. Mede ook omdat Microsoft nog veel meer zijn best gedaan heeft om het protocol van de Kinect V2 dicht te timmeren.

[SuperDre]

Ik denk dan eerder dat het geavanceerde gedeelte ervan bijzonder is, want robot besturen met spraak is niets nieuws....

[HMC]

Als je "Place the pot on the tap" invoert, wordt die pot natuurlijk nooit vol.
Wel bizar dat de robot het slechte engels van de student weet om te zetten in "Place the pot in the sink".

Doelend op: http://ic.tweakimg.net/ext/i/imagenormal/1403510017.png

[Reactie gewijzigd door HMC op 23 juli 2024 04:22]